JP2020022006A - Display imaging apparatus - Google Patents
Display imaging apparatus Download PDFInfo
- Publication number
- JP2020022006A JP2020022006A JP2018142788A JP2018142788A JP2020022006A JP 2020022006 A JP2020022006 A JP 2020022006A JP 2018142788 A JP2018142788 A JP 2018142788A JP 2018142788 A JP2018142788 A JP 2018142788A JP 2020022006 A JP2020022006 A JP 2020022006A
- Authority
- JP
- Japan
- Prior art keywords
- display
- optical element
- hologram optical
- waveguide
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Diffracting Gratings Or Hologram Optical Elements (AREA)
- Studio Devices (AREA)
- Devices For Indicating Variable Information By Combining Individual Elements (AREA)
Abstract
Description
本発明は、表示部の前面に位置する被写体を撮像部で正面から撮像可能な表示撮像装置に関する。 The present invention relates to a display / imaging device that can image a subject located in front of a display unit from the front with an imaging unit.
近年では、画像符号化技術等の通信技術の発展により、遠隔地間を映像・音声通信網で結んだＴＶ電話やＴＶ会議システム等の双方向映像通信が急速に普及してきている。音声及び映像を双方向映像通信する際に、表示部の前面に位置する被写体となる人物を撮像部で正面から撮像可能な表示撮像装置が使用される。しかしながら、かかる表示撮像装置では、撮像部が表示部の上側等に所定の間隔で配置されるため、被写体の人物の視線が下向きの影像となってしまい、双方向映像通信を介した対話形式を実現する際に、対話する双方の人物の視線が一致せずに問題となっていた。 2. Description of the Related Art In recent years, with the development of communication technologies such as image coding technology, two-way video communication such as a TV telephone and a TV conference system connecting remote locations with a video / audio communication network has been rapidly spreading. When performing two-way video communication of audio and video, a display / imaging device that can image a person serving as a subject located in front of a display unit from the front with an imaging unit is used. However, in such a display imaging device, since the imaging unit is arranged at a predetermined interval above the display unit or the like, the line of sight of the person of the subject becomes a downward image, and the interactive format through the two-way video communication is performed. At the time of realization, the eyes of both persons interacting with each other were inconsistent, causing a problem.
このような双方向の視線不一致を解決する従来技術として、特許文献１には、半透明鏡をディスプレイの前面に設置し、ディスプレイ前方の被写体を半透明鏡からの反射像として液晶ディスプレイの周囲に設置された撮像装置により撮像を行う手法が開示されている。また、特許文献２には、スクリーンと、プロジェクタと、ビデオカメラと、プロジェクタの映像表示体に映像を表示する前に逆台形歪み補正を行う逆台形歪み補正回路とを備え、プロジェクタをスクリーンの斜め後方に配置し、ビデオカメラの光軸をスクリーンに対して垂直になるように配置した表示撮像装置が開示されている。
As a prior art for solving such a two-way line-of-sight mismatch, Patent Document 1 discloses a method in which a translucent mirror is installed on the front of a display, and a subject in front of the display is reflected around the liquid crystal display as a reflection image from the translucent mirror. There is disclosed a technique for performing imaging by an installed imaging device. Further,
さらに、特許文献３には、液晶プロジェクタにより映像を投射表示するスクリーンと、プロジェクタの近傍に設けられスクリーン越しの被写体である人物を撮影するカメラと、カメラの前面に設置される偏光板とから構成される表示撮影装置が開示されている。また、特許文献４には、集光機能を持つように微小半透鏡を組み合わせ配列した微小半透鏡アレイを表示装置の前面に配置して、表示装置の表示画像を使用者の方向に集め、表示画像の輝度向上を図る一方、微小半透鏡アレイにおける上向きに反射する領域の使用者の反射像を撮像装置で撮像することにより、その使用者の正面を撮像可能にし、視線一致を図る表示撮像装置が開示されている。一方、特許文献５には、ホログラム光学素子を用いてオフアクシスでの正面撮影を行うことによって、虚像ディスプレイも実現する映像提示システムが開示されている。
Further,
しかしながら、これらの表示撮像装置等は、何れもカメラやディスプレイ等の構成要素を配置させる際に高さや奥行き等を必要とする三次元的に展開される構成となっている。このため、スマートフォンやタッチパッド等の薄型の携帯情報端末装置に対して、表示部と撮像部を備える表示撮像装置として適用するのが難しいものとなっていた。すなわち、これらの薄型の携帯情報端末装置を用いてＷｅｂ通話等をする際に、双方向から撮像される被写体となる人物の視線が互いに一致させるために、撮像部によって撮像された撮像画像の視線と表示部への視線を一致させることが望まれていた。 However, each of these display / imaging devices and the like is configured to be developed three-dimensionally, which requires a height, a depth, and the like when arranging components such as a camera and a display. For this reason, it has been difficult to apply to a thin portable information terminal device such as a smartphone and a touch pad as a display / imaging device including a display unit and an imaging unit. That is, when making a Web call or the like using these thin portable information terminal devices, the line of sight of the captured image captured by the image capturing unit is set in order to match the line of sight of the person who is the subject captured in both directions. It has been desired to match the line of sight to the display with the display.
本発明は、上記課題に鑑みてなされたものであり、薄型の構成によって撮像部で撮像された被写体となる人物の撮像画像の視線と当該人物の表示部への視線を一致させることの可能な、新規かつ改良された表示撮像装置を提供することを目的とする。 The present invention has been made in view of the above problems, and is capable of matching the line of sight of a captured image of a person who is a subject captured by an imaging unit with the line of sight of the person to a display unit by a thin configuration. It is an object of the present invention to provide a new and improved display / imaging device.
本発明の一態様は、表示部の前面に位置する被写体を正面から撮像可能な機能を有する表示撮像装置であって、前記表示部の前面側に設けられる導波路型ホログラム光学素子と、前記導波路型ホログラム光学素子の周縁部の何れかに設けられ、前記導波路型ホログラム光学素子を介して前記被写体を撮像する撮像部と、前記撮像部で撮像された撮像データに対して画像再構成処理をして撮像画像を出力する画像再構成処理部と、を備え、前記撮像部は、前記導波路型ホログラム光学素子で回折された前記被写体からの光が導光されることによって該被写体を撮像することを特徴とする。 One embodiment of the present invention is a display imaging device having a function of capturing an object located in front of a display unit from the front, wherein the waveguide hologram optical element provided on the front side of the display unit and the light guide unit. An imaging unit provided at any one of the peripheral portions of the waveguide hologram optical element and imaging the subject via the waveguide hologram optical element; and an image reconstruction process for the imaging data captured by the imaging unit And an image reconstruction processing unit for outputting a captured image, wherein the imaging unit captures the subject by guiding light from the subject diffracted by the waveguide hologram optical element. It is characterized by doing.
本発明の一態様によれば、表示部の前面側に設けられた導波路型ホログラム光学素子によって回折された被写体からの光を撮像部に導光して撮像してから、画像再構成処理をして撮像画像を出力するので、被写体となる人物の表示部への視線と当該人物の撮像画像の視線を一致させることができる。 According to one embodiment of the present invention, light from a subject diffracted by a waveguide hologram optical element provided on the front side of a display unit is guided to an imaging unit to capture an image, and then image reconstruction processing is performed. Then, the line of sight of the person serving as the subject and the line of sight of the captured image of the person can be matched.
このとき、本発明の一態様では、前記導波路型ホログラム光学素子の前面側に透明板部材が更に設けられ、前記撮像部は、前記導波路型ホログラム光学素子で回折された前記被写体からの前記光が前記透明板部材で全反射を繰り返しながら導光される位置に設けられていることとしてもよい。 At this time, in one aspect of the present invention, a transparent plate member is further provided on the front side of the waveguide hologram optical element, and the imaging unit is configured to detect the light from the subject diffracted by the waveguide hologram optical element. The light may be provided at a position where the light is guided while repeating total reflection by the transparent plate member.
このようにすれば、導波路型ホログラム光学素子によって回折された被写体からの光が透明板部材で全反射を繰り返しながら、撮像部に導光されるので、導波路型ホログラム光学素子と透明板部材を介して、撮像部で被写体を撮像できるようになる。 According to this configuration, the light from the subject diffracted by the waveguide hologram optical element is guided to the imaging unit while repeating total reflection by the transparent plate member, so that the waveguide hologram optical element and the transparent plate member , The subject can be imaged by the imaging unit.
また、本発明の一態様では、前記透明板部材には、前面側に前記導波路型ホログラム光学素子と当接する領域と重複しない領域に他の導波路型ホログラム光学素子が更に設けられており、前記撮像部は、前記導波路型ホログラム光学素子で回折された前記被写体からの前記光が前記透明板部材で全反射後に前記他の導波路型ホログラム光学素子で回折した該被写体からの該光を導光可能な位置に設けられていることとしてもよい。 In one embodiment of the present invention, the transparent plate member further includes another waveguide hologram optical element in a region that does not overlap with a region in contact with the waveguide hologram optical element on the front side, The imaging unit is configured to convert the light from the subject diffracted by the waveguide-type hologram optical element from the subject diffracted by the other waveguide-type hologram optical element after the light from the subject is totally reflected by the transparent plate member. It may be provided at a position where light can be guided.
このようにすれば、撮像部の設置箇所の自由度が増すので、装置の小型化が実現され易くなる。 By doing so, the degree of freedom of the installation position of the imaging unit is increased, so that the device can be easily downsized.
また、本発明の一態様では、前記撮像部は、前記導波路型ホログラム光学素子の前記周縁部の何れかに複数設けられていることとしてもよい。 In one aspect of the present invention, a plurality of the imaging units may be provided at any one of the peripheral portions of the waveguide hologram optical element.
このようにすれば、複数の撮像部を用いることによって、被写体の画像を多視点から撮像して、三次元情報を取得できるようになる。 With this configuration, by using a plurality of imaging units, it is possible to capture an image of a subject from multiple viewpoints and acquire three-dimensional information.
また、本発明の一態様では、前記表示部の前面側には、干渉縞のパターンがそれぞれ異なる複数の導波路型ホログラム光学素子が設けられていることとしてもよい。 In one embodiment of the present invention, a plurality of waveguide hologram optical elements having different interference fringe patterns may be provided on the front side of the display unit.
このようにすれば、複数の導波路型ホログラム光学素子を用いることによって、波長の異なる光が撮像部に導光され易くなるので、画像再構成処理後の撮像画像の精度が良好になる。 With this configuration, by using a plurality of waveguide hologram optical elements, light having different wavelengths can be easily guided to the imaging unit, and the accuracy of the captured image after the image reconstruction processing is improved.
また、本発明の一態様では、前記複数の導波路型ホログラム光学素子は、それぞれが互いに重複しないように前記表示部の前面側に配置されていることとしてもよい。 In one aspect of the present invention, the plurality of waveguide hologram optical elements may be arranged on the front side of the display unit so that they do not overlap with each other.
このようにすれば、複数の導波路型ホログラム光学素子を用いることによって、被写体を異なる角度から撮像することができる。 With this configuration, the subject can be imaged from different angles by using a plurality of waveguide hologram optical elements.
以上説明したように本発明によれば、表示部の前面側に設けられた導波路型ホログラム光学素子によって回折された被写体からの光を撮像部に導光して撮像してから、画像再構成処理をして撮像画像を出力できるようになる。このため、被写体となる人物が表示部に視線を送る際に、当該視線が撮像部への視線と一致するようになるので、被写体となる人物の表示部への視線と撮像部によって撮像された人物の視線の一致が実現される。 As described above, according to the present invention, light from a subject diffracted by the waveguide-type hologram optical element provided on the front side of the display unit is guided to the imaging unit to capture an image, and then image reconstruction is performed. Processing can be performed to output a captured image. For this reason, when the subject person sends his / her line of sight to the display unit, the line of sight coincides with the line of sight to the imaging unit. The gaze of the person is matched.
以下、本発明の好適な実施の形態について詳細に説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではなく、本実施形態で説明される構成の全てが本発明の解決手段として必須であるとは限らない。 Hereinafter, preferred embodiments of the present invention will be described in detail. Note that the present embodiment described below does not unduly limit the contents of the present invention described in the claims, and all the configurations described in the present embodiment are indispensable means for solving the present invention. Is not always the case.
まず、本発明の一実施形態に係る表示撮像装置の概略構成について、図面を使用しながら説明する。図１は、本発明の一実施形態に係る表示撮像装置の概略構成を示すブロック図である。 First, a schematic configuration of a display and imaging device according to an embodiment of the present invention will be described with reference to the drawings. FIG. 1 is a block diagram illustrating a schematic configuration of a display and imaging device according to an embodiment of the present invention.
本発明の一実施形態に係る表示撮像装置１００は、表示部１０２の前面に位置する人物等の被写体Ｏｂを正面から撮像可能な撮像部１０４を備える装置に適用される。特に、本発明の一実施形態に係る表示撮像装置１００は、スマートフォンやタブレット端末等の薄型の情報端末装置で遠隔対話や自画撮影をするために、被写体Ｏｂとなる人物を正面から撮像する際に、人物の視線一致を実現させるために適用される。
Display
本発明の一実施形態に係る表示撮像装置１００は、図１に示すように、表示部１０２と、撮像部１０４と、導波路型ホログラム光学素子１０６と、透明板部材１０８と、及び画像再構成処理部１１０とを備える。
As shown in FIG. 1, a
表示部１０２は、撮像対象や表示対象を表示する機能を有し、液晶等のディスプレイで構成される。撮像部１０４は、発光された光を利用して撮像対象を撮像するカメラとしての機能を有する。本実施形態では、撮像部１０４は、導波路型ホログラム光学素子１０６の周縁部の何れかに設けられ、当該導波路型ホログラム光学素子１０６を介して被写体Ｏｂを撮像する。具体的には、撮像部１０４は、導波路型ホログラム光学素子１０６で回折された被写体Ｏｂからの光が透明板部材１０８で全反射を繰り返しながら導光される位置に設けられており、表示部１０２の外縁側に設けられている。
The
導波路型ホログラム光学素子１０６は、表示部１０２の前面側に設けられており、被写体Ｏｂからの光を回折する機能を有する。本実施形態では、導波路型ホログラム光学素子１０６は、その前面側に空気より屈折率の大きい材質であるガラス基板等から構成される透明板部材１０８が設けられている。このため、導波路型ホログラム光学素子１０６で回折された被写体Ｏｂからの光は、透明板部材１０８で全反射を繰り返しながら、図１に示すように、導波路型ホログラム光学素子１０６に重ねて設けられる透明板部材１０８の外縁側に設置されている撮像部１０４に導光される。
Waveguide-type hologram
本実施形態では、被写体Ｏｂから導波路型ホログラム光学素子１０６に入射した光は、ある角度を持って回折し、ガラス板導波路となる透明板部材１０８の側面から射出される。この光は、透明板部材１０８内部で全反射を何度か繰り返し、最後に導波路型ホログラム光学素子１０６が貼り付けられた面で全反射してから透明板部材１０８の下端から射出されるものと、導波路型ホログラム光学素子１０６が貼り付けられる面と反対側の面で最後に全反射して、透明板部材１０８の下端から射出するものの２種類に分けられる。
In this embodiment, light incident from the subject O b to waveguide-type hologram
この２種類の光線は、異なる方向を向いているために、シミュレーションで用いた光学系では、それぞれが撮影部１０４上の片側半分に入射することになる。撮影部１０４上の何れの側に入射するかは、導波路型ホログラム光学素子１０６によって回折した後に、導波路内部となる透明板部材１０８内での全反射する回数によって決まり、偶数回全反射する光が撮影部１０４の片側に入射し、奇数回全反射した光が撮影部１０４上のもう片側に入射するようになる。
Since these two types of light beams are directed in different directions, each of the light beams enters one half of the
また、被写体Ｏｂからのある光は、導波路型ホログラム光学素子１０６によって回折し、透明板部材１０８導波路内部で全反射を繰り返すが、導波路型ホログラム光学素子１０６が貼り付けられている面で全反射をする場合には、全反射をする位置に入射する被写体Ｏｂの別の光源からの光が同じ角度で回折される。これらの光は、同じ光路を辿って撮像部１０４に入射するため、同じ画像が重なり合って撮影される。
Further, there is light from the object O b is diffracted by a waveguide-type holographic
この重なりが起こらないようにするためには、透明板部材１０８内部で全反射を繰り返す光は、導波路型ホログラム光学素子１０６が貼り付けられている面で全反射をするとき、その位置に入ってくる被写体Ｏｂの別の光源からの光が全反射をしなければよい。すなわち、その位置に導波路型ホログラム光学素子１０６が貼り付けられていなければ良いので、導波路型ホログラム光学素子１０６の大きさによっては、画像の重なりが撮影されない。
In order to prevent this overlap, the light that undergoes total reflection inside the
画像再構成処理部１１０は、撮像部１０４で撮像された撮像データに対して画像再構成処理をして撮像画像Ｉｐを出力する機能を有する。導波路型ホログラム光学素子１０６を介して撮像部１０４で撮像された画像は、歪みや重なり等のノイズが含まれている。このため、本実施形態では、画像再構成処理部１１０は、かかる歪みや重なり等のノイズを除去するプログラムを用いて、撮像部１０４で撮像して得られた撮像データに対して画像再構成処理を行って、歪みや重なりの無い撮像画像Ｉｐを取得する。
The image
具体的には、撮像データｇ、線形作用素Ｈ、及び撮像画像となる物体ｆは、下記の式（１）の関係を有していることから、線形画像となる撮像データｇは、線形逆問題として表すことができるので、各種逆問題解法を用いて、元の物体ｆを推定することができる。 Specifically, since the imaging data g, the linear operator H, and the object f to be a captured image have the relationship of the following equation (1), the imaging data g to be a linear image is a linear inverse problem Therefore, the original object f can be estimated using various inverse problem solving methods.
このように、本発明の一実施形態に係る表示撮像装置１００では、導波路型ホログラム素子１０６を表示部１０２の前面に重ねて設けているので、被写体Ｏｂからの光が導波路型ホログラム光学素子１０６で回折され、透明板部材１０８内で全反射を繰り返しながら、その辺縁に向けて進むようになる。そして、本実施形態の表示撮像装置１００は、透明板部材１０８の辺縁から射出した光を撮像部１０４で撮影するようになっている。
Thus, the display
導波路型ホログラム光学素子１０６を介して、撮像部１０４で撮影された画像データには、歪みや重なり等のノイズが含まれるため、画像再構成処理部１１０で再構成処理を行うことによって、撮像画像Ｉｐを取得するようになっている。このため、本実施形態では、被写体Ｏｂとなる人物が表示部１０２に視線を送る際に、当該視線が撮像部１０４への視線と一致するようになるので、被写体Ｏｂとなる人物の表示部１０２への視線と撮像部１０４への視線が一致するようになる。
Since the image data captured by the
なお、本実施形態で使用される導波路型ホログラム光学素子１０６として、体積型ホログラムを用いる場合には、特定の波長・特定の入射角の光のみ、すなわち、ブラッグ条件を満たす入射角の光のみを回折する。表示部１０２からの光の大部分は、ブラッグ条件を満たさないため、導波路型ホログラム光学素子１０６を透過して、観察者に到達する。また、本実施形態では、赤緑青の３原色で撮影された導波路型ホログラム光学素子１０６を用いることにより、撮像部１０４では、カラーの画像を取得することができるようになっている。
When a volume hologram is used as the waveguide hologram
次に、本発明の一実施形態に係る表示撮像装置に備わる導波路型ホログラム光学素子の作成方法について、図面を使用しながら説明する。図２は、本発明の一実施形態に係る表示撮像装置に備わる導波路型ホログラム光学素子の作成方法の一例を示す動作説明図である。 Next, a method for producing a waveguide hologram optical element included in a display and imaging device according to an embodiment of the present invention will be described with reference to the drawings. FIG. 2 is an operation explanatory diagram showing an example of a method for producing a waveguide hologram optical element provided in a display and imaging device according to an embodiment of the present invention.
本発明の一実施形態に係る表示撮像装置１００に備わる導波路型ホログラム光学素子１０６は、図２に示すような光学系を用いて作成される。なお、図２では、緑色のレーザ光を光源とした場合の導波路型ホログラム光学素子の作成方法の一例を示す。
The waveguide hologram
本実施形態では、図２に示すように、導波路型ホログラム光学素子１０６を台形プリズム１の下端に貼り付け、物体光として緑色のレーザ光を光源２で発光するように光源制御部８を制御する。そして、光源２から発光した緑色のレーザ光がレンズ３、４を介して平行光にされ、当該平行光を導波路型ホログラム光学素子１０６に対して垂直になるよう入射させる。
In this embodiment, as shown in FIG. 2, the waveguide hologram
一方、光源制御部８を制御して光源５で緑色のレーザ光として発光される参照光は、図２に示すように、レンズ６、７を介して平行光にされてから、台形プリズム１の脚の部分から当てる。そして、台形プリズム１の脚の部分に当てられた参照光は、台形プリズム１の内部で屈折し、当該台形プリズム１を構成するガラスの臨界角を超えた角度で導波路型ホログラム光学素子１０６に入射する。
On the other hand, the reference light emitted from the
このようにして、緑色レーザ光の回折用の干渉縞が導波路型ホログラム光学素子１０６に形成される。また、光源２、５から発光する光を赤色レーザ光、青色レーザ光とすることによって、赤色レーザ光の回折用の干渉縞、青色レーザ光の回折用の干渉縞がそれぞれ導波路型ホログラム光学素子１０６に形成される。すなわち、表示部１０２の前面側に、各波長ごと、各色ごとに干渉縞のパターンがそれぞれ異なる複数の導波路型ホログラム光学素子１０６を設けることによって、波長の異なる光が撮像部１０４に導光されるので、画像再構成処理後の撮像画像の精度を良好にできるようになる。
In this way, interference fringes for green laser light diffraction are formed on the waveguide hologram
次に、本発明の一実施形態に係る表示撮像装置による撮像データの実施例について、図面を使用しながら説明する。図３（Ａ）乃至図３（Ｃ）は、本発明の一実施形態に係る表示撮像装置による撮像データの一実施例の説明図であり、図４（Ａ）乃至図４（Ｃ）は、本発明の一実施形態に係る表示撮像装置による撮像データの他の一実施例の説明図である。 Next, an example of imaging data by the display imaging apparatus according to one embodiment of the present invention will be described with reference to the drawings. FIGS. 3A to 3C are explanatory diagrams of an example of image data obtained by the display and imaging apparatus according to an embodiment of the present invention, and FIGS. FIG. 11 is an explanatory diagram of another example of image data obtained by the display / image pickup apparatus according to the embodiment of the present invention.
まず、本発明の一実施形態に係る表示撮像装置を用いて、図３（Ａ）に示すようなスターチャートを被写体として撮像した。その際にガラス基板から射出する光をレンズにより撮像素子の上に結像させた。かかる撮像素子で結像させた被写体となるスターチャートをレーザプロジェクタで拡散スクリーン上に投影したものを導波路型ホログラム光学素子の下端から撮影すると、図３（Ｂ）に示すように、歪んだスターチャートとなった。その後、表示撮像装置の画像再構成処理部によって、撮像素子で結像して得られた歪んだスターチャートの撮像データに対して画像再構成処理を行うことによって、図３（Ｃ）に示すように、歪みや重なりの少ない撮影したい被写体に近いスターチャートの撮像画像を得ることができた。 First, using a display imaging apparatus according to an embodiment of the present invention, a star chart as shown in FIG. 3A was imaged as a subject. At that time, light emitted from the glass substrate was imaged on the image sensor by a lens. When a star chart as a subject formed by such an image sensor is projected on a diffusion screen by a laser projector and photographed from the lower end of the waveguide hologram optical element, as shown in FIG. It became a chart. Thereafter, the image reconstruction processing unit of the display / imaging apparatus performs image reconstruction processing on the image data of the distorted star chart obtained by forming an image with the image sensor, as shown in FIG. 3C. In addition, it was possible to obtain a captured image of a star chart close to the subject to be photographed with little distortion or overlap.
次に、導波路型ホログラム光学素子の背面にディスプレイを設置した場合に、ディスプレイからの光が撮影に及ぼす影響を実験によって確かめた。具体的には、図４（Ａ）に示すように、ホログラム光学素子の背面にディスプレイを設置した光学系を用いて、実験した。ホログラム光学素子が貼り付けられていないガラス板導波路の面側に、印刷した「A」の文字をレーザで照射したものを被写体として導波路型ホログラム光学素子から１０ｃｍほど離れた位置に設置した。ディスプレイは、ガラス板導波路に貼り付けられた導波路型ホログラム光学素子に密着させるようにして、図４（Ａ）中にあるカメラを用いて撮影を行なった。 Next, the effect of light from the display on photographing when the display was installed on the back of the waveguide hologram optical element was confirmed by experiments. Specifically, as shown in FIG. 4A, an experiment was performed using an optical system in which a display was installed on the back of the hologram optical element. On the surface side of the glass plate waveguide to which the hologram optical element was not attached, the object irradiated with the printed letter "A" by a laser was set at a position about 10 cm away from the waveguide hologram optical element as a subject. The display was photographed using the camera shown in FIG. 4A so as to be in close contact with the waveguide hologram optical element attached to the glass plate waveguide.
図４（Ａ）中にあるカメラを用いて、導波路型ホログラム光学素子が貼り付けられていないガラス板を使用して撮像すると、図４（Ｂ）に示すように、ガラス板を通して外部の背景が見えており、印刷した「Ａ」の文字は映っていない。このことから、以降の撮像データと図４（Ｂ）の差異が導波路型ホログラム光学素子による像であるということが分かる。 When the camera shown in FIG. 4A is used to capture an image using a glass plate to which the waveguide hologram optical element is not attached, as shown in FIG. 4B, an external background passes through the glass plate. , And the printed letter “A” is not shown. From this, it can be seen that the difference between the subsequent imaging data and FIG. 4B is an image by the waveguide hologram optical element.
次に、図４（Ａ）中にあるカメラを用いて、導波路型ホログラム光学素子が貼り付けられているガラス板を使用して撮像すると、図４（Ｃ）に示すように、印刷した「Ａ」の文字が明確に見えた上で、ディスプレイに表示した画像は、見られない。このことから、導波路型ホログラム光学素子の背面にディスプレイがあったとしても、このようにディスプレイの影響が見られない画像を取得することができた。 Next, using the camera shown in FIG. 4A and taking an image using a glass plate to which the waveguide type hologram optical element is attached, as shown in FIG. 4C, the printed “ The image displayed on the display after the character "A" is clearly seen cannot be seen. From this, even if a display was behind the waveguide hologram optical element, it was possible to obtain an image in which the influence of the display was not seen.
なお、本実施形態では、撮像部１０４は、導波路型ホログラム光学素子１０６と重複する透明板部材１０８の外縁部側に向けて設けられているが、撮像部１０４の設置箇所及び設置方向は、図１に示す態様に限定されない。すなわち、図５に示すように、透明板部材１０８の前面側に、一方の導波路型ホログラム光学素子１０６ａと当接する領域と重複しない領域に、他方の導波路型ホログラム光学素子１０６ｂを更に設けることによって、撮像部１０５が表示部１０２の外縁側に取り付けて、撮像対象となる被写体Ｏｂの方向に向けて設置される構成としてもよい。
In the present embodiment, the
すなわち、図５に示すように、撮像部１０５が一方の導波路型ホログラム光学素子１０６ａで回折された被写体Ｏｂからの光が透明板部材１０８で全反射後に、他方の導波路型ホログラム光学素子１０６ｂで回折した被写体Ｏｂからの光を導光可能な位置に設けられることによって、撮像部１０５の設置部位や設置方向の自由度が増す。このため、表示撮像装置１０１の設計自由度が向上した上で、装置の小型化が実現され易くなる。
That is, as shown in FIG. 5, after the total reflection light by the
以上説明したように、本発明の一実施形態に係る表示撮像装置１００では、表示部１０２の前面側に導波路型ホログラム光学素子１０６を設けることによって、表示部１０２の辺縁に配置された撮像部１０４で表示部１０２の正面にいる被写体Ｏｂとなる人物を撮像できるようになる。そして、撮像部１０４で撮像して得られた歪みやノイズ等を含む撮像データに対して、画像再構成処理部１１０で画像再構成処理をすることによって、被写体Ｏｂに対して再現性の高い撮像画像Ｉｐが得られるようになる。
As described above, in the display /
このように、実質的に表示部１０２の面全体で被写体Ｏｂが撮像されるようになると、被写体Ｏｂとなる人物が表示部１０２に視線を送る際に、当該視線の状態のまま撮像部１０４に撮像されるようになる。このため、被写体Ｏｂとなる人物の表示部１０２への視線と撮像部１０４によって撮像される被写体Ｏｂの視線が一致するようになる。
Thus, when the object O b across the plane of the substantially display
すなわち、本発明の一実施形態に係る表示撮像装置１００を遠隔ビデオ通話に適用すると、図６に示すように、一方の表示撮像装置１００ａを使用する被写体Ｏｂ１の表示部１０２ａに向かう視線と撮像部１０４ａによって撮像される被写体Ｏｂ１の視線が一致するようになる。同様にして、他方の表示撮像装置１００ｂを使用する被写体Ｏｂ２の表示部１０２ｂに向かう視線と撮像部１０４ｂによって撮像される被写体Ｏｂ２の視線が一致するようになる。
That is, when the
このため、表示撮像装置１００ａ、１００ｂを用いて遠隔ビデオ通話をすると、被写体となる双方の人物Ｏｂ１、Ｏｂ２が表示部１０２ａ、１０２ｂを注視した正面の画像を撮影できるので、双方の人物Ｏｂ１、Ｏｂ２の視線が一致するようになる。これによって、スマートフォンやタブレット端末等の薄型の表示撮像装置で視線一致の遠隔ビデオ通話が可能になるので、ユーザにとっては、より自然な形で臨場感のある遠隔ビデオ通話ができるようになる。
For this reason, when a remote video call is performed using the display /
また、本発明の一実施形態に係る表示撮像装置１００は、自画撮影にも適用できる。例えば、図７に示すように、ガラス板導波路となる透明板部材の導波路型ホログラム光学素子を貼り付けた側に設置した表示部となるディスプレイ１０２に撮影した画像をリアルタイムで表示すると、被写体Ｏｂが観察するディスプレイ１０２には、正面から撮像された被写体Ｏｂの画像が映し出され、正面から画像を確認しながら、自画撮影を行うことができる。このとき、左右反転して表示すれば、ディスプレイ１０２は、被写体Ｏｂから鏡を見ているかのように振る舞い、被写体Ｏｂは、ディスプレイ１０２に映し出された自身と視線を一致させて自然に観察することができるようになる。
Further, the display /
さらに、本発明の一実施形態に係る表示撮像装置１００は、薄型多視点撮影デバイスにも適用できる。例えば、図８に示すように、表示部となるディスプレイ２０２の前面側に導波路型ホログラム光学素子２０６と透明板部材２０８を設けて、当該透明板部材２０８の辺縁部側に撮像部として複数のカメラ２０４ａ、２０４ｂ、２０４ｃを用いることによって、表示撮像装置２００は、多視点から被写体Ｏｂの画像を撮像して、撮像画像Ｉｐ１、Ｉｐ２、Ｉｐ３として被写体Ｏｂの三次元情報を取得できるようになる。
Further, the display and
また、本発明の一実施形態に係る表示撮像装置１００は、薄型多視点撮影デバイスに適用する際に、図９（Ａ）に示すように、不図示の表示部の前面側に、干渉縞のパターンがそれぞれ異なる複数の導波路型ホログラム光学素子３０６ａ、３０６ｂ、３０６ｃ、３０６ｄ、３０６ｅ、３０６ｆが貼付された透明板部材３０８が設けられ、当該透明板部材３０８の辺縁部側に撮像部として複数のカメラ３０４ａ、３０４ｂ、３０４ｃ、３０４ｄ、３０４ｅ、３０４ｆが各導波路型ホログラム光学素子３０６ａ、３０６ｂ、３０６ｃ、３０６ｄ、３０６ｅ、３０６ｆにそれぞれ対応して設けられる構成としてもよい。すなわち、複数の導波路型ホログラム光学素子３０６ａ、３０６ｂ、３０６ｃ、３０６ｄ、３０６ｅ、３０６ｆのそれぞれが互いに重複しないように、表示部の前面側に配置する構成としてもよい。
In addition, when the
このように、異なる導波路型ホログラム光学素子３０６ａ、３０６ｂ、３０６ｃ、３０６ｄ、３０６ｅ、３０６ｆをそれぞれ別の位置に貼り付けた表示撮像装置３００に設けられる複数のカメラ３０４ａ、３０４ｂ、３０４ｃ、３０４ｄ、３０４ｅ、３０４ｆで被写体Ｏｂを撮像することによって、図９（Ｂ）に示すように、異なる角度から被写体Ｏｂを撮像して、それぞれ異なる角度の撮像画像Ｉｐ１、Ｉｐ２、Ｉｐ３が得られるようになる。
As described above, the plurality of
さらに、本発明の一実施形態に係る表示撮像装置１００は、ジェスチャー入力にも適用できる。すなわち、図１０（Ａ）に示すように、従来の表示撮像装置１０に備わる内蔵カメラ１４による撮像では、ディスプレイ１２から非常に近い距離にある被写体Ｏｂを撮像することができない。一方、本発明の一実施形態に係る表示撮像装置４００では、撮像部４０４が導波路型ホログラム光学素子４０６を介してディスプレイ４０２全面で光を捉えることができるため、そのような撮像も可能となる。
Further, the display and
このようなジェスチャー入力に係る技術は、ディスプレイ４０２に触れることなく、タッチ操作やその他のジェスチャー入力を行う非接触型タッチディスプレイへも応用できる。また、前述した多視点での撮像と組み合わせることによって、ステレオ視差法から物体の深度を求めることができ、深度が一定以下になれば、タッチされたとみなすという処理によって実現可能となる。
The technology related to such a gesture input can be applied to a non-contact type touch display that performs a touch operation or other gesture input without touching the
また、本発明の一実施形態に係る表示撮像装置１００は、マルチスペクトルカメラを使用して背景光成分を効果的に除去することができる。本実施形態に係る表示撮像装置１００で撮影される画像は、ホログラム光学素子による回折光であるが、透過光や散乱光等の迷光も撮像データに含まれることがある。このため、かかる背景光成分を低減・除去する必要がある。
Further, the display and
本発明の一実施形態に係る表示撮像装置１００で用いるホログラム光学素子は、反射体積型ホログラムであるため、波長選択性を有している。このため、回折光は、波長方向に狭帯域のスペクトルを持つ。Ｒ、Ｇ、Ｂ各成分の撮影物体光強度及び回折光のスペクトルをそれぞれｆｉ（ｘ，ｙ）、ｄｉ（λ）（ｉ＝Ｒ，Ｇ，Ｂ）とすると、ホログラム光学素子からの回折光全体のスペクトルｆｈ（ｘ，ｙ，λ）は、以下の式（２）で与えられる。
The hologram optical element used in the display and
ＲＧＢカラーカメラの分光感度をｓｋ（λ）とすると、撮像データｇｋ（ｘ，ｙ）（ｋ＝Ｒ，Ｇ，Ｂ）は、下記の式（３）と書くことができる。 Assuming that the spectral sensitivity of the RGB color camera is s k (λ), the imaging data g k (x, y) (k = R, G, B) can be written as the following equation (3).
ここで、前述した式（３）に記載のｅ（ｘ，ｙ，λ）は、背景光成分の空間・分光分布である。当該式（３）は、以下のような式（４）に書き換えることができる。 Here, e (x, y, λ) described in the above equation (3) is the spatial and spectral distribution of the background light component. The equation (3) can be rewritten as the following equation (4).
ただし、前述した式（４）におけるａｉｋ、ｅｋ（ｘ，ｙ）は、以下の式（５）で表される。 However, a ik and e k (x, y) in the above-described equation (4) are represented by the following equation (5).
なお、ＲＧＢの分光感度がホログラム回折光のＲＧＢ各成分をカバーし、クロストークが無ければ、ａｉｋ＝０（ｋ≠ｉ）となるので、撮像データｇｋ（ｘ，ｙ）（ｋ＝Ｒ，Ｇ，Ｂ）は、以下の式（６）のように簡単な式で表せる。 Note that if the spectral sensitivity of RGB covers each of the RGB components of the hologram diffracted light and there is no crosstalk, aik = 0 (k） i), so that the imaging data g k (x, y) (k = R , G, B) can be expressed by a simple equation as in the following equation (6).
このとき、ＲＧＢカラーカメラの分光感度をホログラム回折光の波長帯域幅にできるだけ近づけることによって、ａｋｋを大きく、ｅｋ（ｘ，ｙ）を小さくすることができるので、Ｓ／Ｎを改善できる。 At this time, by as close as possible to the spectral sensitivity of the RGB color camera to the wavelength bandwidth of the hologram diffraction light, it increased a kk, e k (x, y) can be reduced, and can improve the S / N.
さらに、ＲＧＢカラーカメラではなく、マルチスペクトルカメラ（ＭＳＣ）を用いることを考える。ＭＳＣの分光感度をｓｋ（λ）とすると、撮像データｇｋ（ｘ，ｙ）（ｋ＝１…Ｍ、Ｍは、ＭＳＣのバンド数）は、前述した式（４）と同様に、以下の式（７）で表すことができる。 Furthermore, consider using a multispectral camera (MSC) instead of an RGB color camera. Assuming that the spectral sensitivity of the MSC is s k (λ), the imaging data g k (x, y) (k = 1... M, M is the number of bands of the MSC) can be calculated as in the above equation (4). Equation (7) can be used.
前述した式（７）を行列・ベクトルを用いて表現すると、以下の式（８）のように表せる。 When the above equation (7) is expressed using a matrix / vector, it can be expressed as the following equation (8).
ただし、前述した式（８）では、波長λをＮ点で離散化して表現している。このうち、Ａは、既知で狭い波長範囲にのみ値を持つスパースな行列、Ｓは、既知の分光感度特性であり、また、背景光成分のスペクトルｅλは、多くの場合、波長方向に相関を持つことから、ｆ及びｅλが非負である条件のもとで最適化アルゴリズムを用いて逆問題を解くことによって、ｆ及びｅλを推定できるようになる。 However, in Equation (8) described above, the wavelength λ is represented by being discretized at N points. Among them, A is a sparse matrix having a known value only in a narrow wavelength range, S is a known spectral sensitivity characteristic, and the spectrum e λ of the background light component is often correlated in the wavelength direction. , It is possible to estimate f and e λ by solving the inverse problem using an optimization algorithm under the condition that f and e λ are non-negative.
なお、このとき、ｓｋ（λ）が等間隔狭帯域の分光感度特性であれば、Ｓｅλの代わりに、ｅ＝（ｅ１（ｘ，ｙ）ｅ２（ｘ，ｙ）…ｅＭ（ｘ，ｙ））ｔを分光画像として扱ってもよい。 At this time, if s k (λ) is a spectral sensitivity characteristic of a narrow band at equal intervals, e = (e 1 (x, y) e 2 (x, y)... E M (instead of Se λ ) x, y)) t may be treated as a spectral image.
また、除去するべき背景光成分がディスプレイからの光の場合には、ディスプレイのＲＧＢ３原色のスペクトルの線形結合でｅ（ｘ，ｙ，λ）を表現し、その係数を未知数として上記最適化問題を解くこともできる。 When the background light component to be removed is light from the display, e (x, y, λ) is expressed by a linear combination of the three primary colors of RGB of the display, and the coefficient is unknown and the above optimization problem is solved. Can be solved.
簡単のために、マルチスペクトル画像のチャネルのうち、特定の３つのチャネルのみでホログラムからのＲＧＢ回折光をカバーすると、行列Ａの各列で１要素のみが値を持ち、他の要素が０となる。このとき、撮影されたマルチスペクトル画像のうち、Ｍ−３個のチャネルは、背景光成分のみを取得していることになる。そこで、背景光成分ｅλは、多くの場合、波長方向に相関を持つこと、又はディスプレイのＲＧＢ３原色のスペクトルの線形結合で表現できることを拘束条件として用いて、この問題を解くことによって、比較的容易にｆ及びｅを推定できる。このようにして、本発明の一実施形態に係る表示撮像装置１００は、マルチスペクトルカメラを使用した背景光成分の除去を適用することによって、背景を分離して撮像画像を得ることができる。
For simplicity, if only three specific channels among the channels of the multispectral image cover the RGB diffracted light from the hologram, only one element has a value in each column of the matrix A, and the other elements are 0. Become. At this time, among the captured multispectral images, M-3 channels have acquired only the background light component. Therefore, in many cases, the background light component eλ is relatively correlated by solving this problem using, as a constraint, that the background light component eλ has a correlation in the wavelength direction or that it can be expressed by a linear combination of the three primary colors of RGB of the display. F and e can be easily estimated. In this manner, the display and
以上説明したように、本発明の一実施形態に係る表示撮像装置を適用することによって、実質的に表示部の面全体で当該表示部の前面側の被写体が撮像されるようになる。このため、被写体となる人物が表示部に視線を送る際に、当該視線の状態のまま撮像部に撮像されるので、被写体となる人物の表示部への視線と撮像部によって撮像される被写体の視線が一致するようになる。 As described above, by applying the display and imaging device according to the embodiment of the present invention, a subject on the front side of the display unit can be imaged on substantially the entire surface of the display unit. For this reason, when a person to be a subject sends a line of sight to the display unit, the image is captured by the imaging unit in the state of the line of sight. The gaze comes to coincide.
また、本発明の一実施形態に係る表示撮像装置は、三次元的に展開することなく、二次元的に展開される構成となり、従来よりも薄型の表示撮影装置となるので、スマートフォンやタブレット端末に適用可能となる。このため、視線一致の遠隔ビデオ対話装置や自画撮影、鏡機能アプリケーション、近接ジェスチャー入力によるインターフェースを容易に実現できるようになるので、極めて大きな工業的価値を有する。 In addition, the display and imaging device according to an embodiment of the present invention has a configuration in which the display and imaging device is not two-dimensionally expanded, but is two-dimensionally expanded, and is a thinner display and imaging device than a conventional device. It becomes applicable to. Therefore, it is possible to easily realize a remote video interactive device with eye-gaze matching, self-portrait photographing, a mirror function application, and an interface by proximity gesture input, which has an extremely large industrial value.
なお、上記のように本発明の各実施形態について詳細に説明したが、本発明の新規事項及び効果から実体的に逸脱しない多くの変形が可能であることは、当業者には、容易に理解できるであろう。従って、このような変形例は、全て本発明の範囲に含まれるものとする。 Although the embodiments of the present invention have been described in detail as described above, those skilled in the art can easily understand that many modifications that do not substantially depart from the novel matter and effects of the present invention are possible. I can do it. Therefore, such modified examples are all included in the scope of the present invention.
例えば、明細書又は図面において、少なくとも一度、より広義又は同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また、表示撮像装置の構成、動作も本発明の各実施形態で説明したものに限定されず、種々の変形実施が可能である。 For example, in the description or drawings, a term described at least once together with a broader or synonymous different term can be replaced with the different term in any part of the description or drawing. Further, the configuration and operation of the display / imaging device are not limited to those described in each embodiment of the present invention, and various modifications can be made.
１００ 表示撮像装置、１０２ 表示部、１０４ 撮像部、１０６ 導波路型ホログラム光学素子、１０８ 透明板部材、１１０ 画像再構成処理部
Claims (6)
前記表示部の前面側に設けられる導波路型ホログラム光学素子と、
前記導波路型ホログラム光学素子の周縁部の何れかに設けられ、前記導波路型ホログラム光学素子を介して前記被写体を撮像する撮像部と、
前記撮像部で撮像された撮像データに対して画像再構成処理をして撮像画像を出力する画像再構成処理部と、を備え、
前記撮像部は、前記導波路型ホログラム光学素子で回折された前記被写体からの光が導光されることによって該被写体を撮像することを特徴とする表示撮像装置。 A display imaging device having a function of imaging a subject located in front of a display unit from the front,
A waveguide hologram optical element provided on the front side of the display unit,
An imaging unit that is provided at any one of the peripheral portions of the waveguide hologram optical element and captures an image of the subject through the waveguide hologram optical element.
An image reconstruction processing unit that performs image reconstruction processing on image data captured by the imaging unit and outputs a captured image,
The display imaging apparatus, wherein the imaging unit images the subject by guiding light from the subject diffracted by the waveguide hologram optical element.
前記撮像部は、前記導波路型ホログラム光学素子で回折された前記被写体からの前記光が前記透明板部材で全反射を繰り返しながら導光される位置に設けられていることを特徴とする請求項１に記載の表示撮像装置。 A transparent plate member is further provided on the front side of the waveguide hologram optical element,
The said imaging part is provided in the position where the said light from the said subject diffracted by the said waveguide-type hologram optical element is guided while repeating total reflection by the said transparent plate member, The Claims characterized by the above-mentioned. 2. The display and imaging device according to 1.
前記撮像部は、前記導波路型ホログラム光学素子で回折された前記被写体からの前記光が前記透明板部材で全反射後に前記他の導波路型ホログラム光学素子で回折した該被写体からの該光を導光可能な位置に設けられていることを特徴とする請求項２に記載の表示撮像装置。 In the transparent plate member, another waveguide type hologram optical element is further provided in a region that does not overlap with a region in contact with the waveguide type hologram optical element on the front side,
The imaging unit is configured to convert the light from the subject diffracted by the waveguide-type hologram optical element from the subject diffracted by the other waveguide-type hologram optical element after the light from the subject is totally reflected by the transparent plate member. The display and imaging device according to claim 2, wherein the display and imaging device are provided at a position where light can be guided.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018142788A JP2020022006A (en) | 2018-07-30 | 2018-07-30 | Display imaging apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018142788A JP2020022006A (en) | 2018-07-30 | 2018-07-30 | Display imaging apparatus |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2020022006A true JP2020022006A (en) | 2020-02-06 |
Family
ID=69588855
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018142788A Pending JP2020022006A (en) | 2018-07-30 | 2018-07-30 | Display imaging apparatus |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2020022006A (en) |
-
2018
- 2018-07-30 JP JP2018142788A patent/JP2020022006A/en active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7190337B2 (en) | Multiple image display device with diffractive optical lens | |
| US11125993B2 (en) | Optical hyperfocal reflective systems and methods, and augmented reality and/or virtual reality displays incorporating same | |
| JP7125423B2 (en) | Skew mirror auxiliary imaging | |
| CN107850780B (en) | Holographic near-to-eye display | |
| TW201839459A (en) | Optical system for near-eye displays | |
| US11281003B2 (en) | Near eye dynamic holography | |
| CN114365020A (en) | Spatially multiplexed volume bragg grating with variable refractive index modulation for waveguide displays | |
| JP2018507442A (en) | System, apparatus, and method for eyebox expansion in wearable head-up displays | |
| CN109031669B (en) | Compact holographic near-to-eye AR display system and application thereof | |
| US11022799B2 (en) | Projector-combiner display with beam replication | |
| KR20170015942A (en) | Methods and systems for generating virtual content display with a virtual or augmented reality apparatus | |
| US20160021351A1 (en) | Optical system and device having optical system | |
| EP3444527B1 (en) | Light guide plate, backlight unit, and holographic display apparatus including the backlight unit | |
| JPH0635392A (en) | Stereoscopic display device | |
| US20200166764A1 (en) | Multi-image display apparatus including polarization selective lens and screen | |
| US11194158B2 (en) | Light guide with beam separator for dual images | |
| JP3341342B2 (en) | Diffraction grating array and stereoscopic image display using the same | |
| US11209652B2 (en) | Light guide with polarization separator for dual images | |
| Nakamura et al. | Off-axis virtual-image display and camera by holographic mirror and blur compensation | |
| US20230204832A1 (en) | Diffraction sheet and method for manufacturing the same, three-dimensional display device, light beam reproduction device, three-dimensional spatial display system, light beam reproduction method, and program | |
| US20100194668A1 (en) | Method for visualizing images and a device for performing the same | |
| Zhang et al. | Add-on occlusion: Turning off-the-shelf optical see-through head-mounted displays occlusion-capable | |
| JP2020022006A (en) | Display imaging apparatus | |
| JP2586230B2 (en) | Display with diffraction grating pattern | |
| WO2018146970A1 (en) | Blur compensation system |