JP2007208819A - Imaging and display device - Google Patents
Imaging and display device Download PDFInfo
- Publication number
- JP2007208819A JP2007208819A JP2006027216A JP2006027216A JP2007208819A JP 2007208819 A JP2007208819 A JP 2007208819A JP 2006027216 A JP2006027216 A JP 2006027216A JP 2006027216 A JP2006027216 A JP 2006027216A JP 2007208819 A JP2007208819 A JP 2007208819A
- Authority
- JP
- Japan
- Prior art keywords
- image
- face
- imaging
- image data
- image frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
Description
本発明は、撮像及び表示を行うことで対話型通信を実現する撮像表示装置に関する。 The present invention relates to an imaging display device that realizes interactive communication by performing imaging and display.
従来より、テレビ電話や、PC等の映像を用いた対話型通信を実現する撮像表示装置において、対話を好適に行うための様々な装置が開発されている。例えば、特許文献1には、カメラで撮像された撮像画像のうち、相手側での表示を認める所定範囲画像以外の部分に画像処理を施し、その画像処理が施された画像を送信するようにして、自分側の画像が相手側に表示されるのが不都合な場合の適応性を図ったテレビ電話装置が開示されている。
しかしながら、特許文献1のような従来型の撮像表示装置では、人物を撮像する撮像装置が表示装置の外側に配置されている為に、会話する人物同士が視線を一致させて会話できないという問題があった。会話には、目によるコミュニケーションが重要であることが立証されており、視線を合わせた会話が可能な撮像表示装置が必要である。
2. Description of the Related Art Conventionally, various devices have been developed for suitably performing dialogues in an imaging display device that realizes interactive communication using video images such as videophones and PCs. For example, in
However, in the conventional imaging display device such as
そのため、例えば、特許文献2には、表示装置の表示部内に複数の微小な穴を設け、複数の微小な穴の後方に光ファイバ束を通して撮像装置に導くようにした表示・撮像装置が開示されている。
また、特許文献3には、直線状の棒レンズ或いはレンズ付きのファイバーアレイである像伝達素子を有し、表示画面の表示画面内から観察者に知覚されることなく、観察者の自然な画像を撮像することができ、自然な撮像と表示を可能とした撮像・表示装置が開示されている。
また、特許文献4には、液晶表示部に画像を映出するとともに、ディスプレイ本体内のカメラで視聴者を撮るカメラ一体型ディスプレイ装置において、カメラの出力映像信号を解析して視聴者の動きを検出し、この動き検出量に応じてディスプレイ本体の揺動を制御して、視聴者を画面の中心に一定の大きさに映出させるよう追尾する自動追尾手段を備えた装置が開示されている。
また、特許文献5には、対話者とモニタ上の人物像の視線一致領域内に撮像部自体を移動させる手段や、モニタ上の人物像を移動させ、同様にモニタと対向する対話者の視線とモニタ上の人物像の視線一致領域自体を移動させる手段等により、対話者間の視線を一致させる機構を備えた双方向対話型システムに好適な端末装置が開示されている。
Further,
Patent Document 4 discloses a camera-integrated display device that displays an image on a liquid crystal display unit and captures a viewer with a camera in the display body, and analyzes the output video signal of the camera to detect the movement of the viewer. An apparatus is disclosed that includes automatic tracking means that detects and controls the swing of the display body in accordance with the amount of motion detection so as to track the viewer so that the viewer is projected at a fixed size at the center of the screen. .
Further,
しかしながら、特許文献2では、撮像装置が表示装置の裏面に設けられているものの、視線を一致させることとなるとは限らないという問題があった。また、特許文献3〜5の技術を組み合わせた場合では、顔の位置の移動に応じて撮像装置やディスプレイ装置を機械的に移動させることとなるため、顔の移動に対して応答速度が劣るという問題があった。
However, in
本発明は、上記課題を解決するためになされたものであり、顔の位置の移動に対して応答速度が劣ることなく、視線が一致した画像を送信することができる撮像表示装置を提供することである。 The present invention has been made to solve the above-described problems, and provides an imaging display device capable of transmitting an image with a matched line of sight without inferior response speed to movement of the face position. It is.
上記課題を解決するため、請求項1に記載の発明は、撮像表示装置において、
画像を表示するとともに、前方領域から入力される光を透過する複数の透過部を備える表示部と、
前記複数の透過部の各々に対応して配置され、各透過部を通して前方領域から入力される光を受光する複数の光ファイバと、
前記複数の光ファイバを介して得られる前記表示部の前方領域の像を撮像して画像データを取得する撮像手段と、
前記撮像手段により取得された前記画像データから、人物の顔が撮像された位置を検出する顔位置検出手段と、
前記顔位置検出手段による検出結果に基づいて、前記顔の周囲領域に画枠を設定する画枠設定手段と、
前記画像データのうち、前記画枠設定手段により設定された前記画枠で囲まれた領域の画枠画像データを外部装置に送信する送信手段と、
を備えることを特徴とする。
In order to solve the above problem, an invention according to
A display unit that displays an image and includes a plurality of transmission units that transmit light input from the front region;
A plurality of optical fibers arranged corresponding to each of the plurality of transmission parts and receiving light input from the front region through the transmission parts;
Imaging means for capturing an image of a front region of the display unit obtained through the plurality of optical fibers to acquire image data;
Face position detecting means for detecting a position where a human face is imaged from the image data acquired by the imaging means;
An image frame setting means for setting an image frame in a peripheral area of the face based on a detection result by the face position detection means;
A transmitting unit that transmits image frame image data of an area surrounded by the image frame set by the image frame setting unit to the external device among the image data;
It is characterized by providing.
請求項2に記載の発明は、撮像表示装置において、
画像を表示する表示部と、
前記表示部の表示画面の後方から、前記表示部の前方領域を撮像して画像データを取得する撮像手段と、
前記撮像手段により取得された前記画像データから、人物の顔が撮像された位置を検出する顔位置検出手段と、
前記顔位置検出手段による検出結果に基づいて、前記顔の周囲領域に画枠を設定する画枠設定手段と、
前記画像データのうち、前記画枠設定手段により設定された前記画枠で囲まれた領域の画枠画像データを外部装置に送信する送信手段と、
を備えることを特徴とする。
The invention according to
A display for displaying an image;
Imaging means for capturing image data by imaging a front area of the display unit from the rear of the display screen of the display unit;
Face position detecting means for detecting a position where a human face is imaged from the image data acquired by the imaging means;
An image frame setting means for setting an image frame in a peripheral area of the face based on a detection result by the face position detection means;
A transmitting unit that transmits image frame image data of an area surrounded by the image frame set by the image frame setting unit to the external device among the image data;
It is characterized by providing.
請求項1に記載の発明によれば、撮像手段により取得された画像データにおいて、顔位置検出手段により人物の顔が撮像された位置が検出され、当該顔の位置に基づいて、画枠設定手段により顔の周囲領域に画枠が設定される。さらに、送信手段により、画像データのうち画枠で囲まれた領域の画枠画像データが外部装置に送信されるため、顔の位置が移動した場合であっても、機械的に追尾することなく、顔画像が中央に表示された画枠画像データのみが送信されることとなる。従って、顔の位置の移動に対して応答速度が劣ることがなく、より確実に視線が一致した画像を送信することができる撮像表示装置を提供することができる。
また、表示部は、前方領域から入力される光を透過する複数の透過部を備え、撮像手段は、光ファイバを介して得られる表示部の前方領域の像を撮像して画像データを取得するので、より容易に視線の一致した画像データを取得することができるとともに、撮像表示装置の薄型化を図る等、設計の自由度を増すことができる。さらに、透過部から光ファイバを介して入光する光により撮像を行うので、画角の広い画像データを取得することができる。
According to the first aspect of the present invention, in the image data acquired by the imaging means, the position where the face of the person is imaged is detected by the face position detecting means, and based on the position of the face, the image frame setting means Thus, an image frame is set in the peripheral area of the face. Furthermore, since the image frame image data of the area surrounded by the image frame is transmitted to the external device by the transmission means, even when the face position is moved, it is not mechanically tracked. Only the frame image data with the face image displayed in the center is transmitted. Therefore, it is possible to provide an imaging display device that can transmit an image with a line of sight more reliably without inferior response speed to the movement of the face position.
The display unit includes a plurality of transmission units that transmit light input from the front region, and the imaging unit acquires image data by capturing an image of the front region of the display unit obtained through the optical fiber. Therefore, it is possible to more easily acquire image data with the same line of sight, and to increase the degree of design freedom such as reducing the thickness of the imaging display device. Furthermore, since imaging is performed with light incident from the transmission part via the optical fiber, image data with a wide angle of view can be acquired.
請求項2に記載の発明によれば、撮像手段により取得された画像データにおいて、顔位置検出手段により人物の顔が撮像された位置が検出され、当該顔の位置に基づいて、画枠設定手段により顔の周囲領域に画枠が設定される。さらに、送信手段により、画像データのうち画枠で囲まれた領域の画枠画像データが外部装置に送信されるため、顔の位置が移動した場合であっても、機械的に追尾することなく、顔画像が中央に表示された画枠画像データのみが送信されることとなる。従って、顔の位置の移動に対して応答速度が劣ることがなく、より確実に視線が一致した画像を送信することができる撮像表示装置を提供することができる。 According to the second aspect of the present invention, in the image data acquired by the imaging means, the position where the face of the person is imaged is detected by the face position detection means, and the image frame setting means is based on the position of the face. Thus, an image frame is set in the peripheral area of the face. Furthermore, since the image frame image data of the area surrounded by the image frame is transmitted to the external device by the transmission means, even when the face position is moved, it is not mechanically tracked. Only the frame image data with the face image displayed in the center is transmitted. Therefore, it is possible to provide an imaging display device that can transmit an image with a line of sight more reliably without inferior response speed to the movement of the face position.
以下、本発明の実施の形態を図面を参照しながら、詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
図1は、本実施形態の対話通信システムSを例示するブロック図である。また、図2は、本実施形態の撮像表示装置100の要部構成を示すブロック図であり、図3は、本実施形態の撮像表示装置100を側面から見た断面図である。
図1〜3に示すように、本対話通信システムSは、撮像表示装置100と、外部装置300とが、インターネット等の電気通信回線200を介して接続されている。
FIG. 1 is a block diagram illustrating a dialog communication system S of this embodiment. FIG. 2 is a block diagram illustrating a main configuration of the
As shown in FIGS. 1 to 3, in the interactive communication system S, an
撮像表示装置100は、例えば、表示部1及び撮像部2を備えて成り、撮像部2により、表示部1の前方領域を撮像して画像データを取得し、当該画像データにおいて人物の顔が撮像された位置の周囲領域に画枠Fを設定して、当該画枠Fで囲まれた領域(以下、画枠領域と称する。)の画枠画像データFdを相手方の外部装置300に送信するとともに、外部装置300から送信された画像データを受信して、表示部1に表示することにより、外部装置300を使用する相手話者との対話を実現する。
外部装置300は、撮像表示装置100と同様の機能を備えて構成されており、撮像表示装置100から送信された画枠画像データFdを受信して、表示部301に表示させるとともに、表示部301を使用する相手話者の顔を撮像して画像データを取得し、当該画像データを撮像表示装置100に送信することにより、撮像表示装置100を使用する人物との対話を実現する。
The
The
撮像表示装置100は、例えば、外部装置300から送信された画像データに基づく画像を表示する表示画面1aを備える表示部1と、背面側に配設され、表示画面1aの後方から表示部1の前方領域を撮像して画像データを取得する撮像部2と、外部装置300とのデータの送受信を行う通信部3と、撮像表示装置100全体を統括制御する制御部4と、等を備えて構成されている。
ここで、表示部1の前方領域とは、表示部1を挟んで撮像部2と対向する領域を指し、相手話者との対話を行う人物は、当該前方領域において、表示画面1a側を向き、表示画面1aに表示される相手話者の顔画像を見ながら、対話を行うこととなる。
The
Here, the front area of the
表示部1は、例えば、LCD(Liquid Crystal Display)方式を採用しており、ガラス基板11と、このガラス基板11に対して所定の間隔を隔てて配設された対向基板12とを張り合わせ、これらを2枚の偏光板15、15で挟んだ構成となっており、ガラス基板11と対向基板12の間には、液晶層13等が保持され、また、背面側には図示しない光ランプ、導光板、反射シート等で構成されるバックライト14が配設されている。
The
ガラス基板11の上には、図4に示すように、複数の表示画素11aがマトリクス状に配設されており、一方、対向基板12上には対向電極(図示省略)が形成されている。それぞれの表示画素11aは、図示は省略するものの、信号線及び走査線と接続するよう形成された画素電極と、これを駆動する薄膜トランジスタ(TFT)と等を備えて構成されており、当該画素電極と対向電極との間に封入された領域の液晶のみが、電極間の電界の変動を受けて配列方向を変え、偏光板15と、画素電極及び対向電極上に形成された配向膜(図示省略)とともに動作して、光を通過或いは遮断させ、液晶シャッターとして機能することとなる。
また、対向基板12側にはRGBのカラーフィルタ(図示省略)が配設されており、背面側のバックライト14から照射される光が当該カラーフィルタを介することにより、カラー表示がされる。
As shown in FIG. 4, a plurality of
Further, an RGB color filter (not shown) is disposed on the counter substrate 12 side, and color display is performed by the light emitted from the
表示部1を構成する当該ガラス基板11や対向基板12等には、透過部としての微小な開口部11bが複数設けられており、当該開口部11bのそれぞれには、光ファイバ5が、表示部1の背面側から前面側にかけて挿通されて、配設されている。
光ファイバ5は、開口部11bと同数だけ設けられており、各光ファイバ5の背面側は結束されて光ファイバ束5aが形成され、この光ファイバ束5aの端面部は後述する撮像部2の撮像素子に対向している。光ファイバ5は、細いファイバ芯線の中を光が伝播することによって、信号を伝送する通信ケーブルであり、表示部1側の端部からそれぞれの開口部11bを介して入光される表示部1の前方領域の光(像)を受光して、他端部に接続された撮像部2に供給するようになっている。
The
The
撮像部2は、例えば、光ファイバ5により送られる光を光電変換する撮像素子21と、撮像素子21により電気信号に変換された画像データに対して、所定の画像処理を行う画像処理部22と、画像処理部22において画像処理が施された画像データを一時的に記憶する画像メモリ23と、等を備え、撮像手段の一部を構成する。
The
撮像素子21は、例えば、CCD(Charged Coupled Device)や、CMOS(Complementary Metal-oxide Semiconductor)等の半導体素子であり、光ファイバ5により伝送される光の強弱を電気信号に変換して、画像処理部22に出力する。
The
画像処理部22は、例えば、内部メモリ221と、人物の顔の特徴データを複数記憶する顔特徴記憶部222と、等を備えて構成されており、光ファイバ5を介して撮像された画像データに対して所定の画像処理を行い、画像メモリ23に出力する。
具体的には、画像処理部22において、撮像素子21から電気信号に変換された画像データが入力されると、当該画像データがフレーム単位で内部メモリ221に記憶され、1フレーム毎の画像データにおいて、顔特徴記憶部222に記憶された特徴データとの比較処理により、人物の顔が検出される。人物の顔が検出されると、フレーム全体における顔が撮像された位置が検出され、顔の重心点Pを中心とする所定の周囲領域に画枠Fが設定され、さらに、画枠領域の画枠画像データFdのみが切り出されて、画像メモリ23に出力される。
一旦画枠Fが設定された後は、撮像素子21から電気信号に変換されて送られる画像データにおいて、画枠領域のみに対して顔の検出処理が行われる。そして、顔の位置が移動して画枠領域内において顔が検出されなくなった場合に限り、検出範囲がフレーム全体に広げられて顔の検出が行われ、フレーム全体の画像データにおいて顔が検出された場合に、画枠Fが再び設定されることとなる。さらに、検出領域である画枠領域内において顔の位置が移動すると、当該顔の位置の移動に応じて、顔の重心点Pが中心となるような位置に画枠Fが移動する。
The
Specifically, when image data converted into an electrical signal is input from the
Once the image frame F is set, face detection processing is performed only on the image frame region in the image data that is converted into an electrical signal from the
画像メモリ23は、例えば、フレーム単位の画像データを複数枚記憶できるように構成されており、画像処理部22において画枠領域が切り出されることにより生成された画枠画像データFdを一時的に記憶して、通信部3に出力する。
For example, the
通信部3は、例えば、モデム(MODEM:MOdulater/DEModulater)等を備えて構成され、インターネット等の電気通信回線200を介して、外部装置300に対して画枠画像データFd等のデータを送信することにより、送信手段の一部として機能するとともに、外部装置300から送られる画像データ等のデータを受信する。
The
制御部4は、I/Oポート41と、CPU(Central Processing Unit)42と、RAM(Random Access Memory)43と、ROM(Read Only Memory)44と、等を備えて構成されている。
The controller 4 includes an I /
CPU42は、I/Oポート41を介して各部から送出される入力信号に従って、ROM44に格納される各種プログラムを実行し、当該プログラムに基づく制御信号をI/Oポート41を介して各部に出力することにより、撮像表示装置100の動作全般を統括制御する。
The
RAM43は、CPU42のワークエリアとして用いられ、ROM44から読み出された各種プログラムやこれらプログラムに係るデータ等をメモリエリアに一時的に記憶する。
The
ROM44は、CPU42によって実行される各種の処理プログラム及び各プログラムの処理に係る各種初期設定値等のデータを格納するものである。
具体的には、ROM44は、撮像プログラム44aと、顔位置検出プログラム44bと、画枠設定プログラム44cと、通信プログラム44dと等のプログラムを格納している。
The
Specifically, the
撮像プログラム44aは、例えば、CPU42に、撮像部2により、光ファイバ5を介して表示部1の前方領域を撮像して、画像データを取得する機能を実現させるためのプログラムである。
具体的には、CPU42は、表示部1の前方領域に存する被写体たる人物が、外部装置300を使用する相手話者と対話中に、光ファイバ5を介して送られる表示部1の前方領域の光を撮像素子21により光電変換することにより所定の間隔(例えば、30回/秒)で連続して画像データを取得し、取得した画像データを、順次、画像処理部22に出力する。
CPU42は、かかる撮像プログラム44aを実行することにより、撮像部2とともに撮像手段として機能する。
The
Specifically, the
The
顔位置検出プログラム44bは、例えば、CPU42に、撮像プログラム44aの実行により取得した画像データに対して、人物の顔が撮像された位置を検出する機能を実現するためのプログラムである。
具体的には、CPU42は、例えば、画像処理部22において、画像データが入力されると、当該画像データをフレーム単位で内部メモリ221に記憶し、内部メモリ221に記憶された画像データにおける顔の候補領域と、顔特徴記憶部222において記憶された顔特徴データと、を比較することにより、記憶された顔特徴データに類似するデータの有無を判別して、当該画像データにおいて人物の顔が撮像されているか否かを判断する。そして、人物の顔が検出された画像データに対してエッジ検出等のフィルタ処理や、2値化処理を行うことで2値エッジ画像を生成して、その画像の各画素をx軸方向、y軸方向に投影して得られる投影ヒストグラムを元に、顔が撮像された領域を抽出する。
また、後述する画枠設定プログラム44cの実行により顔の周囲領域に画枠Fが設定されると、CPU42は、画像データの画枠領域内に対して顔の検出を行い、さらに人物が移動して、画枠領域に人物の顔が検出されなくなった場合には、画像データのフレーム全体に対して顔の検出を行う。
CPU42は、かかる顔位置検出プログラム44bを実行することにより、顔位置検出手段として機能する。
The face position detection program 44b is, for example, a program for realizing a function of detecting a position at which a person's face is imaged with respect to image data acquired by the
Specifically, for example, when image data is input in the
Further, when the image frame F is set in the peripheral area of the face by executing an image
The
画枠設定プログラム44cは、例えば、CPU42に、顔位置検出プログラム44bの実行により検出された画像データにおける人物の顔の位置に基づいて、人物の顔の周囲領域に画枠Fを設定する機能を実現するプログラムである。また、画枠設定プログラム44cは、顔の位置の移動に応じて、設定した画枠Fの位置を移動する。
具体的には、CPU42は、顔位置検出プログラム44bの実行により、例えば、人物の顔が検出された画像データにおいて、顔が撮像された位置を検出すると、顔が撮像された領域のうち、顔の重心点Pを検出し、当該重心点Pを中心として所定の周囲領域に画枠Fを設定する。当該周囲領域は、所定数の画素から成る矩形領域であり、被写体たる人物が画枠Fの略中央に位置するように設定される。また、CPU42は、一旦画枠Fを設定すると、顔の重心点Pを検出し、当該重心点Pが中心となるよう画枠Fを移動させる。
CPU42は、かかる画枠設定プログラム44cを実行することにより、画枠設定手段として機能する。
The image
Specifically, when the
The
ここで、CPU42による画枠設定プログラム44cの実行により行われる処理について、図5を参照しながら詳細に説明する。
図5は、撮像プログラム44a、顔位置検出プログラム44b、画枠設定プログラム44cの実行により生成された画像データを例示する図である。
CPU42は、撮像プログラム44aの実行により取得された表示部1の前方領域が撮像された画像データが画像処理部22に入力されると、フレーム単位で内部メモリ221に記憶し、顔位置検出プログラム44bの実行により、顔特徴記憶部222に記憶された顔特徴データとの比較に基づいて、当該画像データに対して人物の顔の検出処理を実行して、顔が撮像されているか否かを判断する。CPU42は、顔が撮像されていると判断すると、フレーム全体における顔が撮像された領域を特定して顔の重心点Pを算出し、図5(a)に示すように、当該重心点Pを中心とする所定の周囲領域に画枠Fを設定する。当該画枠Fは、例えば、所定数の画素(例えば、横540画素×縦705画素)を含む矩形領域に設定されるものであり、人物の顔が略中央となるよう設定されることとなる。CPU42は、画枠Fを設定すると、画像データのフレーム全体から画枠領域を切り出して画枠画像データFdを生成し、生成した画枠画像データFdを画像メモリ23に出力する。
Here, processing performed by the
FIG. 5 is a diagram illustrating image data generated by executing the
When the image data obtained by imaging the front area of the
撮像開始後に、一旦画枠Fが設定されると、CPU42は、撮像プログラム44aの実行により取得される画像データにおける画枠領域に対して、顔位置検出プログラム44bの実行による顔の位置の検出処理を行う。そして、図5(b)に示すように、人物が上下方向又は左右方向に移動して、画枠領域内で顔の重心点Pが変動すると、図5(c)に示すように、重心点Pが画枠領域の中心となるように画枠Fを移動させる。また、図5(d)に示すように、人物が画枠Fを外れた位置に移動して、画枠領域内に顔が検出されなくなると、CPU42は、検出範囲をフレーム全体に広げて、顔の検出処理を行う。当該画像データのフレーム全体において顔が検出されると、CPU42は、顔の重心点Pを算出して、図5(e)に示すように、画枠Fを設定し直す。すなわち、当該画枠Fは、人物が常に略中央に位置するよう制御されることとなり、画像メモリ23には人物が略中央に位置する画枠画像データFdのみが記憶されることとなる。
Once the image frame F is set after the start of imaging, the
通信プログラム44dは、例えば、CPU42に、画枠設定プログラム44cの実行により設定された画枠領域の画枠画像データFdを外部装置300に送信するとともに、外部装置300から送信される画像データを受信する機能を実現させるプログラムである。
具体的には、CPU42は、撮像プログラム44a、顔位置検出プログラム44b及び画枠設定プログラム44cの実行により生成され、画像メモリ23に記憶された画枠画像データFdを、通信部3により、相手話者の外部装置300に送信するとともに、外部装置300から送信される画枠画像データFdを受信する。受信された画像データは、撮像表示装置100の各部において所定の処理が施されて、表示部1の表示画面1aにおいて、受信された画像データに基づく画像が表示されることとなる。
CPU42は、かかる通信プログラム44dを実行することにより、通信部3とともに送信手段として機能する。
For example, the
Specifically, the
The
外部装置300は、例えば、撮像表示装置100と同様の機能を備えて構成されており、表示部301と、CPU302と、ROM303と、等を備えている。
外部装置300のCPU302は、ROM303に格納された表示制御プログラム303aの実行により、受信した画枠画像データFdに対して、外部装置300の各部において所定の処理を行い、当該画枠画像データFdに基づく画像を表示部301に表示させる。その結果、図6に示すように、当該表示部301には、人物の顔が略中央に撮像された画像が、常に表示されることとなる。
For example, the
The
次に、画像データ取得・送信動作処理について、図7を参照しながら説明する。
なお、本画像データ取得・送信動作処理は、撮像表示装置100のCPU42が、撮像プログラム44a、顔位置検出プログラム44b、画枠設定プログラム44c、通信プログラム44dを実行し、外部装置300のCPU302が表示制御プログラム303aを実行することにより行われる。
Next, image data acquisition / transmission operation processing will be described with reference to FIG.
In the image data acquisition / transmission operation process, the
まず、撮像表示装置100のCPU42は、撮像部2において、光ファイバ5を介して入力される表示部1の前方領域の光(像)を、撮像素子21により電気信号に変換することにより、画像データを取得する(ステップS1)。次に、CPU42は、ステップS1において取得した画像データのフレーム全体に対して、画像処理部22において、人物の顔の検出処理を行い(ステップS2)、人物の顔が検出されるか否かを判断する(ステップS3)。CPU42は、ステップ3において、人物の顔が検出されないと判断すると(ステップS3;No)、ステップS1に戻って以上の処理を繰り返す。一方、CPU42は、ステップS3において、人物の顔が検出されると判断すると(ステップS3;Yes)、顔が撮像された領域の重心点Pを算出し(ステップS4)、当該重心点Pを中心とする所定数の画素を含む周囲領域に画枠Fを設定する(ステップS5)。
次に、CPU42は、画像データにおける画枠領域を切り出して画枠画像データFdを生成し(ステップS6)、一時的に画像メモリ23に記憶させ、画像メモリ23に記憶された画枠画像データFdを、通信部3により、外部装置300に送信する(ステップS7)。
First, the
Next, the
次に、CPU42は、撮像部2において、光ファイバ5を介して入力される表示部1の前方領域の光を、撮像素子21により電気信号に変換して画像データを取得する(ステップS8)。CPU42は、ステップS8において取得した画像データの画枠領域に対して、画像処理部22において、人物の顔の検出処理を行い(ステップS9)、人物の顔が検出されるか否かを判断する(ステップS10)。CPU42は、ステップ10において、人物の顔が検出されないと判断すると(ステップS10;No)、ステップS2に戻って以上の処理を繰り返す。一方、CPU42は、ステップS10において、人物の顔が検出されると判断すると(ステップS10;Yes)、顔が撮像された領域の重心点Pを算出し(ステップS11)、当該重心点Pが画枠領域内において移動したか否かを判断する(ステップS12)。CPU42は、重心点Pが移動していないと判断すると(ステップS12;No)、ステップS6に戻り以上の処理を繰り返す。一方、CPU42は、ステップS12において、重心点Pが移動したと判断すると(ステップS12;Yes)、重心点Pが中心となるように画枠Fを移動して(ステップS13)、ステップS6に戻って以上の処理を繰り返す。
Next, in the
外部装置300のCPU302は、ステップS14において、撮像表示装置100の通信部3により、電気通信回線200を介して送信された画枠画像データFdを受信すると、外部装置300の各部において所定の処理を行い、当該画枠画像データFdに基づく人物の顔が略中央に撮像された画像を表示部301に表示させ(ステップS15)、以上で処理を終了する。
When the
以上説明した本発明にかかる撮像表示装置100によれば、CPU42による撮像プログラム44aの実行により取得された画像データにおいて、顔位置検出プログラム44bの実行により人物の顔が撮像された位置が検出され、当該顔の位置に基づいて、画枠設定プログラム44cの実行により顔の周囲領域に画枠Fが設定される。さらに、通信プログラム44dの実行により、画像データのうち画枠Fで囲まれた領域の画枠画像データFdが外部装置300に送信されるため、顔の位置が移動した場合であっても、機械的に追尾することなく、顔画像が中央に表示された画枠画像データのみが送信されることとなる。従って、顔の位置の移動に対して応答速度が劣ることがなく、より確実に、視線が一致した画像を送信することができる。
また、表示部1は、前方領域から入力される光を透過する開口部11bを備え、CPU42は撮像プログラム44aの実行により、光ファイバ5を介して得られる表示部1の前方領域の像を撮像して画像データを取得するので、より容易に視線の一致した画像データを取得することができるとともに、撮像表示装置100の薄型化を図る等、設計の自由度を増すことができる。さらに、開口部11bから光ファイバ5を介して入光する光により撮像を行うので、画角の広い画像データを取得することができる。
According to the
Further, the
なお、本発明は、上記実施の形態に限られることなく、本発明の趣旨を逸脱しない範囲において種々の改良並びに設計の変更を行ってもよい。
例えば、本実施形態において撮像表示装置100は、LCD方式の表示部1を有するものとして説明を行ったが、PDP方式や、有機EL方式の表示部等であっても良い。
また、撮像表示装置100は、動画の画像データを外部装置300に送信する構成としたが、画像データは静止画であっても良い。
また、画枠Fは、顔が撮像された領域の重心点Pを中心とする周囲領域に設定される構成を用いて説明を行ったが、画枠Fは顔の両目の中心点を基準に設定されても良いし、顔の鼻領域を基準に設定されても良い。
また、顔検出の方法は、上記実施形態の方法に限られることなく、例えば、両目の位置等を基準に顔を検出する方法や、サポートベクタマシン(Support Vector Machine, SVM)により顔・非顔判定を行う方法であっても良い。
また、透過部は開口部11bに限られることなく、例えば、表示部1の前方領域からガラス基板11等を透過して入光する光により画像データを取得する設計であっても良い。
また、撮像表示装置100においても、外部装置300により送信された画枠画像データを受信し、表示制御プログラム303aと同様のプログラムをCPU42が実行することにより、受信した画枠画像データに基づく画像を表示部1に表示させるようにしてもよい。
The present invention is not limited to the above embodiment, and various improvements and design changes may be made without departing from the spirit of the present invention.
For example, in the present embodiment, the
In addition, the
In addition, the image frame F has been described by using a configuration in which the image frame F is set to a peripheral region centered on the center of gravity P of the region where the face is imaged, but the image frame F is based on the center point of both eyes of the face. It may be set, or may be set based on the nose region of the face.
Further, the face detection method is not limited to the method of the above-described embodiment. For example, a face detection method based on a position of both eyes or a support vector machine (Support Vector Machine, SVM) A method of performing the determination may be used.
Further, the transmission part is not limited to the
Also in the
100 撮像表示装置
200 電気通信回線
300 外部装置
1 表示部
1a 表示画面
2 撮像部(撮像手段)
3 通信部(送信手段)
5 光ファイバ
11b 開口部(透過部)
42 CPU(撮像手段、顔位置検出手段、画枠設定手段、送信手段)
44a 撮像プログラム(撮像手段)
44b 顔位置検出プログラム(顔位置検出手段)
44c 画枠設定プログラム(画枠設定手段)
44d 通信プログラム(送信手段)
F 画枠
Fd 画枠画像データ
DESCRIPTION OF
3 Communication unit (transmission means)
5
42 CPU (imaging means, face position detection means, image frame setting means, transmission means)
44a Imaging program (imaging means)
44b Face position detection program (face position detection means)
44c Image frame setting program (image frame setting means)
44d Communication program (transmission means)
F Image frame Fd Image frame image data
Claims (2)
前記複数の透過部の各々に対応して配置され、各透過部を通して前方領域から入力される光を受光する複数の光ファイバと、
前記複数の光ファイバを介して得られる前記表示部の前方領域の像を撮像して画像データを取得する撮像手段と、
前記撮像手段により取得された前記画像データから、人物の顔が撮像された位置を検出する顔位置検出手段と、
前記顔位置検出手段による検出結果に基づいて、前記顔の周囲領域に画枠を設定する画枠設定手段と、
前記画像データのうち、前記画枠設定手段により設定された前記画枠で囲まれた領域の画枠画像データを外部装置に送信する送信手段と、
を備えることを特徴とする撮像表示装置。 A display unit that displays an image and includes a plurality of transmission units that transmit light input from the front region;
A plurality of optical fibers arranged corresponding to each of the plurality of transmission parts and receiving light input from the front region through the transmission parts;
Imaging means for capturing an image of a front region of the display unit obtained through the plurality of optical fibers to acquire image data;
Face position detecting means for detecting a position where a human face is imaged from the image data acquired by the imaging means;
An image frame setting means for setting an image frame in a peripheral area of the face based on a detection result by the face position detection means;
A transmitting unit that transmits image frame image data of an area surrounded by the image frame set by the image frame setting unit to the external device among the image data;
An imaging display device comprising:
前記表示部の表示画面の後方から、前記表示部の前方領域を撮像して画像データを取得する撮像手段と、
前記撮像手段により取得された前記画像データから、人物の顔が撮像された位置を検出する顔位置検出手段と、
前記顔位置検出手段による検出結果に基づいて、前記顔の周囲領域に画枠を設定する画枠設定手段と、
前記画像データのうち、前記画枠設定手段により設定された前記画枠で囲まれた領域の画枠画像データを外部装置に送信する送信手段と、
を備えることを特徴とする撮像表示装置。 A display for displaying an image;
Imaging means for capturing image data by imaging a front area of the display unit from the rear of the display screen of the display unit;
Face position detecting means for detecting a position where a human face is imaged from the image data acquired by the imaging means;
An image frame setting means for setting an image frame in a peripheral area of the face based on a detection result by the face position detection means;
A transmitting unit that transmits image frame image data of an area surrounded by the image frame set by the image frame setting unit to the external device among the image data;
An imaging display device comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006027216A JP2007208819A (en) | 2006-02-03 | 2006-02-03 | Imaging and display device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006027216A JP2007208819A (en) | 2006-02-03 | 2006-02-03 | Imaging and display device |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2007208819A true JP2007208819A (en) | 2007-08-16 |
Family
ID=38487845
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006027216A Pending JP2007208819A (en) | 2006-02-03 | 2006-02-03 | Imaging and display device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2007208819A (en) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010156850A (en) * | 2008-12-26 | 2010-07-15 | Canon Inc | Focus adjustment device and method |
JP2014049797A (en) * | 2012-08-29 | 2014-03-17 | Canon Inc | Display device with camera |
JP2014089242A (en) * | 2012-10-29 | 2014-05-15 | Casio Comput Co Ltd | Image processor, video data correction method and program |
JP2015109557A (en) * | 2013-12-04 | 2015-06-11 | キヤノン株式会社 | Display device including imaging unit and control method of the same |
-
2006
- 2006-02-03 JP JP2006027216A patent/JP2007208819A/en active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010156850A (en) * | 2008-12-26 | 2010-07-15 | Canon Inc | Focus adjustment device and method |
JP2014049797A (en) * | 2012-08-29 | 2014-03-17 | Canon Inc | Display device with camera |
JP2014089242A (en) * | 2012-10-29 | 2014-05-15 | Casio Comput Co Ltd | Image processor, video data correction method and program |
JP2015109557A (en) * | 2013-12-04 | 2015-06-11 | キヤノン株式会社 | Display device including imaging unit and control method of the same |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8891030B2 (en) | Display method, display apparatus, optical unit, method of manufacturing display apparatus, and electronic equipment | |
JP4899805B2 (en) | Video phone equipment | |
US10228563B2 (en) | Optical medium, glasses and imaging method therefor | |
JP4728793B2 (en) | Display device and control method thereof | |
JP5836768B2 (en) | Display device with imaging device | |
EP3076653B1 (en) | Display device and shooting display method therefor | |
WO2010033175A2 (en) | A monitor having integral camera and method of operating the same | |
WO2012060564A1 (en) | 3d camera | |
JP2010068182A (en) | Three-dimensional imaging device, method, and program | |
JPH06153190A (en) | Picture display/image pickup device | |
US20130113793A1 (en) | Image processing device, image processing method, and image processing program | |
TWI528833B (en) | 3d imaging device | |
JP2007208819A (en) | Imaging and display device | |
JP2010171573A (en) | Three-dimensional image display-imaging device, communication system, and display device | |
JPH05303053A (en) | Head mount display device | |
JPH11237581A (en) | Head-mount display device | |
JP2013017125A (en) | Imaging apparatus and display method for monitoring image of the same | |
JPS62122494A (en) | Stereoscopic vision device | |
JP2008228170A (en) | Image display device and television telephone device | |
JP5963637B2 (en) | Display device with imaging device | |
JP2007108626A (en) | Stereoscopic image forming system | |
JP2006267767A (en) | Image display device | |
WO2021149503A1 (en) | Electronic device | |
JP4922829B2 (en) | Cover for display with imaging device | |
JP4847500B2 (en) | Three-dimensional display device, method and program |