JP2007208819A - Imaging and display device - Google Patents

Imaging and display device Download PDF

Info

Publication number
JP2007208819A
JP2007208819A JP2006027216A JP2006027216A JP2007208819A JP 2007208819 A JP2007208819 A JP 2007208819A JP 2006027216 A JP2006027216 A JP 2006027216A JP 2006027216 A JP2006027216 A JP 2006027216A JP 2007208819 A JP2007208819 A JP 2007208819A
Authority
JP
Japan
Prior art keywords
image
face
imaging
image data
image frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2006027216A
Other languages
Japanese (ja)
Inventor
Katsuhiro Morisada
克博 森貞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Funai Electric Co Ltd
Original Assignee
Funai Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Funai Electric Co Ltd filed Critical Funai Electric Co Ltd
Priority to JP2006027216A priority Critical patent/JP2007208819A/en
Publication of JP2007208819A publication Critical patent/JP2007208819A/en
Pending legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide an imaging and display device capable of transmitting images of a coincident visual line without making a response speed inferior to the movement of a position of the face. <P>SOLUTION: In an imaging and display device 100, a position where the face of a human figure is imaged by face position detecting means (CPU 42, face position detection program 44b and the like) is detected in image data acquired by imaging means (CPU 42, imaging program 44a, imaging section 2 and the like). On the basis of the position of the face, a picture frame is set to a region surrounding the face by picture frame setting means (CPU 42, picture frame setting program 44c and the like), and picture frame image data in the region surrounded by the picture frame in the image data are transmitted to an external device by transmission means (CPU 42, communication program 44d, communication section 3 and the like). <P>COPYRIGHT: (C)2007,JPO&INPIT

Description

本発明は、撮像及び表示を行うことで対話型通信を実現する撮像表示装置に関する。   The present invention relates to an imaging display device that realizes interactive communication by performing imaging and display.

従来より、テレビ電話や、PC等の映像を用いた対話型通信を実現する撮像表示装置において、対話を好適に行うための様々な装置が開発されている。例えば、特許文献1には、カメラで撮像された撮像画像のうち、相手側での表示を認める所定範囲画像以外の部分に画像処理を施し、その画像処理が施された画像を送信するようにして、自分側の画像が相手側に表示されるのが不都合な場合の適応性を図ったテレビ電話装置が開示されている。
しかしながら、特許文献1のような従来型の撮像表示装置では、人物を撮像する撮像装置が表示装置の外側に配置されている為に、会話する人物同士が視線を一致させて会話できないという問題があった。会話には、目によるコミュニケーションが重要であることが立証されており、視線を合わせた会話が可能な撮像表示装置が必要である。
2. Description of the Related Art Conventionally, various devices have been developed for suitably performing dialogues in an imaging display device that realizes interactive communication using video images such as videophones and PCs. For example, in Patent Document 1, image processing is performed on a portion of a captured image captured by a camera other than a predetermined range image that is permitted to be displayed on the other side, and the image subjected to the image processing is transmitted. Thus, a videophone device is disclosed which is adapted for adapting when it is inconvenient for the image on the other side to be displayed on the other side.
However, in the conventional imaging display device such as Patent Document 1, since the imaging device that captures a person is arranged outside the display device, there is a problem in that conversational persons cannot talk with each other by matching their line of sight. there were. It is proved that communication by eyes is important for conversation, and an imaging display device capable of conversation with a line of sight is required.

そのため、例えば、特許文献2には、表示装置の表示部内に複数の微小な穴を設け、複数の微小な穴の後方に光ファイバ束を通して撮像装置に導くようにした表示・撮像装置が開示されている。
また、特許文献3には、直線状の棒レンズ或いはレンズ付きのファイバーアレイである像伝達素子を有し、表示画面の表示画面内から観察者に知覚されることなく、観察者の自然な画像を撮像することができ、自然な撮像と表示を可能とした撮像・表示装置が開示されている。
また、特許文献4には、液晶表示部に画像を映出するとともに、ディスプレイ本体内のカメラで視聴者を撮るカメラ一体型ディスプレイ装置において、カメラの出力映像信号を解析して視聴者の動きを検出し、この動き検出量に応じてディスプレイ本体の揺動を制御して、視聴者を画面の中心に一定の大きさに映出させるよう追尾する自動追尾手段を備えた装置が開示されている。
また、特許文献5には、対話者とモニタ上の人物像の視線一致領域内に撮像部自体を移動させる手段や、モニタ上の人物像を移動させ、同様にモニタと対向する対話者の視線とモニタ上の人物像の視線一致領域自体を移動させる手段等により、対話者間の視線を一致させる機構を備えた双方向対話型システムに好適な端末装置が開示されている。
特開2003−274375号公報 特許第2943940号 特開2000−152205号公報 特開平6−245209号公報 特開平11−075175号公報
For this reason, for example, Patent Document 2 discloses a display / imaging device in which a plurality of minute holes are provided in the display unit of the display device and guided to the imaging device through an optical fiber bundle behind the plurality of minute holes. ing.
Further, Patent Document 3 includes an image transmission element that is a linear rod lens or a fiber array with a lens, and a natural image of the observer without being perceived by the observer from within the display screen of the display screen. An imaging / display apparatus that can capture images and display images naturally is disclosed.
Patent Document 4 discloses a camera-integrated display device that displays an image on a liquid crystal display unit and captures a viewer with a camera in the display body, and analyzes the output video signal of the camera to detect the movement of the viewer. An apparatus is disclosed that includes automatic tracking means that detects and controls the swing of the display body in accordance with the amount of motion detection so as to track the viewer so that the viewer is projected at a fixed size at the center of the screen. .
Further, Patent Document 5 discloses a means for moving the image pickup unit itself within the line-of-sight matching area between the conversation person and the person image on the monitor, and the line of sight of the conversation person facing the monitor in the same manner by moving the person image on the monitor. And a terminal device suitable for a two-way interactive system having a mechanism for matching the line of sight of interlocutors by means of moving the line-of-sight matching area itself of the person image on the monitor.
JP 2003-274375 A Japanese Patent No. 2944940 JP 2000-152205 A JP-A-6-245209 Japanese Patent Laid-Open No. 11-075175

しかしながら、特許文献2では、撮像装置が表示装置の裏面に設けられているものの、視線を一致させることとなるとは限らないという問題があった。また、特許文献3〜5の技術を組み合わせた場合では、顔の位置の移動に応じて撮像装置やディスプレイ装置を機械的に移動させることとなるため、顔の移動に対して応答速度が劣るという問題があった。   However, in Patent Document 2, although the imaging device is provided on the back surface of the display device, there is a problem that the line of sight is not necessarily matched. Further, in the case of combining the techniques of Patent Documents 3 to 5, the imaging device and the display device are mechanically moved according to the movement of the face position, so that the response speed is inferior to the movement of the face. There was a problem.

本発明は、上記課題を解決するためになされたものであり、顔の位置の移動に対して応答速度が劣ることなく、視線が一致した画像を送信することができる撮像表示装置を提供することである。   The present invention has been made to solve the above-described problems, and provides an imaging display device capable of transmitting an image with a matched line of sight without inferior response speed to movement of the face position. It is.

上記課題を解決するため、請求項1に記載の発明は、撮像表示装置において、
画像を表示するとともに、前方領域から入力される光を透過する複数の透過部を備える表示部と、
前記複数の透過部の各々に対応して配置され、各透過部を通して前方領域から入力される光を受光する複数の光ファイバと、
前記複数の光ファイバを介して得られる前記表示部の前方領域の像を撮像して画像データを取得する撮像手段と、
前記撮像手段により取得された前記画像データから、人物の顔が撮像された位置を検出する顔位置検出手段と、
前記顔位置検出手段による検出結果に基づいて、前記顔の周囲領域に画枠を設定する画枠設定手段と、
前記画像データのうち、前記画枠設定手段により設定された前記画枠で囲まれた領域の画枠画像データを外部装置に送信する送信手段と、
を備えることを特徴とする。
In order to solve the above problem, an invention according to claim 1 is an imaging display device,
A display unit that displays an image and includes a plurality of transmission units that transmit light input from the front region;
A plurality of optical fibers arranged corresponding to each of the plurality of transmission parts and receiving light input from the front region through the transmission parts;
Imaging means for capturing an image of a front region of the display unit obtained through the plurality of optical fibers to acquire image data;
Face position detecting means for detecting a position where a human face is imaged from the image data acquired by the imaging means;
An image frame setting means for setting an image frame in a peripheral area of the face based on a detection result by the face position detection means;
A transmitting unit that transmits image frame image data of an area surrounded by the image frame set by the image frame setting unit to the external device among the image data;
It is characterized by providing.

請求項2に記載の発明は、撮像表示装置において、
画像を表示する表示部と、
前記表示部の表示画面の後方から、前記表示部の前方領域を撮像して画像データを取得する撮像手段と、
前記撮像手段により取得された前記画像データから、人物の顔が撮像された位置を検出する顔位置検出手段と、
前記顔位置検出手段による検出結果に基づいて、前記顔の周囲領域に画枠を設定する画枠設定手段と、
前記画像データのうち、前記画枠設定手段により設定された前記画枠で囲まれた領域の画枠画像データを外部装置に送信する送信手段と、
を備えることを特徴とする。
The invention according to claim 2 is an imaging display device,
A display for displaying an image;
Imaging means for capturing image data by imaging a front area of the display unit from the rear of the display screen of the display unit;
Face position detecting means for detecting a position where a human face is imaged from the image data acquired by the imaging means;
An image frame setting means for setting an image frame in a peripheral area of the face based on a detection result by the face position detection means;
A transmitting unit that transmits image frame image data of an area surrounded by the image frame set by the image frame setting unit to the external device among the image data;
It is characterized by providing.

請求項1に記載の発明によれば、撮像手段により取得された画像データにおいて、顔位置検出手段により人物の顔が撮像された位置が検出され、当該顔の位置に基づいて、画枠設定手段により顔の周囲領域に画枠が設定される。さらに、送信手段により、画像データのうち画枠で囲まれた領域の画枠画像データが外部装置に送信されるため、顔の位置が移動した場合であっても、機械的に追尾することなく、顔画像が中央に表示された画枠画像データのみが送信されることとなる。従って、顔の位置の移動に対して応答速度が劣ることがなく、より確実に視線が一致した画像を送信することができる撮像表示装置を提供することができる。
また、表示部は、前方領域から入力される光を透過する複数の透過部を備え、撮像手段は、光ファイバを介して得られる表示部の前方領域の像を撮像して画像データを取得するので、より容易に視線の一致した画像データを取得することができるとともに、撮像表示装置の薄型化を図る等、設計の自由度を増すことができる。さらに、透過部から光ファイバを介して入光する光により撮像を行うので、画角の広い画像データを取得することができる。
According to the first aspect of the present invention, in the image data acquired by the imaging means, the position where the face of the person is imaged is detected by the face position detecting means, and based on the position of the face, the image frame setting means Thus, an image frame is set in the peripheral area of the face. Furthermore, since the image frame image data of the area surrounded by the image frame is transmitted to the external device by the transmission means, even when the face position is moved, it is not mechanically tracked. Only the frame image data with the face image displayed in the center is transmitted. Therefore, it is possible to provide an imaging display device that can transmit an image with a line of sight more reliably without inferior response speed to the movement of the face position.
The display unit includes a plurality of transmission units that transmit light input from the front region, and the imaging unit acquires image data by capturing an image of the front region of the display unit obtained through the optical fiber. Therefore, it is possible to more easily acquire image data with the same line of sight, and to increase the degree of design freedom such as reducing the thickness of the imaging display device. Furthermore, since imaging is performed with light incident from the transmission part via the optical fiber, image data with a wide angle of view can be acquired.

請求項2に記載の発明によれば、撮像手段により取得された画像データにおいて、顔位置検出手段により人物の顔が撮像された位置が検出され、当該顔の位置に基づいて、画枠設定手段により顔の周囲領域に画枠が設定される。さらに、送信手段により、画像データのうち画枠で囲まれた領域の画枠画像データが外部装置に送信されるため、顔の位置が移動した場合であっても、機械的に追尾することなく、顔画像が中央に表示された画枠画像データのみが送信されることとなる。従って、顔の位置の移動に対して応答速度が劣ることがなく、より確実に視線が一致した画像を送信することができる撮像表示装置を提供することができる。   According to the second aspect of the present invention, in the image data acquired by the imaging means, the position where the face of the person is imaged is detected by the face position detection means, and the image frame setting means is based on the position of the face. Thus, an image frame is set in the peripheral area of the face. Furthermore, since the image frame image data of the area surrounded by the image frame is transmitted to the external device by the transmission means, even when the face position is moved, it is not mechanically tracked. Only the frame image data with the face image displayed in the center is transmitted. Therefore, it is possible to provide an imaging display device that can transmit an image with a line of sight more reliably without inferior response speed to the movement of the face position.

以下、本発明の実施の形態を図面を参照しながら、詳細に説明する。   Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.

図1は、本実施形態の対話通信システムSを例示するブロック図である。また、図2は、本実施形態の撮像表示装置100の要部構成を示すブロック図であり、図3は、本実施形態の撮像表示装置100を側面から見た断面図である。
図1〜3に示すように、本対話通信システムSは、撮像表示装置100と、外部装置300とが、インターネット等の電気通信回線200を介して接続されている。
FIG. 1 is a block diagram illustrating a dialog communication system S of this embodiment. FIG. 2 is a block diagram illustrating a main configuration of the imaging display device 100 of the present embodiment, and FIG. 3 is a cross-sectional view of the imaging display device 100 of the present embodiment as viewed from the side.
As shown in FIGS. 1 to 3, in the interactive communication system S, an imaging display device 100 and an external device 300 are connected via an electric communication line 200 such as the Internet.

撮像表示装置100は、例えば、表示部1及び撮像部2を備えて成り、撮像部2により、表示部1の前方領域を撮像して画像データを取得し、当該画像データにおいて人物の顔が撮像された位置の周囲領域に画枠Fを設定して、当該画枠Fで囲まれた領域(以下、画枠領域と称する。)の画枠画像データFdを相手方の外部装置300に送信するとともに、外部装置300から送信された画像データを受信して、表示部1に表示することにより、外部装置300を使用する相手話者との対話を実現する。
外部装置300は、撮像表示装置100と同様の機能を備えて構成されており、撮像表示装置100から送信された画枠画像データFdを受信して、表示部301に表示させるとともに、表示部301を使用する相手話者の顔を撮像して画像データを取得し、当該画像データを撮像表示装置100に送信することにより、撮像表示装置100を使用する人物との対話を実現する。
The imaging display device 100 includes, for example, a display unit 1 and an imaging unit 2, and the imaging unit 2 captures a front area of the display unit 1 to acquire image data, and a human face is captured in the image data. The image frame F is set in the surrounding area of the position, and the image frame image data Fd of the area surrounded by the image frame F (hereinafter referred to as the image frame area) is transmitted to the external device 300 of the other party. By receiving the image data transmitted from the external device 300 and displaying it on the display unit 1, a dialog with the other party using the external device 300 is realized.
The external device 300 is configured to have the same function as the imaging display device 100, receives the image frame image data Fd transmitted from the imaging display device 100, displays it on the display unit 301, and displays the display unit 301. By capturing an image of the face of the other speaker using the image, obtaining image data, and transmitting the image data to the image display device 100, a dialogue with a person using the image display device 100 is realized.

撮像表示装置100は、例えば、外部装置300から送信された画像データに基づく画像を表示する表示画面1aを備える表示部1と、背面側に配設され、表示画面1aの後方から表示部1の前方領域を撮像して画像データを取得する撮像部2と、外部装置300とのデータの送受信を行う通信部3と、撮像表示装置100全体を統括制御する制御部4と、等を備えて構成されている。
ここで、表示部1の前方領域とは、表示部1を挟んで撮像部2と対向する領域を指し、相手話者との対話を行う人物は、当該前方領域において、表示画面1a側を向き、表示画面1aに表示される相手話者の顔画像を見ながら、対話を行うこととなる。
The imaging display device 100 is, for example, a display unit 1 including a display screen 1a that displays an image based on image data transmitted from the external device 300, and a display unit 1 that is disposed on the back side of the display unit 1 from behind the display screen 1a. An imaging unit 2 that captures an image of a front area and acquires image data, a communication unit 3 that transmits and receives data to and from the external device 300, a control unit 4 that performs overall control of the imaging display device 100, and the like. Has been.
Here, the front area of the display unit 1 refers to an area facing the imaging unit 2 with the display unit 1 interposed therebetween, and a person who has a conversation with the other speaker faces the display screen 1a side in the front region. Then, the conversation is performed while viewing the face image of the other speaker displayed on the display screen 1a.

表示部1は、例えば、LCD(Liquid Crystal Display)方式を採用しており、ガラス基板11と、このガラス基板11に対して所定の間隔を隔てて配設された対向基板12とを張り合わせ、これらを2枚の偏光板15、15で挟んだ構成となっており、ガラス基板11と対向基板12の間には、液晶層13等が保持され、また、背面側には図示しない光ランプ、導光板、反射シート等で構成されるバックライト14が配設されている。   The display unit 1 employs, for example, an LCD (Liquid Crystal Display) system, and a glass substrate 11 and a counter substrate 12 disposed at a predetermined interval with respect to the glass substrate 11 are bonded together. Is sandwiched between two polarizing plates 15 and 15, a liquid crystal layer 13 and the like are held between the glass substrate 11 and the counter substrate 12, and a light lamp (not shown) and a light guide are not shown on the back side. A backlight 14 composed of a light plate, a reflection sheet or the like is provided.

ガラス基板11の上には、図4に示すように、複数の表示画素11aがマトリクス状に配設されており、一方、対向基板12上には対向電極(図示省略)が形成されている。それぞれの表示画素11aは、図示は省略するものの、信号線及び走査線と接続するよう形成された画素電極と、これを駆動する薄膜トランジスタ(TFT)と等を備えて構成されており、当該画素電極と対向電極との間に封入された領域の液晶のみが、電極間の電界の変動を受けて配列方向を変え、偏光板15と、画素電極及び対向電極上に形成された配向膜(図示省略)とともに動作して、光を通過或いは遮断させ、液晶シャッターとして機能することとなる。
また、対向基板12側にはRGBのカラーフィルタ(図示省略)が配設されており、背面側のバックライト14から照射される光が当該カラーフィルタを介することにより、カラー表示がされる。
As shown in FIG. 4, a plurality of display pixels 11 a are arranged in a matrix on the glass substrate 11, while a counter electrode (not shown) is formed on the counter substrate 12. Although not shown, each display pixel 11a includes a pixel electrode formed so as to be connected to a signal line and a scanning line, a thin film transistor (TFT) for driving the pixel electrode, and the like. Only the liquid crystal in the region enclosed between the electrode and the counter electrode changes the alignment direction in response to the fluctuation of the electric field between the electrodes, and the alignment film (not shown) formed on the polarizing plate 15, the pixel electrode and the counter electrode ) To pass or block light and function as a liquid crystal shutter.
Further, an RGB color filter (not shown) is disposed on the counter substrate 12 side, and color display is performed by the light emitted from the backlight 14 on the back side passing through the color filter.

表示部1を構成する当該ガラス基板11や対向基板12等には、透過部としての微小な開口部11bが複数設けられており、当該開口部11bのそれぞれには、光ファイバ5が、表示部1の背面側から前面側にかけて挿通されて、配設されている。
光ファイバ5は、開口部11bと同数だけ設けられており、各光ファイバ5の背面側は結束されて光ファイバ束5aが形成され、この光ファイバ束5aの端面部は後述する撮像部2の撮像素子に対向している。光ファイバ5は、細いファイバ芯線の中を光が伝播することによって、信号を伝送する通信ケーブルであり、表示部1側の端部からそれぞれの開口部11bを介して入光される表示部1の前方領域の光(像)を受光して、他端部に接続された撮像部2に供給するようになっている。
The glass substrate 11, the counter substrate 12, and the like constituting the display unit 1 are provided with a plurality of minute openings 11 b as transmission parts, and an optical fiber 5 is connected to each of the openings 11 b. 1 is inserted and arranged from the back side to the front side.
The optical fibers 5 are provided in the same number as the openings 11b, and the back side of each optical fiber 5 is bundled to form an optical fiber bundle 5a. The end face of the optical fiber bundle 5a is an imaging unit 2 described later. It faces the image sensor. The optical fiber 5 is a communication cable for transmitting a signal by propagating light through a thin fiber core wire. The display unit 1 receives light from the end on the display unit 1 side through each opening 11b. The light (image) in the front area is received and supplied to the imaging unit 2 connected to the other end.

撮像部2は、例えば、光ファイバ5により送られる光を光電変換する撮像素子21と、撮像素子21により電気信号に変換された画像データに対して、所定の画像処理を行う画像処理部22と、画像処理部22において画像処理が施された画像データを一時的に記憶する画像メモリ23と、等を備え、撮像手段の一部を構成する。   The imaging unit 2 includes, for example, an imaging element 21 that photoelectrically converts light transmitted through the optical fiber 5, and an image processing unit 22 that performs predetermined image processing on image data converted into an electrical signal by the imaging element 21. The image processing unit 22 includes an image memory 23 that temporarily stores image data that has been subjected to image processing, and the like, and constitutes a part of an imaging unit.

撮像素子21は、例えば、CCD(Charged Coupled Device)や、CMOS(Complementary Metal-oxide Semiconductor)等の半導体素子であり、光ファイバ5により伝送される光の強弱を電気信号に変換して、画像処理部22に出力する。   The imaging device 21 is a semiconductor device such as a CCD (Charged Coupled Device) or a CMOS (Complementary Metal-oxide Semiconductor), for example, and converts the intensity of light transmitted through the optical fiber 5 into an electrical signal for image processing. To the unit 22.

画像処理部22は、例えば、内部メモリ221と、人物の顔の特徴データを複数記憶する顔特徴記憶部222と、等を備えて構成されており、光ファイバ5を介して撮像された画像データに対して所定の画像処理を行い、画像メモリ23に出力する。
具体的には、画像処理部22において、撮像素子21から電気信号に変換された画像データが入力されると、当該画像データがフレーム単位で内部メモリ221に記憶され、1フレーム毎の画像データにおいて、顔特徴記憶部222に記憶された特徴データとの比較処理により、人物の顔が検出される。人物の顔が検出されると、フレーム全体における顔が撮像された位置が検出され、顔の重心点Pを中心とする所定の周囲領域に画枠Fが設定され、さらに、画枠領域の画枠画像データFdのみが切り出されて、画像メモリ23に出力される。
一旦画枠Fが設定された後は、撮像素子21から電気信号に変換されて送られる画像データにおいて、画枠領域のみに対して顔の検出処理が行われる。そして、顔の位置が移動して画枠領域内において顔が検出されなくなった場合に限り、検出範囲がフレーム全体に広げられて顔の検出が行われ、フレーム全体の画像データにおいて顔が検出された場合に、画枠Fが再び設定されることとなる。さらに、検出領域である画枠領域内において顔の位置が移動すると、当該顔の位置の移動に応じて、顔の重心点Pが中心となるような位置に画枠Fが移動する。
The image processing unit 22 includes, for example, an internal memory 221, a face feature storage unit 222 that stores a plurality of human face feature data, and the like, and image data captured via the optical fiber 5. Is subjected to predetermined image processing and output to the image memory 23.
Specifically, when image data converted into an electrical signal is input from the image sensor 21 in the image processing unit 22, the image data is stored in the internal memory 221 in units of frames, and in the image data for each frame. The face of the person is detected by comparison processing with the feature data stored in the face feature storage unit 222. When a person's face is detected, the position where the face is imaged in the entire frame is detected, and an image frame F is set in a predetermined peripheral area centered on the center of gravity P of the face. Only the frame image data Fd is cut out and output to the image memory 23.
Once the image frame F is set, face detection processing is performed only on the image frame region in the image data that is converted into an electrical signal from the image sensor 21 and sent. Then, only when the face position moves and the face is no longer detected in the image frame area, the detection range is expanded to the entire frame, and the face is detected, and the face is detected in the image data of the entire frame. In this case, the image frame F is set again. Further, when the position of the face moves within the image frame area that is the detection area, the image frame F moves to a position where the center of gravity P of the face is centered according to the movement of the face position.

画像メモリ23は、例えば、フレーム単位の画像データを複数枚記憶できるように構成されており、画像処理部22において画枠領域が切り出されることにより生成された画枠画像データFdを一時的に記憶して、通信部3に出力する。   For example, the image memory 23 is configured to store a plurality of pieces of image data in units of frames, and temporarily stores the image frame image data Fd generated by cutting out the image frame area in the image processing unit 22. And output to the communication unit 3.

通信部3は、例えば、モデム(MODEM:MOdulater/DEModulater)等を備えて構成され、インターネット等の電気通信回線200を介して、外部装置300に対して画枠画像データFd等のデータを送信することにより、送信手段の一部として機能するとともに、外部装置300から送られる画像データ等のデータを受信する。   The communication unit 3 includes, for example, a modem (MODEM: MOdulater / DEModulater) and transmits data such as image frame image data Fd to the external device 300 via an electric communication line 200 such as the Internet. As a result, it functions as part of the transmission means and receives data such as image data sent from the external device 300.

制御部4は、I/Oポート41と、CPU(Central Processing Unit)42と、RAM(Random Access Memory)43と、ROM(Read Only Memory)44と、等を備えて構成されている。   The controller 4 includes an I / O port 41, a CPU (Central Processing Unit) 42, a RAM (Random Access Memory) 43, a ROM (Read Only Memory) 44, and the like.

CPU42は、I/Oポート41を介して各部から送出される入力信号に従って、ROM44に格納される各種プログラムを実行し、当該プログラムに基づく制御信号をI/Oポート41を介して各部に出力することにより、撮像表示装置100の動作全般を統括制御する。   The CPU 42 executes various programs stored in the ROM 44 in accordance with input signals sent from the respective units via the I / O port 41 and outputs control signals based on the programs to the respective units via the I / O port 41. As a result, the overall operation of the imaging display device 100 is comprehensively controlled.

RAM43は、CPU42のワークエリアとして用いられ、ROM44から読み出された各種プログラムやこれらプログラムに係るデータ等をメモリエリアに一時的に記憶する。   The RAM 43 is used as a work area for the CPU 42 and temporarily stores various programs read from the ROM 44 and data related to these programs in the memory area.

ROM44は、CPU42によって実行される各種の処理プログラム及び各プログラムの処理に係る各種初期設定値等のデータを格納するものである。
具体的には、ROM44は、撮像プログラム44aと、顔位置検出プログラム44bと、画枠設定プログラム44cと、通信プログラム44dと等のプログラムを格納している。
The ROM 44 stores various processing programs executed by the CPU 42 and data such as various initial setting values related to the processing of each program.
Specifically, the ROM 44 stores programs such as an imaging program 44a, a face position detection program 44b, an image frame setting program 44c, and a communication program 44d.

撮像プログラム44aは、例えば、CPU42に、撮像部2により、光ファイバ5を介して表示部1の前方領域を撮像して、画像データを取得する機能を実現させるためのプログラムである。
具体的には、CPU42は、表示部1の前方領域に存する被写体たる人物が、外部装置300を使用する相手話者と対話中に、光ファイバ5を介して送られる表示部1の前方領域の光を撮像素子21により光電変換することにより所定の間隔(例えば、30回/秒)で連続して画像データを取得し、取得した画像データを、順次、画像処理部22に出力する。
CPU42は、かかる撮像プログラム44aを実行することにより、撮像部2とともに撮像手段として機能する。
The imaging program 44a is, for example, a program for causing the CPU 42 to realize a function of imaging the front area of the display unit 1 via the optical fiber 5 and acquiring image data by the imaging unit 2.
Specifically, the CPU 42 detects the front area of the display unit 1 that is sent via the optical fiber 5 while the person who is the subject in the front area of the display unit 1 is talking with the other party using the external device 300. Image data is continuously acquired at predetermined intervals (for example, 30 times / second) by photoelectrically converting light by the image sensor 21, and the acquired image data is sequentially output to the image processing unit 22.
The CPU 42 functions as an imaging unit together with the imaging unit 2 by executing the imaging program 44a.

顔位置検出プログラム44bは、例えば、CPU42に、撮像プログラム44aの実行により取得した画像データに対して、人物の顔が撮像された位置を検出する機能を実現するためのプログラムである。
具体的には、CPU42は、例えば、画像処理部22において、画像データが入力されると、当該画像データをフレーム単位で内部メモリ221に記憶し、内部メモリ221に記憶された画像データにおける顔の候補領域と、顔特徴記憶部222において記憶された顔特徴データと、を比較することにより、記憶された顔特徴データに類似するデータの有無を判別して、当該画像データにおいて人物の顔が撮像されているか否かを判断する。そして、人物の顔が検出された画像データに対してエッジ検出等のフィルタ処理や、2値化処理を行うことで2値エッジ画像を生成して、その画像の各画素をx軸方向、y軸方向に投影して得られる投影ヒストグラムを元に、顔が撮像された領域を抽出する。
また、後述する画枠設定プログラム44cの実行により顔の周囲領域に画枠Fが設定されると、CPU42は、画像データの画枠領域内に対して顔の検出を行い、さらに人物が移動して、画枠領域に人物の顔が検出されなくなった場合には、画像データのフレーム全体に対して顔の検出を行う。
CPU42は、かかる顔位置検出プログラム44bを実行することにより、顔位置検出手段として機能する。
The face position detection program 44b is, for example, a program for realizing a function of detecting a position at which a person's face is imaged with respect to image data acquired by the CPU 42 by executing the imaging program 44a.
Specifically, for example, when image data is input in the image processing unit 22, the CPU 42 stores the image data in the internal memory 221 in units of frames, and the face of the image data stored in the internal memory 221 is stored. By comparing the candidate area with the face feature data stored in the face feature storage unit 222, it is determined whether there is data similar to the stored face feature data, and a human face is imaged in the image data. It is judged whether it is done. Then, a binary edge image is generated by performing filter processing such as edge detection or binarization processing on the image data in which a human face is detected, and each pixel of the image is set in the x-axis direction, y Based on the projection histogram obtained by projecting in the axial direction, a region where the face is imaged is extracted.
Further, when the image frame F is set in the peripheral area of the face by executing an image frame setting program 44c described later, the CPU 42 detects the face in the image frame area of the image data, and the person moves. If no human face is detected in the image frame area, the face is detected for the entire frame of the image data.
The CPU 42 functions as a face position detection unit by executing the face position detection program 44b.

画枠設定プログラム44cは、例えば、CPU42に、顔位置検出プログラム44bの実行により検出された画像データにおける人物の顔の位置に基づいて、人物の顔の周囲領域に画枠Fを設定する機能を実現するプログラムである。また、画枠設定プログラム44cは、顔の位置の移動に応じて、設定した画枠Fの位置を移動する。
具体的には、CPU42は、顔位置検出プログラム44bの実行により、例えば、人物の顔が検出された画像データにおいて、顔が撮像された位置を検出すると、顔が撮像された領域のうち、顔の重心点Pを検出し、当該重心点Pを中心として所定の周囲領域に画枠Fを設定する。当該周囲領域は、所定数の画素から成る矩形領域であり、被写体たる人物が画枠Fの略中央に位置するように設定される。また、CPU42は、一旦画枠Fを設定すると、顔の重心点Pを検出し、当該重心点Pが中心となるよう画枠Fを移動させる。
CPU42は、かかる画枠設定プログラム44cを実行することにより、画枠設定手段として機能する。
The image frame setting program 44c has a function of setting, for example, the image frame F in the peripheral area of the person's face based on the position of the person's face in the image data detected by the execution of the face position detection program 44b. This is a program to be realized. The image frame setting program 44c moves the position of the set image frame F in accordance with the movement of the face position.
Specifically, when the CPU 42 detects the position where the face is captured in the image data where the face of the person is detected, for example, by executing the face position detection program 44b, Centroid point P is detected, and an image frame F is set in a predetermined peripheral region with the centroid point P as the center. The surrounding area is a rectangular area composed of a predetermined number of pixels, and is set so that the person who is the subject is located at the approximate center of the image frame F. In addition, once the image frame F is set, the CPU 42 detects the center of gravity P of the face and moves the image frame F so that the center of gravity P is the center.
The CPU 42 functions as an image frame setting unit by executing the image frame setting program 44c.

ここで、CPU42による画枠設定プログラム44cの実行により行われる処理について、図5を参照しながら詳細に説明する。
図5は、撮像プログラム44a、顔位置検出プログラム44b、画枠設定プログラム44cの実行により生成された画像データを例示する図である。
CPU42は、撮像プログラム44aの実行により取得された表示部1の前方領域が撮像された画像データが画像処理部22に入力されると、フレーム単位で内部メモリ221に記憶し、顔位置検出プログラム44bの実行により、顔特徴記憶部222に記憶された顔特徴データとの比較に基づいて、当該画像データに対して人物の顔の検出処理を実行して、顔が撮像されているか否かを判断する。CPU42は、顔が撮像されていると判断すると、フレーム全体における顔が撮像された領域を特定して顔の重心点Pを算出し、図5(a)に示すように、当該重心点Pを中心とする所定の周囲領域に画枠Fを設定する。当該画枠Fは、例えば、所定数の画素(例えば、横540画素×縦705画素)を含む矩形領域に設定されるものであり、人物の顔が略中央となるよう設定されることとなる。CPU42は、画枠Fを設定すると、画像データのフレーム全体から画枠領域を切り出して画枠画像データFdを生成し、生成した画枠画像データFdを画像メモリ23に出力する。
Here, processing performed by the CPU 42 executing the image frame setting program 44c will be described in detail with reference to FIG.
FIG. 5 is a diagram illustrating image data generated by executing the imaging program 44a, the face position detection program 44b, and the image frame setting program 44c.
When the image data obtained by imaging the front area of the display unit 1 acquired by executing the imaging program 44a is input to the image processing unit 22, the CPU 42 stores the image data in the internal memory 221 in units of frames, and the face position detection program 44b. By executing the above, based on the comparison with the face feature data stored in the face feature storage unit 222, the human face detection process is executed on the image data to determine whether or not the face has been imaged. To do. When the CPU 42 determines that the face has been imaged, the CPU 42 specifies the area where the face is imaged in the entire frame and calculates the center of gravity P of the face. As shown in FIG. An image frame F is set in a predetermined peripheral area as a center. The image frame F is set, for example, in a rectangular area including a predetermined number of pixels (for example, horizontal 540 pixels × vertical 705 pixels), and is set so that the person's face is substantially in the center. . When the image frame F is set, the CPU 42 generates an image frame image data Fd by cutting out the image frame region from the entire frame of the image data, and outputs the generated image frame image data Fd to the image memory 23.

撮像開始後に、一旦画枠Fが設定されると、CPU42は、撮像プログラム44aの実行により取得される画像データにおける画枠領域に対して、顔位置検出プログラム44bの実行による顔の位置の検出処理を行う。そして、図5(b)に示すように、人物が上下方向又は左右方向に移動して、画枠領域内で顔の重心点Pが変動すると、図5(c)に示すように、重心点Pが画枠領域の中心となるように画枠Fを移動させる。また、図5(d)に示すように、人物が画枠Fを外れた位置に移動して、画枠領域内に顔が検出されなくなると、CPU42は、検出範囲をフレーム全体に広げて、顔の検出処理を行う。当該画像データのフレーム全体において顔が検出されると、CPU42は、顔の重心点Pを算出して、図5(e)に示すように、画枠Fを設定し直す。すなわち、当該画枠Fは、人物が常に略中央に位置するよう制御されることとなり、画像メモリ23には人物が略中央に位置する画枠画像データFdのみが記憶されることとなる。   Once the image frame F is set after the start of imaging, the CPU 42 detects the position of the face by executing the face position detection program 44b for the image frame area in the image data acquired by executing the imaging program 44a. I do. Then, as shown in FIG. 5B, when a person moves in the vertical direction or the horizontal direction and the center of gravity P of the face fluctuates in the image frame area, the center of gravity is changed as shown in FIG. The image frame F is moved so that P becomes the center of the image frame region. Also, as shown in FIG. 5D, when the person moves to a position outside the image frame F and no face is detected in the image frame area, the CPU 42 extends the detection range to the entire frame, Perform face detection processing. When the face is detected in the entire frame of the image data, the CPU 42 calculates the center of gravity P of the face and resets the image frame F as shown in FIG. That is, the image frame F is controlled so that the person is always located at the approximate center, and the image memory 23 stores only the image frame image data Fd where the person is positioned at the approximate center.

通信プログラム44dは、例えば、CPU42に、画枠設定プログラム44cの実行により設定された画枠領域の画枠画像データFdを外部装置300に送信するとともに、外部装置300から送信される画像データを受信する機能を実現させるプログラムである。
具体的には、CPU42は、撮像プログラム44a、顔位置検出プログラム44b及び画枠設定プログラム44cの実行により生成され、画像メモリ23に記憶された画枠画像データFdを、通信部3により、相手話者の外部装置300に送信するとともに、外部装置300から送信される画枠画像データFdを受信する。受信された画像データは、撮像表示装置100の各部において所定の処理が施されて、表示部1の表示画面1aにおいて、受信された画像データに基づく画像が表示されることとなる。
CPU42は、かかる通信プログラム44dを実行することにより、通信部3とともに送信手段として機能する。
For example, the communication program 44d transmits to the CPU 42 the image frame image data Fd of the image frame area set by the execution of the image frame setting program 44c to the external device 300, and receives image data transmitted from the external device 300. It is a program that realizes the function to perform.
Specifically, the CPU 42 uses the communication unit 3 to transmit the image frame image data Fd generated by the execution of the imaging program 44a, the face position detection program 44b, and the image frame setting program 44c, and stored in the image memory 23, to the other party. And the image frame image data Fd transmitted from the external device 300 is received. The received image data is subjected to predetermined processing in each unit of the imaging display device 100, and an image based on the received image data is displayed on the display screen 1a of the display unit 1.
The CPU 42 functions as a transmission unit together with the communication unit 3 by executing the communication program 44d.

外部装置300は、例えば、撮像表示装置100と同様の機能を備えて構成されており、表示部301と、CPU302と、ROM303と、等を備えている。
外部装置300のCPU302は、ROM303に格納された表示制御プログラム303aの実行により、受信した画枠画像データFdに対して、外部装置300の各部において所定の処理を行い、当該画枠画像データFdに基づく画像を表示部301に表示させる。その結果、図6に示すように、当該表示部301には、人物の顔が略中央に撮像された画像が、常に表示されることとなる。
For example, the external device 300 is configured to have the same function as the imaging display device 100, and includes a display unit 301, a CPU 302, a ROM 303, and the like.
The CPU 302 of the external device 300 performs predetermined processing in each unit of the external device 300 on the received image frame image data Fd by executing the display control program 303a stored in the ROM 303, and the image frame image data Fd An image based on the image is displayed on the display unit 301. As a result, as shown in FIG. 6, the display unit 301 always displays an image in which a person's face is captured in the approximate center.

次に、画像データ取得・送信動作処理について、図7を参照しながら説明する。
なお、本画像データ取得・送信動作処理は、撮像表示装置100のCPU42が、撮像プログラム44a、顔位置検出プログラム44b、画枠設定プログラム44c、通信プログラム44dを実行し、外部装置300のCPU302が表示制御プログラム303aを実行することにより行われる。
Next, image data acquisition / transmission operation processing will be described with reference to FIG.
In the image data acquisition / transmission operation process, the CPU 42 of the imaging display device 100 executes the imaging program 44a, the face position detection program 44b, the image frame setting program 44c, and the communication program 44d, and the CPU 302 of the external device 300 displays the image data. This is performed by executing the control program 303a.

まず、撮像表示装置100のCPU42は、撮像部2において、光ファイバ5を介して入力される表示部1の前方領域の光(像)を、撮像素子21により電気信号に変換することにより、画像データを取得する(ステップS1)。次に、CPU42は、ステップS1において取得した画像データのフレーム全体に対して、画像処理部22において、人物の顔の検出処理を行い(ステップS2)、人物の顔が検出されるか否かを判断する(ステップS3)。CPU42は、ステップ3において、人物の顔が検出されないと判断すると(ステップS3;No)、ステップS1に戻って以上の処理を繰り返す。一方、CPU42は、ステップS3において、人物の顔が検出されると判断すると(ステップS3;Yes)、顔が撮像された領域の重心点Pを算出し(ステップS4)、当該重心点Pを中心とする所定数の画素を含む周囲領域に画枠Fを設定する(ステップS5)。
次に、CPU42は、画像データにおける画枠領域を切り出して画枠画像データFdを生成し(ステップS6)、一時的に画像メモリ23に記憶させ、画像メモリ23に記憶された画枠画像データFdを、通信部3により、外部装置300に送信する(ステップS7)。
First, the CPU 42 of the imaging display device 100 converts the light (image) in the front area of the display unit 1 input via the optical fiber 5 into an electrical signal by the imaging element 21 in the imaging unit 2, thereby generating an image. Data is acquired (step S1). Next, the CPU 42 performs a human face detection process on the entire frame of the image data acquired in step S1 in the image processing unit 22 (step S2), and determines whether or not a human face is detected. Judgment is made (step S3). If the CPU 42 determines in step 3 that no human face is detected (step S3; No), the CPU 42 returns to step S1 and repeats the above processing. On the other hand, when the CPU 42 determines in step S3 that a human face is detected (step S3; Yes), the CPU 42 calculates the center point P of the area where the face is imaged (step S4), and the center point P is the center. An image frame F is set in a surrounding area including a predetermined number of pixels (step S5).
Next, the CPU 42 cuts out the image frame area in the image data to generate image frame image data Fd (step S6), temporarily stores it in the image memory 23, and stores the image frame image data Fd stored in the image memory 23. Is transmitted to the external device 300 by the communication unit 3 (step S7).

次に、CPU42は、撮像部2において、光ファイバ5を介して入力される表示部1の前方領域の光を、撮像素子21により電気信号に変換して画像データを取得する(ステップS8)。CPU42は、ステップS8において取得した画像データの画枠領域に対して、画像処理部22において、人物の顔の検出処理を行い(ステップS9)、人物の顔が検出されるか否かを判断する(ステップS10)。CPU42は、ステップ10において、人物の顔が検出されないと判断すると(ステップS10;No)、ステップS2に戻って以上の処理を繰り返す。一方、CPU42は、ステップS10において、人物の顔が検出されると判断すると(ステップS10;Yes)、顔が撮像された領域の重心点Pを算出し(ステップS11)、当該重心点Pが画枠領域内において移動したか否かを判断する(ステップS12)。CPU42は、重心点Pが移動していないと判断すると(ステップS12;No)、ステップS6に戻り以上の処理を繰り返す。一方、CPU42は、ステップS12において、重心点Pが移動したと判断すると(ステップS12;Yes)、重心点Pが中心となるように画枠Fを移動して(ステップS13)、ステップS6に戻って以上の処理を繰り返す。   Next, in the imaging unit 2, the CPU 42 converts the light in the front area of the display unit 1 input via the optical fiber 5 into an electrical signal by the imaging element 21, and acquires image data (step S8). The CPU 42 performs a human face detection process on the image frame area of the image data acquired in step S8 in the image processing unit 22 (step S9), and determines whether or not a human face is detected. (Step S10). If the CPU 42 determines in step 10 that no human face is detected (step S10; No), the CPU 42 returns to step S2 and repeats the above processing. On the other hand, when the CPU 42 determines in step S10 that a human face is detected (step S10; Yes), the CPU 42 calculates the center point P of the area where the face is imaged (step S11), and the center point P is displayed. It is determined whether or not it has moved within the frame area (step S12). When the CPU 42 determines that the center of gravity P has not moved (step S12; No), the CPU 42 returns to step S6 and repeats the above processing. On the other hand, when the CPU 42 determines in step S12 that the barycentric point P has moved (step S12; Yes), the CPU 42 moves the image frame F so that the barycentric point P is at the center (step S13), and returns to step S6. Repeat the above process.

外部装置300のCPU302は、ステップS14において、撮像表示装置100の通信部3により、電気通信回線200を介して送信された画枠画像データFdを受信すると、外部装置300の各部において所定の処理を行い、当該画枠画像データFdに基づく人物の顔が略中央に撮像された画像を表示部301に表示させ(ステップS15)、以上で処理を終了する。   When the CPU 302 of the external device 300 receives the image frame image data Fd transmitted via the telecommunication line 200 by the communication unit 3 of the imaging display device 100 in step S14, the CPU 302 performs predetermined processing in each unit of the external device 300. Then, the display unit 301 displays an image in which the face of the person based on the image frame image data Fd is captured at the approximate center (step S15), and the process ends.

以上説明した本発明にかかる撮像表示装置100によれば、CPU42による撮像プログラム44aの実行により取得された画像データにおいて、顔位置検出プログラム44bの実行により人物の顔が撮像された位置が検出され、当該顔の位置に基づいて、画枠設定プログラム44cの実行により顔の周囲領域に画枠Fが設定される。さらに、通信プログラム44dの実行により、画像データのうち画枠Fで囲まれた領域の画枠画像データFdが外部装置300に送信されるため、顔の位置が移動した場合であっても、機械的に追尾することなく、顔画像が中央に表示された画枠画像データのみが送信されることとなる。従って、顔の位置の移動に対して応答速度が劣ることがなく、より確実に、視線が一致した画像を送信することができる。
また、表示部1は、前方領域から入力される光を透過する開口部11bを備え、CPU42は撮像プログラム44aの実行により、光ファイバ5を介して得られる表示部1の前方領域の像を撮像して画像データを取得するので、より容易に視線の一致した画像データを取得することができるとともに、撮像表示装置100の薄型化を図る等、設計の自由度を増すことができる。さらに、開口部11bから光ファイバ5を介して入光する光により撮像を行うので、画角の広い画像データを取得することができる。
According to the imaging display device 100 according to the present invention described above, in the image data acquired by the execution of the imaging program 44a by the CPU 42, the position where the face of the person is imaged by the execution of the face position detection program 44b is detected, Based on the position of the face, the image frame F is set in the peripheral region of the face by executing the image frame setting program 44c. Further, since the image frame image data Fd of the area surrounded by the image frame F in the image data is transmitted to the external device 300 by the execution of the communication program 44d, even if the position of the face is moved, the machine Therefore, only the image frame image data with the face image displayed in the center is transmitted without tracking. Therefore, the response speed is not inferior to the movement of the face position, and an image with a matched line of sight can be transmitted more reliably.
Further, the display unit 1 includes an opening 11b that transmits light input from the front region, and the CPU 42 captures an image of the front region of the display unit 1 obtained through the optical fiber 5 by executing the imaging program 44a. Since the image data is acquired in this manner, it is possible to more easily acquire the image data having the same line of sight, and to increase the degree of design freedom such as reducing the thickness of the imaging display device 100. Furthermore, since imaging is performed with light entering through the optical fiber 5 from the opening 11b, image data with a wide angle of view can be acquired.

なお、本発明は、上記実施の形態に限られることなく、本発明の趣旨を逸脱しない範囲において種々の改良並びに設計の変更を行ってもよい。
例えば、本実施形態において撮像表示装置100は、LCD方式の表示部1を有するものとして説明を行ったが、PDP方式や、有機EL方式の表示部等であっても良い。
また、撮像表示装置100は、動画の画像データを外部装置300に送信する構成としたが、画像データは静止画であっても良い。
また、画枠Fは、顔が撮像された領域の重心点Pを中心とする周囲領域に設定される構成を用いて説明を行ったが、画枠Fは顔の両目の中心点を基準に設定されても良いし、顔の鼻領域を基準に設定されても良い。
また、顔検出の方法は、上記実施形態の方法に限られることなく、例えば、両目の位置等を基準に顔を検出する方法や、サポートベクタマシン(Support Vector Machine, SVM)により顔・非顔判定を行う方法であっても良い。
また、透過部は開口部11bに限られることなく、例えば、表示部1の前方領域からガラス基板11等を透過して入光する光により画像データを取得する設計であっても良い。
また、撮像表示装置100においても、外部装置300により送信された画枠画像データを受信し、表示制御プログラム303aと同様のプログラムをCPU42が実行することにより、受信した画枠画像データに基づく画像を表示部1に表示させるようにしてもよい。
The present invention is not limited to the above embodiment, and various improvements and design changes may be made without departing from the spirit of the present invention.
For example, in the present embodiment, the imaging display device 100 has been described as having the LCD display unit 1, but it may be a PDP display, an organic EL display, or the like.
In addition, the imaging display device 100 is configured to transmit moving image data to the external device 300, but the image data may be a still image.
In addition, the image frame F has been described by using a configuration in which the image frame F is set to a peripheral region centered on the center of gravity P of the region where the face is imaged, but the image frame F is based on the center point of both eyes of the face. It may be set, or may be set based on the nose region of the face.
Further, the face detection method is not limited to the method of the above-described embodiment. For example, a face detection method based on a position of both eyes or a support vector machine (Support Vector Machine, SVM) A method of performing the determination may be used.
Further, the transmission part is not limited to the opening part 11b, and for example, it may be designed such that image data is acquired by light that passes through the glass substrate 11 or the like from the front area of the display part 1 and enters.
Also in the imaging display device 100, the image data transmitted from the external device 300 is received, and the CPU 42 executes a program similar to the display control program 303a, whereby an image based on the received image data is displayed. You may make it display on the display part 1. FIG.

本実施形態の撮像表示装置により実現される対話通信システムを例示するブロック図である。It is a block diagram which illustrates the interactive communication system implement | achieved by the imaging display apparatus of this embodiment. 本実施形態の撮像表示装置の要部構成を示すブロック図である。It is a block diagram which shows the principal part structure of the imaging display apparatus of this embodiment. 本実施形態の撮像表示装置の断面を示す側面図である。It is a side view which shows the cross section of the imaging display apparatus of this embodiment. ガラス基板の一部を前方から見た図である。It is the figure which looked at a part of glass substrate from the front. 撮像プログラム、顔位置検出プログラム、画枠設定プログラムの実行により生成された画像データを例示する図である。It is a figure which illustrates the image data produced | generated by execution of an imaging program, a face position detection program, and an image frame setting program. 外部装置の表示部に表示された画像を例示する図である。It is a figure which illustrates the image displayed on the display part of the external device. 画像データ取得・送信動作処理を示すフローチャートである。It is a flowchart which shows image data acquisition / transmission operation processing.

符号の説明Explanation of symbols

100 撮像表示装置
200 電気通信回線
300 外部装置
1 表示部
1a 表示画面
2 撮像部(撮像手段)
3 通信部(送信手段)
5 光ファイバ
11b 開口部(透過部)
42 CPU(撮像手段、顔位置検出手段、画枠設定手段、送信手段)
44a 撮像プログラム(撮像手段)
44b 顔位置検出プログラム(顔位置検出手段)
44c 画枠設定プログラム(画枠設定手段)
44d 通信プログラム(送信手段)
F 画枠
Fd 画枠画像データ
DESCRIPTION OF SYMBOLS 100 Imaging display apparatus 200 Electrical communication line 300 External apparatus 1 Display part 1a Display screen 2 Imaging part (imaging means)
3 Communication unit (transmission means)
5 Optical fiber 11b Opening (transmission part)
42 CPU (imaging means, face position detection means, image frame setting means, transmission means)
44a Imaging program (imaging means)
44b Face position detection program (face position detection means)
44c Image frame setting program (image frame setting means)
44d Communication program (transmission means)
F Image frame Fd Image frame image data

Claims (2)

画像を表示するとともに、前方領域から入力される光を透過する複数の透過部を備える表示部と、
前記複数の透過部の各々に対応して配置され、各透過部を通して前方領域から入力される光を受光する複数の光ファイバと、
前記複数の光ファイバを介して得られる前記表示部の前方領域の像を撮像して画像データを取得する撮像手段と、
前記撮像手段により取得された前記画像データから、人物の顔が撮像された位置を検出する顔位置検出手段と、
前記顔位置検出手段による検出結果に基づいて、前記顔の周囲領域に画枠を設定する画枠設定手段と、
前記画像データのうち、前記画枠設定手段により設定された前記画枠で囲まれた領域の画枠画像データを外部装置に送信する送信手段と、
を備えることを特徴とする撮像表示装置。
A display unit that displays an image and includes a plurality of transmission units that transmit light input from the front region;
A plurality of optical fibers arranged corresponding to each of the plurality of transmission parts and receiving light input from the front region through the transmission parts;
Imaging means for capturing an image of a front region of the display unit obtained through the plurality of optical fibers to acquire image data;
Face position detecting means for detecting a position where a human face is imaged from the image data acquired by the imaging means;
An image frame setting means for setting an image frame in a peripheral area of the face based on a detection result by the face position detection means;
A transmitting unit that transmits image frame image data of an area surrounded by the image frame set by the image frame setting unit to the external device among the image data;
An imaging display device comprising:
画像を表示する表示部と、
前記表示部の表示画面の後方から、前記表示部の前方領域を撮像して画像データを取得する撮像手段と、
前記撮像手段により取得された前記画像データから、人物の顔が撮像された位置を検出する顔位置検出手段と、
前記顔位置検出手段による検出結果に基づいて、前記顔の周囲領域に画枠を設定する画枠設定手段と、
前記画像データのうち、前記画枠設定手段により設定された前記画枠で囲まれた領域の画枠画像データを外部装置に送信する送信手段と、
を備えることを特徴とする撮像表示装置。
A display for displaying an image;
Imaging means for capturing image data by imaging a front area of the display unit from the rear of the display screen of the display unit;
Face position detecting means for detecting a position where a human face is imaged from the image data acquired by the imaging means;
An image frame setting means for setting an image frame in a peripheral area of the face based on a detection result by the face position detection means;
A transmitting unit that transmits image frame image data of an area surrounded by the image frame set by the image frame setting unit to the external device among the image data;
An imaging display device comprising:
JP2006027216A 2006-02-03 2006-02-03 Imaging and display device Pending JP2007208819A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006027216A JP2007208819A (en) 2006-02-03 2006-02-03 Imaging and display device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006027216A JP2007208819A (en) 2006-02-03 2006-02-03 Imaging and display device

Publications (1)

Publication Number Publication Date
JP2007208819A true JP2007208819A (en) 2007-08-16

Family

ID=38487845

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006027216A Pending JP2007208819A (en) 2006-02-03 2006-02-03 Imaging and display device

Country Status (1)

Country Link
JP (1) JP2007208819A (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010156850A (en) * 2008-12-26 2010-07-15 Canon Inc Focus adjustment device and method
JP2014049797A (en) * 2012-08-29 2014-03-17 Canon Inc Display device with camera
JP2014089242A (en) * 2012-10-29 2014-05-15 Casio Comput Co Ltd Image processor, video data correction method and program
JP2015109557A (en) * 2013-12-04 2015-06-11 キヤノン株式会社 Display device including imaging unit and control method of the same

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010156850A (en) * 2008-12-26 2010-07-15 Canon Inc Focus adjustment device and method
JP2014049797A (en) * 2012-08-29 2014-03-17 Canon Inc Display device with camera
JP2014089242A (en) * 2012-10-29 2014-05-15 Casio Comput Co Ltd Image processor, video data correction method and program
JP2015109557A (en) * 2013-12-04 2015-06-11 キヤノン株式会社 Display device including imaging unit and control method of the same

Similar Documents

Publication Publication Date Title
US8891030B2 (en) Display method, display apparatus, optical unit, method of manufacturing display apparatus, and electronic equipment
JP4899805B2 (en) Video phone equipment
US10228563B2 (en) Optical medium, glasses and imaging method therefor
JP4728793B2 (en) Display device and control method thereof
JP5836768B2 (en) Display device with imaging device
EP3076653B1 (en) Display device and shooting display method therefor
WO2010033175A2 (en) A monitor having integral camera and method of operating the same
WO2012060564A1 (en) 3d camera
JP2010068182A (en) Three-dimensional imaging device, method, and program
JPH06153190A (en) Picture display/image pickup device
US20130113793A1 (en) Image processing device, image processing method, and image processing program
TWI528833B (en) 3d imaging device
JP2007208819A (en) Imaging and display device
JP2010171573A (en) Three-dimensional image display-imaging device, communication system, and display device
JPH05303053A (en) Head mount display device
JPH11237581A (en) Head-mount display device
JP2013017125A (en) Imaging apparatus and display method for monitoring image of the same
JPS62122494A (en) Stereoscopic vision device
JP2008228170A (en) Image display device and television telephone device
JP5963637B2 (en) Display device with imaging device
JP2007108626A (en) Stereoscopic image forming system
JP2006267767A (en) Image display device
WO2021149503A1 (en) Electronic device
JP4922829B2 (en) Cover for display with imaging device
JP4847500B2 (en) Three-dimensional display device, method and program