JP2013110764A - Imaging display device, and imaging display method - Google Patents
Imaging display device, and imaging display method Download PDFInfo
- Publication number
- JP2013110764A JP2013110764A JP2013029778A JP2013029778A JP2013110764A JP 2013110764 A JP2013110764 A JP 2013110764A JP 2013029778 A JP2013029778 A JP 2013029778A JP 2013029778 A JP2013029778 A JP 2013029778A JP 2013110764 A JP2013110764 A JP 2013110764A
- Authority
- JP
- Japan
- Prior art keywords
- imaging
- display
- image
- image signal
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
Description
本発明は、使用者の視界方向を被写体方向とする撮像部によって撮像された画像を表示することのできる撮像表示装置と撮像表示方法に関する。 The present invention relates to an image pickup display device and an image pickup display method capable of displaying an image picked up by an image pickup unit having a user's visual field direction as a subject direction.
例えば上記各特許文献１、２、３のように、眼鏡型もしくは頭部装着型の装着ユニットにより、ユーザの目の直前に表示部を配置して表示を行う装置が、各種提案されている。
また上記特許文献４のように、眼鏡型もしくは頭部装着型の装着ユニットに小型のカメラを取り付け、ユーザの視界方向の光景を撮像できるようにした装置が提案されている。
For example, as in
Further, as in
しかしながら従来の装置では、ユーザの視界方向の光景を含め、多様な画像をユーザに提供できる装置は開発されていない。
そこで本発明では、ユーザの視界方向の光景を含め、多様な画像をユーザに対して表示し、ユーザの視覚能力を拡張したり、ユーザに有用性や楽しさを提供できるようにすることを目的とする。
However, no conventional device has been developed that can provide a variety of images to the user, including a view in the user's field of view.
In view of the above, an object of the present invention is to display various images including a view in the direction of the user's field of view to the user so as to extend the user's visual ability and provide the user with usefulness and fun. And
本発明の撮像表示装置は、画像表示を行う表示手段と、外部機器から画像信号を受信する通信手段と、画像信号が記録されているストレージ手段と、使用者の視界方向を被写体方向とする撮像部によって撮像された撮像画像信号を元として表示画像信号を生成する第１の画像信号生成手段と、上記第１の画像信号生成手段による表示画像信号とは異なる画像となる表示画像信号を上記通信手段から受信した画像信号または上記ストレージ手段に記録されている画像信号から生成する第２の画像信号生成手段と、上記表示手段において、上記第１、第２の画像信号生成手段で生成された複数の表示画像信号による画像表示を同時に実行させる制御を行う制御手段とを備える。 An imaging display device according to the present invention includes a display unit that displays an image, a communication unit that receives an image signal from an external device, a storage unit that stores the image signal, and an imaging that uses the user's field of view as the subject direction. a first image signal generating means for generating a display image signal as the basis of the captured image signal captured by the section, the communication a display image signal of the image different from the image of the display image signal generated by the first image signal generation means A second image signal generating means for generating from an image signal received from the means or an image signal recorded in the storage means; and a plurality of the image signals generated by the first and second image signal generating means in the display means. Control means for performing control to simultaneously execute image display using the display image signal.
また上記表示手段は、使用者の目の前方に位置するように配置されて画像表示を行う構造とされる。
或いは上記表示手段は、上記第１の画像信号生成手段を備えた筐体とは別筐体で形成されている。
また上記第１の画像信号生成手段は、上記撮像部と、上記撮像部で得られた撮像画像信号に対する信号処理を行う信号処理部とを有する。
また上記撮像部は、撮像素子としてＣＣＤセンサもしくはＣＭＯＳセンサを用いて構成されている。
Further, the display means is arranged so as to be positioned in front of the user's eyes to display an image.
Alternatively, the display means is formed by a separate housing from the housing provided with the first image signal generating means.
The first image signal generation means includes the imaging unit and a signal processing unit that performs signal processing on the captured image signal obtained by the imaging unit.
The imaging unit is configured using a CCD sensor or a CMOS sensor as an imaging element.
上記第２の画像信号生成手段は、撮像部によって撮像された撮像画像信号を元として上記表示手段に供給する表示画像信号を生成する。
またこの場合、上記第２の画像信号生成手段は、上記撮像部と、上記撮像部で得られた撮像画像信号に対する信号処理を行う信号処理部とを有する。
また上記撮像部は、使用者の視界方向を被写体方向とする撮像部である。
或いは上記撮像部は、使用者の視界方向とは異なる方向を被写体方向とする撮像部である。
また上記撮像部は、被写体方向が可変とされた撮像部である。
また上記撮像部は、撮像素子としてＣＣＤセンサもしくはＣＭＯＳセンサを用いて構成されている。
また上記第２の画像信号生成手段は、上記撮像部における撮像レンズ系の動作制御により、上記第１の画像信号生成手段による表示画像信号とは異なる画像となる表示画像信号を生成する。
また上記第２の画像信号生成手段は、上記信号処理部における信号処理により、上記第１の画像信号生成手段による表示画像信号とは異なる画像となる表示画像信号を生成する。
The second image signal generation unit generates a display image signal to be supplied to the display unit based on the captured image signal captured by the imaging unit.
In this case, the second image signal generation unit includes the imaging unit and a signal processing unit that performs signal processing on the captured image signal obtained by the imaging unit.
In addition, the imaging unit is an imaging unit having a user's field of view direction as a subject direction.
Alternatively, the imaging unit is an imaging unit having a direction different from the user's view direction as the subject direction.
The imaging unit is an imaging unit whose subject direction is variable.
The imaging unit is configured using a CCD sensor or a CMOS sensor as an imaging element.
The second image signal generation unit generates a display image signal that is an image different from the display image signal by the first image signal generation unit by controlling the operation of the imaging lens system in the imaging unit.
The second image signal generation unit generates a display image signal that is an image different from the display image signal by the first image signal generation unit, by signal processing in the signal processing unit.
また上記第２の画像信号生成手段は、外部機器から画像信号を受信する受信部を有し、上記受信部で受信した画像信号を元として、上記第１の画像信号生成手段による表示画像信号とは異なる画像となる表示画像信号を生成する。
また上記第２の画像信号生成手段は、記録媒体から画像信号を再生する再生部を有し、上記再生部で再生した画像信号を元として、上記第１の画像信号生成手段による表示画像信号とは異なる画像となる表示画像信号を生成する。
In addition, the second image signal generation unit includes a reception unit that receives an image signal from an external device. Based on the image signal received by the reception unit, the display image signal generated by the first image signal generation unit and Generates a display image signal to be a different image.
The second image signal generation means has a reproduction section for reproducing an image signal from a recording medium, and based on the image signal reproduced by the reproduction section, the display image signal by the first image signal generation means and Generates a display image signal to be a different image.
また上記表示手段において、画面領域内で親画面領域と子画面領域が設定されて、親画面領域と子画面領域の一方で、上記第１の画像信号生成手段からの表示画像信号による画像表示が行われ、他方で上記第２の画像信号生成手段からの表示画像信号による画像表示が行われる。
また上記表示手段において、画面領域が分割され、分割された各領域の一方で、上記第１の画像信号生成手段からの表示画像信号による画像表示が行われ、他方で上記第２の画像信号生成手段からの表示画像信号による画像表示が行われる。
In the display means, a parent screen area and a child screen area are set in the screen area, and one of the parent screen area and the child screen area displays an image by the display image signal from the first image signal generation means. On the other hand, image display is performed using the display image signal from the second image signal generating means.
In the display means, the screen area is divided, one of the divided areas is displayed by the display image signal from the first image signal generation means, and the other is the second image signal generation. An image is displayed by a display image signal from the means.
上記第１、第２の画像信号生成手段で生成する複数の表示画像信号の１つは、近景撮像又は遠景撮像により得られた画像信号である。
また上記第１、第２の画像信号生成手段で生成する複数の表示画像信号の１つは、望遠撮像又は広角撮像により得られた画像信号である。
また上記第１、第２の画像信号生成手段で生成する複数の表示画像信号の１つは、拡大処理又は縮小処理により得られた画像信号である。
また上記第１、第２の画像信号生成手段で生成する複数の表示画像信号の１つは、撮像感度を上昇又は低下させた撮像により得られた画像信号である。
また上記第１、第２の画像信号生成手段で生成する複数の表示画像信号の１つは、赤外線撮像感度を上昇させた撮像により得られた画像信号である。
また上記第１、第２の画像信号生成手段で生成する複数の表示画像信号の１つは、紫外線撮像感度を上昇させた撮像により得られた画像信号である。
また上記第１、第２の画像信号生成手段で生成する複数の表示画像信号の１つは、使用者の視界方向を被写体方向とした撮像により得られた画像信号である。
また上記第１、第２の画像信号生成手段で生成する複数の表示画像信号の１つは、使用者の視界方向とは異なる方向を被写体方向とした撮像により得られた画像信号である。
One of the plurality of display image signals generated by the first and second image signal generating means is an image signal obtained by foreground imaging or far-field imaging.
One of the plurality of display image signals generated by the first and second image signal generating means is an image signal obtained by telephoto imaging or wide-angle imaging.
One of the plurality of display image signals generated by the first and second image signal generating means is an image signal obtained by an enlargement process or a reduction process.
One of the plurality of display image signals generated by the first and second image signal generating means is an image signal obtained by imaging with increased or decreased imaging sensitivity.
One of the plurality of display image signals generated by the first and second image signal generating means is an image signal obtained by imaging with increased infrared imaging sensitivity.
One of the plurality of display image signals generated by the first and second image signal generating means is an image signal obtained by imaging with increased ultraviolet imaging sensitivity.
One of the plurality of display image signals generated by the first and second image signal generating means is an image signal obtained by imaging with the user's visual field direction as the subject direction.
One of the plurality of display image signals generated by the first and second image signal generating means is an image signal obtained by imaging with a direction different from the user's view direction as the subject direction.
本発明の撮像表示方法は、画像表示を行う表示手段と、ストレージ手段と、通信手段と、撮像部とを有する撮像表示装置の撮像表示方法であり、外部機器から画像信号を上記通信手段により受信するステップと、使用者の視界方向を被写体方向とする上記撮像部によって撮像された撮像画像信号を元として表示画像信号を生成する第１の画像信号生成ステップと、上記第１の画像信号生成ステップによる表示画像信号とは異なる画像となる表示画像信号を上記通信手段から受信した画像信号または上記ストレージ手段に記録されている画像信号から生成する第２の画像信号生成ステップと、上記第１、第２の画像信号生成ステップで生成された複数の表示画像信号による画像表示を同時に実行させる表示ステップとを備える。 The imaging display method of the present invention is an imaging display method of an imaging display device having display means for displaying an image, storage means, communication means, and an imaging unit, and receives an image signal from an external device by the communication means. steps and, a first image signal generating step of generating a display image signal to the viewing direction of the user as the basis of the captured image signal captured by the imaging unit to the object direction, the first image signal generation step of A second image signal generating step for generating a display image signal that is an image different from the display image signal by the image signal received from the communication means or the image signal recorded in the storage means ; A display step of simultaneously executing image display using a plurality of display image signals generated in the second image signal generation step.
以上の本発明では、使用者（ユーザ）は、例えば眼鏡型もしくは頭部装着型の装着ユニットなどにより本発明の撮像表示装置を装着することで、撮像部がユーザの視界方向の光景を撮像する状態となる。そして撮像部で撮像された画像、即ち第１の画像信号生成手段で得られたユーザの視界方向の光景となる表示画像信号を表示手段に供給して表示させるが、そのときに、同時に第２の画像信号生成手段で生成された表示画像信号も表示させる。例えば画面分割や親子画面などの形態で同時に複数の画像を表示させればよい。
第２の画像信号生成手段で生成される表示画像信号は、第１の画像信号生成手段による表示画像信号とは異なる画像である。異なる画像とは、別方向の撮像画像、同方向の撮像画像であるがズーミング、焦点位置、感度、信号処理の違いなどによって異なるものとなる画像、他の機器から受信した画像、記録媒体から再生した画像など、多様に考えられる。
そして、第１の画像信号生成手段で得られる表示画像信号により通常の視界光景を表示すると同時に、第２の画像信号生成手段で生成された表示画像信号により通常の視覚では見ることのできない画像を表示することで、ユーザの視覚能力を拡張させたり、おもしろみのある表示を提供する。
なお、第１、第２の画像信号生成手段は、表示する表示画像信号のソースとなるが、第１、第２という表記は、画像信号生成手段が２つであると限定する意味ではなく、画像信号生成手段を３つ以上を備えることを本発明は妨げるものではない。
In the present invention described above, the user (user) wears the imaging display device of the present invention using, for example, a spectacle-type or head-mounted mounting unit, so that the imaging unit captures a scene in the user's field of view. It becomes a state. Then, an image picked up by the image pickup unit, that is, a display image signal obtained by the first image signal generating means and serving as a sight in the user's field of view is supplied to the display means for display. The display image signal generated by the image signal generation means is also displayed. For example, a plurality of images may be displayed simultaneously in the form of screen division, parent / child screen, or the like.
The display image signal generated by the second image signal generation unit is an image different from the display image signal by the first image signal generation unit. Different images are images taken in different directions, images taken in the same direction, but differ due to differences in zooming, focus position, sensitivity, signal processing, etc., images received from other devices, and playback from recording media Various images can be considered.
Then, the normal view scene is displayed by the display image signal obtained by the first image signal generation means, and at the same time, an image that cannot be seen by normal vision by the display image signal generated by the second image signal generation means. By displaying, the visual ability of the user is expanded or an interesting display is provided.
The first and second image signal generating means are sources of the display image signal to be displayed. However, the notation of first and second does not mean that there are two image signal generating means. The present invention does not prevent the provision of three or more image signal generating means.
本発明によれば、表示手段において第１の画像信号生成手段で得られる表示画像信号により視界光景の画像を表示すると同時に、第２の画像信号生成手段で生成された表示画像信号により通常の視覚では見ることのできない画像を表示することで、ユーザの視覚能力を拡張したり、有用或いはおもしろみのある表示を提供できる。 According to the present invention, in the display means, the image of the view scene is displayed by the display image signal obtained by the first image signal generation means, and at the same time, the normal image is displayed by the display image signal generated by the second image signal generation means. By displaying an image that cannot be seen, the user's visual ability can be expanded and a useful or interesting display can be provided.
以下、本発明の撮像表示装置、撮像表示方法の実施の形態を、次の順序で説明する。
［１．撮像表示装置の外観例及び外部機器との関連］
［２．撮像表示装置の構成例］
［３．画面上の領域形態］
［４．表示動作例］
［５．動作トリガの例］
［６．実施の形態の効果、変形例及び拡張例］
Hereinafter, embodiments of the imaging display device and imaging display method of the present invention will be described in the following order.
[1. Appearance example of imaging display device and relationship with external equipment]
[2. Configuration example of imaging display device]
[3. Area form on screen]
[4. Display operation example]
[5. Example of operation trigger]
[6. Effect, modification and extension of embodiment]
［１．撮像表示装置の外観例及び外部機器との関連］
実施の形態として、図１（ａ）（ｂ）に眼鏡型ディスプレイカメラとした撮像表示装置１の外観例を示す。撮像表示装置１は、例えば図１（ｂ）のように両側頭部から後頭部にかけて半周回するようなフレームの構造の装着ユニットを持ち、図１（ａ）のように両耳殻にかけられることでユーザに装着される。
そしてこの撮像表示装置１は、装着状態において、ユーザの両眼の直前、即ち通常の眼鏡におけるレンズが位置する場所に、左眼用と右眼用の一対の表示部２、２が配置される構成とされている。この表示部２には、例えば液晶パネルが用いられる。なお、表示部２で画像表示を行わない期間は、液晶パネルにおける透過率を制御し、透明又は半透明のスルー状態とできるようにしてもよい。
[1. Appearance example of imaging display device and relationship with external equipment]
As an embodiment, an external appearance example of an
In the mounted state, the
またユーザが装着した状態において、ユーザの前方方向に向けて２つの撮像レンズ３ａ、３ａが配置されている。この場合、２つの撮像レンズ３ａ、３ａは、共に撮像表示装置１を装着したユーザの視界方向（前方）が被写体方向となるように取り付けられている。
また撮像レンズ３ａ、３ａによる撮像方向に対して照明を行う発光部４ａ、４ａが設けられる。発光部４ａ、４ａは例えばＬＥＤ（Light Emitting Diode）により形成される。
図４で後述するが、撮像レンズ３ａ、３ａはそれぞれが撮像機能部位（Ｃ１、Ｃ２）に含まれる撮像レンズである。そして撮像レンズ３ａ、３ａから撮像された撮像画像信号は、それぞれが所定の処理を経て表示画像信号とされて表示部２に表示される。
In the state where the user is wearing, the two
In addition, light emitting
As will be described later with reference to FIG. 4, the
なお図１は一例であり、撮像表示装置１をユーザが装着するための構造は多様に考えられる。一般に眼鏡型、或いは頭部装着型とされる装着ユニットで形成されればよく、少なくとも本実施の形態としては、ユーザの眼の前方に近接して表示部２が設けられていればよい。また表示部２は、両眼に対応して一対設けられる他、片側の眼に対応して１つ設けられる構成でもよい。
また発光部４ａを設けない構成も考えられる。
FIG. 1 is an example, and various structures for the user to wear the
A configuration in which the
また図１では撮像レンズ３ａ、３ａがユーザの前方を被写体方向とするように取り付けられているが、２つの撮像レンズ３ａが互いに異なる方向を被写体方向として撮像するように取り付けられていても良い。
図２（ａ）（ｂ）に例を示す。図２（ａ）（ｂ）の例では、前方を撮像する１つの撮像レンズ３ａ及び発光部４ａが設けられると共に、後頭部側に位置することになるユニットにもう１つの撮像レンズ３ａ及び発光部４ａが設けられている。つまりこの場合、２つの撮像レンズ３ａ、３ａは、それぞれがユーザの視界方向と、ユーザの視界方向とは異なる方向（この場合、ユーザの後方）を撮像するものとされる。
In FIG. 1, the
An example is shown in FIGS. In the example of FIGS. 2A and 2B, one
なお本実施の形態では、少なくとも１つの撮像レンズ３ａがユーザの視界方向を撮像するものとされるが、他の撮像レンズ３ａがユーザの視界方向とは異なる方向を撮像するように配置される場合、その被写体方向は、ユーザの後方に限られず、ユーザの上方、左側方、右側方、足下などを被写体方向とするように取り付けられていてもよい。
さらに、３つ以上の撮像レンズ３ａを設け、それぞれが同一方向に向けられたり、異なる方向に向けられたりしてもよい。
In this embodiment, it is assumed that at least one
Further, three or
また、図１、図２の例では撮像レンズ３ａ、３ａは固定的に取り付けられていることで撮像時の被写体方向は固定（ユーザの前方、又はユーザの後方）であるが、被写体方向を変化させることのできる可動機構を介して撮像レンズ３ａを取り付けることで、手動又は自動で撮像時の被写体方向を変化させることができるようにしてもよい。
複数の撮像レンズ３ａについては、全てが固定型、全てが可動型、一部が可動型等、多様な例が考えられる。
In the example of FIGS. 1 and 2, the
Regarding the plurality of
ところで図１、図２の撮像表示装置１は、撮像のための構成部分と撮像した画像をモニタできる表示部２が一体に形成された例であるが、図３の撮像表示装置１のように表示部２が別体とされている例も考えられる。
図３の撮像表示装置１は、撮像装置部４０と表示装置部３０が別体で形成されている。
撮像装置部４０は所定の装着フレームによりユーザの頭部に装着される。そして装着状態においてユーザの視界方向を被写体方向として撮像するように、前方に向けて撮像レンズ３ａが配置されている。
また撮像レンズ３ａによる撮像方向に対して照明を行う発光部４ａが設けられる。発光部４ａは例えばＬＥＤにより形成される。
この場合、後述するが撮像装置部４０の内部には撮像した画像データ等を、別体構成される表示装置部３０に送信する通信部が設けられている。
1 and 2 is an example in which a component for imaging and a
In the
The imaging device unit 40 is mounted on the user's head by a predetermined mounting frame. Then, the
Moreover, the
In this case, as will be described later, a communication unit that transmits captured image data and the like to the separately configured display device unit 30 is provided inside the imaging device unit 40.
表示装置部３０は例えばユーザが携帯可能な小型軽量の機器とされる。
表示装置部３０は内部に撮像装置部４０との間のデータ通信を行う通信部が設けられており、撮像装置部４０から供給される画像データについて表示画面３１に表示させる動作を行う。
ユーザは、このように撮像装置部４０と表示装置部３０が別体とされた撮像表示装置１を用いることもできる。
The display device unit 30 is, for example, a small and lightweight device that can be carried by the user.
The display device unit 30 is provided with a communication unit that performs data communication with the imaging device unit 40 therein, and performs an operation of displaying image data supplied from the imaging device unit 40 on the
The user can also use the
［２．撮像表示装置の構成例］
図４〜図８により撮像表示装置１の内部構成例を説明していく。
まず図４は、上記図１、図２に対応した構成例であり、即ち２つの撮像機能部位を備えた構成例である。
システムコントローラ１０は、例えばＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、不揮発性メモリ部、インターフェース部を備えたマイクロコンピュータにより構成され、撮像表示装置１の全体を制御する制御部とされる。
このシステムコントローラ１０は内部の動作プログラム及び動作トリガ情報発生部１６からの動作トリガに基づいて、撮像表示装置１内の各部の制御を行い、表示部２において所要の画像表示を実行させる。
[2. Configuration example of imaging display device]
An example of the internal configuration of the
First, FIG. 4 is a configuration example corresponding to FIGS. 1 and 2 described above, that is, a configuration example including two imaging function parts.
The
The
撮像表示装置１内では、第１の撮像機能部位Ｃ１として、撮像部３、撮像制御部１１、撮像信号処理部１５が設けられる。
撮像機能部位Ｃ１における撮像部３は、図１又は図２に示した撮像レンズ３ａや、絞り、ズームレンズ、フォーカスレンズなどを備えて構成されるレンズ系や、レンズ系に対してフォーカス動作やズーム動作を行わせるための駆動系、さらにレンズ系で得られる撮像光を検出し、光電変換を行うことで撮像信号を生成する固体撮像素子アレイなどが設けられる。固体撮像素子アレイは、例えばＣＣＤ（Charge Coupled Device）センサアレイや、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサアレイとされる。
図１、図２の例の場合は、この撮像機能部位Ｃ１の撮像部３によってユーザの前方の光景が撮像される。
In the
The
In the case of the example of FIGS. 1 and 2, a scene in front of the user is imaged by the
撮像信号処理部１５は、撮像部３の固体撮像素子によって得られる信号に対するゲイン調整や波形整形を行うサンプルホールド／ＡＧＣ(Automatic Gain Control)回路や、ビデオＡ／Ｄコンバータを備え、デジタルデータとしての撮像信号を得る。また撮像信号処理部１５は、撮像信号に対してホワイトバランス処理、輝度処理、色信号処理、ぶれ補正処理なども行う。
また撮像信号処理部１５は、いわゆるビデオプロセッサとしての機能も持つものとし、撮像信号に対して各種表示のための処理を実行できる部位とされる。
例えば撮像信号の輝度レベル調整、色補正、コントラスト調整、シャープネス（輪郭強調）調整などを行うことができる。また撮像信号処理部１５は、撮像信号の一部を拡大した拡大画像の生成、或いは縮小画像の生成、モザイク画像／輝度反転画像／ソフトフォーカス／画像内の一部の強調表示／画像全体の色の雰囲気の可変などの画像エフェクト処理、キャラクタ画像やイメージ画像の生成及び生成した画像を撮像画像に合成する処理などを行うことができる。
つまり撮像信号処理部１５は、撮像信号としてのデジタル映像信号に対しての各種処理を行うことができる。
The imaging
The imaging
For example, brightness level adjustment, color correction, contrast adjustment, sharpness (outline emphasis) adjustment, and the like of the imaging signal can be performed. Further, the imaging
That is, the imaging
撮像制御部１１は、システムコントローラ１０からの指示に基づいて、撮像部３及び撮像信号処理部１５の動作、つまり撮像機能部位Ｃ１による撮像動作を制御する。例えば撮像制御部１１は、撮像部３、撮像信号処理部１５の動作のオン／オフを制御する。また撮像制御部１１は撮像部３に対して、オートフォーカス、自動露出調整、絞り調整、ズーム、焦点変更などの動作を実行させるための制御（モータ制御）を行うものとされる。
また、上述したように撮像レンズ３ａによる被写体方向を可変できる可動機構が設けられている場合は、撮像制御部１１はシステムコントローラ１０の指示に基づいて、可動機構の動作を制御して撮像部３における撮像レンズ３ａの方向を変化させる。
また撮像制御部１１はタイミングジェネレータを備え、固体撮像素子及び撮像信号処理部１１のサンプルホールド／ＡＧＣ回路、ビデオＡ／Ｄコンバータに対しては、タイミングジェネレータにて生成されるタイミング信号により信号処理動作を制御する。また、このタイミング制御により撮像フレームレートの可変制御も可能とされる。
さらに撮像制御部１１は、固体撮像素子及び撮像信号処理部１５における撮像感度や信号処理の制御を行う。例えば撮像感度制御として固体撮像素子から読み出される信号のゲイン制御を行ったり、黒レベル設定制御や、デジタルデータ段階の撮像信号処理の各種係数制御、ぶれ補正処理における補正量制御などを行うことができる。撮像感度に関しては、特に波長帯域を考慮しない全体的な感度調整や、例えば赤外線領域、紫外線領域など、特定の波長帯域の撮像感度を調整する感度調整（例えば特定波長帯域をカットするような撮像）なども可能である。波長に応じた感度調整は、撮像レンズ系における波長フィルタの挿入や、撮像信号に対する波長フィルタ演算処理により可能である。これらの場合、撮像制御部１１は、波長フィルタの挿入制御や、フィルタ演算係数の指定等により、感度制御を行うことができる。
さらに撮像制御部１１は、システムコントローラ１０の指示に基づいて、撮像信号処理部１５の画像処理動作を制御する。即ち撮像信号処理部１５に対して、上記の各種処理を実行させる。
The
Further, as described above, when the movable mechanism that can change the direction of the subject by the
In addition, the
Further, the
Further, the
また撮像表示装置１内では、第２の撮像機能部位Ｃ２としての、撮像部３、撮像制御部１１、撮像信号処理部１５も設けられる。
撮像機能部位Ｃ２における撮像部３、撮像制御部１１、撮像信号処理部１５は、上記撮像機能部位Ｃ１における撮像部３、撮像制御部１１、撮像信号処理部１５と基本的に同様である。
撮像機能部位Ｃ２における撮像部３は、図１又は図２に示した、もう１つの撮像レンズ３ａや、絞り、ズームレンズ、フォーカスレンズなどを備えて構成されるレンズ系や、レンズ系に対してフォーカス動作やズーム動作を行わせるための駆動系、さらにレンズ系で得られる撮像光を検出し、光電変換を行うことで撮像信号を生成するＣＣＤセンサアレイ又はＣＭＯＳセンサアレイによる固体撮像素子アレイなどが設けられる。
図１の例の場合は、この撮像機能部位Ｃ２の撮像部３も撮像機能部位Ｃ１と同じくユーザの前方の光景を撮像することになり、一方、図２の例の場合は、この撮像機能部位Ｃ２の撮像部３は撮像機能部位Ｃ１と異なる方向、例えばユーザの後方の光景を撮像することになる。
In the
The
The
In the case of the example of FIG. 1, the
撮像機能部位Ｃ２における撮像信号処理部１５も、撮像部３の固体撮像素子によって得られる信号に対するゲイン調整や波形整形を行うサンプルホールド／ＡＧＣ(Automatic Gain Control)回路や、ビデオＡ／Ｄコンバータを備え、デジタルデータとしての撮像信号を得る。また撮像信号処理部１５は、撮像信号に対してホワイトバランス処理、輝度処理、色信号処理、ぶれ補正処理なども行う。また撮像信号処理部１５は、いわゆるビデオプロセッサとしての機能も持つものとし、撮像信号に対して各種表示のための処理を実行できる。例えば撮像信号の輝度レベル調整、色補正、コントラスト調整、シャープネス（輪郭強調）調整などを行うことができる。また撮像信号処理部１５は、撮像信号の一部を拡大した拡大画像の生成、或いは縮小画像の生成、モザイク画像／輝度反転画像／ソフトフォーカス／画像内の一部の強調表示／画像全体の色の雰囲気の可変などの画像エフェクト処理、キャラクタ画像やイメージ画像の生成及び生成した画像を撮像画像に合成する処理などを行うことができる。
The imaging
撮像制御部１１は、システムコントローラ１０からの指示に基づいて、撮像部３及び撮像信号処理部１５の動作、つまり撮像機能部位Ｃ２による撮像動作を制御する。例えば撮像制御部１１は、撮像部３、撮像信号処理部１５の動作のオン／オフを制御する。また撮像制御部１１は撮像部３に対して、オートフォーカス、自動露出調整、絞り調整、ズーム、焦点変更などの動作を実行させるための制御（モータ制御）を行うものとされる。
また、上述したように撮像レンズ３ａによる被写体方向を可変できる可動機構が設けられている場合は、撮像制御部１１はシステムコントローラ１０の指示に基づいて、可動機構の動作を制御して撮像部３における撮像レンズ３ａの方向を変化させる。
また撮像制御部１１はタイミングジェネレータを備え、固体撮像素子及び撮像信号処理部１１のサンプルホールド／ＡＧＣ回路、ビデオＡ／Ｄコンバータに対しては、タイミングジェネレータにて生成されるタイミング信号により信号処理動作を制御する。また、このタイミング制御により撮像フレームレートの可変制御も可能とされる。
さらに撮像制御部１１は、固体撮像素子及び撮像信号処理部１５における撮像感度や信号処理の制御を行う。例えば撮像感度制御として固体撮像素子から読み出される信号のゲイン制御を行ったり、黒レベル設定制御や、デジタルデータ段階の撮像信号処理の各種係数制御、ぶれ補正処理における補正量制御などを行うことができる。撮像感度に関しては、特に波長帯域を考慮しない全体的な感度調整や、例えば赤外線領域、紫外線領域など、特定の波長帯域の撮像感度を調整する感度調整（例えば特定波長帯域をカットするような撮像）なども可能である。波長に応じた感度調整は、撮像レンズ系における波長フィルタの挿入や、撮像信号に対する波長フィルタ演算処理により可能である。これらの場合、撮像制御部１１は、波長フィルタの挿入制御や、フィルタ演算係数の指定等により、感度制御を行うことができる。
さらに撮像制御部１１は、システムコントローラ１０の指示に基づいて、撮像信号処理部１５の画像処理動作を制御する。即ち撮像信号処理部１５に対して、上記の各種処理を実行させる。
The
Further, as described above, when the movable mechanism that can change the direction of the subject by the
In addition, the
Further, the
Further, the
これら撮像機能部位Ｃ１、Ｃ２は、それぞれ撮像によって得られた撮像画像信号を、表示部２での表示に用いる表示画像信号として、表示画像処理部１２に供給する。
These imaging function parts C1 and C2 supply the captured image signal obtained by the imaging to the display
撮像表示装置１においてユーザに対して表示を行う構成としては、表示部２、表示画像処理部１２、表示駆動部１３、表示制御部１４が設けられる。
撮像機能部位Ｃ１、Ｃ２で得られる表示画像信号は表示画像処理部１２に供給される。表示画像処理部１２は、この場合、撮像機能部位Ｃ１、Ｃ２という２つの画像ソース（画像信号生成手段）から供給される表示画像信号を同時に表示部２に表示するための画面分割及び画像合成処理を行う。
例えば親子画面、或いは分割画面として表示部２の画面領域を設定し、各領域に撮像機能部位Ｃ１、Ｃ２からの各表示画像信号による画像が表示されるようにする。
As a configuration for displaying to the user in the
Display image signals obtained at the imaging
For example, the screen area of the
表示駆動部１３は、表示画像処理部１２から供給される画像信号を、例えば液晶ディスプレイとされる表示部２において表示させるための画素駆動回路で構成されている。即ち表示部２においてマトリクス状に配置されている各画素について、それぞれ所定の水平／垂直駆動タイミングで映像信号に基づく駆動信号を印加し、表示を実行させる。
なお表示駆動部１３は、表示部２の各画素の透過率を制御して、画面全体又は一部をスルー状態とできるようにしてもよい。
表示制御部１４は、システムコントローラ１０の指示に基づいて、表示画像処理部１２の処理動作や表示駆動部１３の動作を制御する。
The
The
The
また撮像機能部位Ｃ１、Ｃ２のそれぞれに対応して、照明部4と照明制御部１８が設けられる。照明部４は、図１、図２に示した発光部４ａとその発光部４（例えばＬＥＤ）を発光させる発光回路から成る。照明制御部１８は、システムコントローラ１０の指示に基づいて、照明部４に発光動作を実行させる。
照明部４における発光部４ａが図１又は図２に示したように取り付けられていることで、照明部４は撮像レンズ３ａによる被写体方向に対する照明動作を行うことになる。
Also, an
Since the
動作トリガ情報発生部１６は、表示部２での画像表示の開始／終了、表示態様の切換などのための動作トリガ情報を発生する。
この動作トリガ情報発生部１６は、例えばユーザが操作する操作キーや操作ダイヤルとしての操作子と、その操作子の操作を検知する操作検知機構により構成することができる。即ちユーザの手動操作を各種動作の動作トリガ情報とする場合である。動作トリガ情報発生部１６は、ユーザの操作情報を動作トリガ情報としてシステムコントローラ１０に供給することで、システムコントローラ１０はユーザの操作に応じた表示動作制御を行う。
また、動作トリガ情報発生部１６は、ユーザ情報（ユーザの視覚状況、身体の挙動、生体状況等の検知情報）を検知したり、外界情報（撮像表示装置の周囲の状況や、場所、日時、被写体の状況などの検知情報）を検知することができる構成としてもよい。例えばシステムコントローラ１０がこれらのユーザ情報や外界情報に基づいて、動作トリガ発生の判断を行うようにしてもよい。なお、ユーザ情報や外界情報についての例は後に述べる。
The operation trigger
The operation trigger
In addition, the operation trigger
図５は、撮像表示装置１としての他の構成例を示すものである。なお、図４と同一機能のブロックには同一符号を付し、重複説明を避ける。
この図５の構成は、図４の構成における第２の撮像機能部位Ｃ２と、撮像機能部位Ｃ２に対応した照明部４、照明制御部１８を備えず、代わりに通信部２６を有する構成とされている。
FIG. 5 shows another configuration example as the
The configuration in FIG. 5 does not include the second imaging function part C2 in the configuration in FIG. 4 and the
通信部２６は外部機器との間でのデータの送受信を行う。外部機器としては、例えばコンピュータ装置、携帯電話機、ＰＤＡ（Personal Digital Assistant）、ビデオストレージ機器やテレビジョン受像器等のＡＶ機器、ネットワークサーバ装置などが想定される。
通信部２６は、無線ＬＡＮ、ブルートゥースなどの方式で、例えばネットワークアクセスポイントに対する近距離無線通信を介してネットワーク通信を行う構成としても良いし、対応する通信機能を備えた外部機器との間で直接無線通信を行うものでもよい。
The
The
この図５の例の場合、通信部２６は外部機器との間で、次の図６のように通信を行い、外部機器から画像データを受信する。そして通信部２６は受信した画像データを、表示部２での表示を行う表示画像信号として表示画像処理部１２に供給する。そして表示画像処理部１２で処理された画像信号が表示駆動部１３に供給され、表示部２で表示される。
図６は、撮像表示装置１の使用形態を、外部機器との関連において例示している。
図６（ａ）は撮像表示装置１が通信部２６により、外部の撮像装置７０と通信を行う例である。この場合、撮像表示装置１は、撮像装置７０で撮像された画像を受信して表示部２に表示させる。外部の撮像装置７０とは、通信機能を備えたビデオカメラ、デジタルスチルカメラなどが想定できるし、また本実施の形態と同様の他の撮像表示装置１を、外部の撮像装置７０と考えることもできる。
また外部の撮像装置７０は、撮像表示装置１を用いるユーザ本人が所有する撮像装置であったり、撮像表示装置１のユーザの知人が所有する撮像装置であったり、或いは画像提供を行う公共或いはサービス企業等の撮像装置であって撮像表示装置１と通信可能とされているものなど多様に考えられる。
In the case of the example of FIG. 5, the
FIG. 6 illustrates a usage pattern of the
FIG. 6A is an example in which the
The
図６（ｂ）は、撮像表示装置１が通信機能を備え、外部のコンテンツソース機器７１と通信を行う例である。この場合、撮像表示装置１は、コンテンツソース機器７１から提供される画像（動画／静止画）を受信して表示部２に表示させる。
コンテンツソース機器７１とは、例えばビデオ機器、テレビジョンチューナ、ホームサーバ機器等のＡＶ（Audio-Visual）機器や、パーソナルコンピュータ、ＰＤＡ（Personal Digital Assistant）、携帯電話機などの情報処理装置などが想定できる。このようなコンテンツソース機器７１も、撮像表示装置１を用いるユーザ本人やその知人が所有する機器であったり、各種コンテンツ提供を行う公共或いはサービス企業等のサーバ機器であるなど多様に考えられる。
コンテンツソース機器７１から撮像表示装置１に送信されるデータとしては、例えば映画やビデオクリップなどの動画コンテンツ、デジタルスチルカメラ等で撮像されて記録媒体に記録された静止画コンテンツ、電子書籍等のデータ、ユーザがパーソナルコンピュータ等で作成した画像データ、テキストデータ、表計算データ等のコンピュータユースのデータ、ゲーム画像など、表示対象となるあらゆるデータが想定される。
FIG. 6B is an example in which the
Examples of the
Data transmitted from the
図６（ｃ）は、撮像表示装置１の通信部２６が、特にインターネット等のネットワーク７３を介した通信アクセス機能を備えることで、ネットワーク７３で接続される外部の撮像装置７０やコンテンツソース機器７１と通信を行う例である。この場合、撮像表示装置１は、ネットワーク７３を介して画像データを受信し、その受信した画像データに基づいた表示画像信号による画像表示を表示部２で実行させる。
FIG. 6C shows that the
図７は、撮像表示装置１としてのさらに他の構成例を示すものである。なお、上記図４、図５と同一機能のブロックには同一符号を付し、重複説明を避ける。
この図７の構成は、図４の構成における第２の撮像機能部位Ｃ２と、撮像機能部位Ｃ２に対応した照明部４、照明制御部１８を備えず、代わりにストレージ部２５を有する構成とされている。
FIG. 7 shows still another configuration example of the
The configuration of FIG. 7 does not include the second imaging function part C2 in the configuration of FIG. 4 and the
ストレージ部２５は、所定の記録媒体に対してデータの記録再生を行う部位とされる。例えばＨＤＤ（Hard Disk Drive）として実現される。もちろん記録媒体としては、フラッシュメモリ等の固体メモリ、固体メモリを内蔵したメモリカード、光ディスク、光磁気ディスク、ホログラムメモリなど各種考えられ、ストレージ部２５としては採用する記録媒体に応じて記録再生を実行できる構成とされればよい。
The
撮像機能部位Ｃ１の撮像部３で撮像され、撮像信号処理部１５で処理された撮像信号としての画像データや、通信部２６で受信した画像データは、画像入出力コントロール部２７を介してストレージ部２５に供給することができる。また音声入力部６で得られた音声データや、通信部２６で受信した音声データは、音声入出力コントロール部２８を介してストレージ部２５に供給することができる。
ストレージ部２５はシステムコントローラ１０の制御に従って、記録媒体から画像データを再生する。そして再生した画像データを、表示部２での表示を行う表示画像信号として表示画像処理部１２に供給する。そして表示画像処理部１２で処理された画像信号が表示駆動部１３に供給され、表示部２で表示される。
ストレージ部２５で再生されるデータとしては、例えば映画やビデオクリップなどの動画コンテンツ、デジタルスチルカメラ等で撮像されて記録媒体に記録された静止画コンテンツ、電子書籍等のデータ、ユーザがパーソナルコンピュータ等で作成した画像データ、テキストデータ、表計算データ等のコンピュータユースのデータ、ゲーム画像など、表示対象となるあらゆるデータが想定される。
Image data as an imaging signal captured by the
The
Examples of data reproduced by the
図８は、撮像表示装置１の更に他の構成例を示し、これは図３で述べたように撮像装置部４０と表示装置部３０が別体で形成された例に対応する構成例である。
この例では、撮像装置部４０において図５と同様に撮像機能部位Ｃ１と、通信部２６を有する構成としている。
この撮像機能部位Ｃ１及び通信部２６で得られる表示画像信号は、表示通信制御部２０に供給される。表示通信制御部２０は、表示装置部３０との通信の為のエンコード処理を行う。即ち撮像機能部位Ｃ１及び通信部２６から供給される表示画像信号をエンコードする。
表示通信制御部２０でエンコードされた画像データは、通信部２１から表示装置部３０に送信される。
FIG. 8 shows still another configuration example of the
In this example, the imaging device unit 40 has an imaging function part C1 and a
Display image signals obtained by the imaging function part C1 and the
The image data encoded by the display
表示装置部３０は、通信部３４、表示部３１、表示画像処理部３２、表示駆動部３３、表示制御部３５、及び操作部３６が設けられる。
通信部３４は、撮像装置部４０の通信部２１との間でデータ通信を行う。特には、撮像装置部４０から送信されてくる画像データ、つまり撮像機能部位Ｃ１と通信部２６で得られた表示画像信号としての画像データを受信し、デコード処理をおこなう。
通信部３４でデコードされた表示画像信号は、表示画像処理部３２に供給される。表示画像処理部３２は、この場合、撮像機能部位Ｃ１、通信部２６という２つの画像信号ソース（画像信号生成手段）から供給される表示画像信号を同時に表示部３１に表示するための画面分割及び画像合成処理を行う。
例えば親子画面、或いは分割画面として表示部３１の画面領域を設定し、各領域に撮像機能部位Ｃ１と通信部２６からの各表示画像信号による画像が表示されるようにする。
The display device unit 30 includes a
The
The display image signal decoded by the
For example, the screen area of the
表示駆動部３３は、表示画像処理部３２から供給される画像信号を、例えば液晶ディスプレイとされる表示部３１において表示させるための画素駆動回路で構成されている。即ち表示部３１においてマトリクス状に配置されている各画素について、それぞれ所定の水平／垂直駆動タイミングで映像信号に基づく駆動信号を印加し、表示を実行させる。
表示制御部３５は、表示画像処理部３２の処理動作や表示駆動部３３の動作を制御する。例えば操作部３６からのユーザの操作に応じて表示動作のオン／オフや、画面上の領域形態の切換などの制御も行う。
なお、システムコントローラ１０からの指示情報が通信部２１、３４の通信で送信されてくる場合、表示制御部３５は、そのシステムコントローラ１０からの指示情報に応じて表示動作のオン／オフや、画面上の領域形態の切換などの制御を行うようにしてもよい。
The
The
When the instruction information from the
以上、図４、図５、図７、図８として撮像表示装置１の構成例を示した。
図４は、表示部２で表示する表示画像信号を得る画像ソース（画像信号生成手段）として、２つの撮像機能部位Ｃ１、Ｃ２が設けられた例である。
図５は、表示部２で表示する表示画像信号を得る画像ソース（画像信号生成手段）として、撮像機能部位Ｃ１と通信部２６が設けられた例である。
図７は、表示部２で表示する表示画像信号を得る画像ソース（画像信号生成手段）として、撮像機能部位Ｃ１とストレージ部２５が設けられた例である。
図８は、図５と同様、表示画像信号を得る画像ソース（画像信号生成手段）として、撮像機能部位Ｃ１と通信部２６が設けられるが、特に撮像装置部４０と表示装置部３０が別体構成とされる場合の例である。
これらの構成例を挙げたが、撮像表示装置１としてはさらに多様な構成例が想定される。
特に上記各例では２系統の画像ソースを有する例を挙げているが、３系統以上の画像ソースを有する場合もある。
例えば撮像機能部位Ｃ１と、通信部２６と、ストレージ部２５を有する構成例や、３つ以上の撮像機能部位Ｃ１、Ｃ２、Ｃ３・・・を有する構成例なども考えられる。
As described above, the configuration example of the
FIG. 4 is an example in which two imaging function parts C1 and C2 are provided as an image source (image signal generating means) for obtaining a display image signal to be displayed on the
FIG. 5 is an example in which an imaging function part C1 and a
FIG. 7 is an example in which an imaging function part C1 and a
8, as in FIG. 5, the imaging function part C <b> 1 and the
Although these configuration examples have been given, as the
In particular, in each of the above examples, an example having two image sources is given, but there may be three or more image sources.
For example, a configuration example including the imaging function part C1, the
そして本実施の形態においては、複数の画像ソースのうち、少なくとも１つはユーザの視界方向の光景を撮像するものとされる。即ち各構成例における撮像機能部位Ｃ１がこれに相当し、撮像機能部位Ｃ１で得られる表示画像信号は、ユーザの視界光景の撮像信号である。
他の画像ソースは、この撮像機能部位Ｃ１とは異なる画像を表示する表示画像信号を生成する。
ここで、撮像機能部位Ｃ１で得られる表示画像信号による画像、即ちユーザの視界光景の撮像画像とは異なる画像がどのように得られるかは多様に考えられる。
例えば撮像機能部位Ｃ２が撮像機能部位Ｃ１とは異なる方向の撮像を行っている場合、その撮像機能部位Ｃ２で撮像された画像そのものが、撮像機能部位Ｃ１により得られる画像とは異なるものとなる。通信部２６で受信された画像やストレージ部２５で再生された画像も、撮像機能部位Ｃ１により得られる画像とは異なるものとなる。
また図１の例のように撮像機能部位Ｃ２が撮像機能部位Ｃ１と同一方向（ユーザの視界方向）の撮像を行っている場合でも、その撮像動作態様や撮像信号処理により、撮像機能部位Ｃ１により得られる画像とは異なる画像を得ることができる。
そして本例では、これら複数の画像ソースからの表示画像信号を同時に表示部２に表示させ、ユーザに多様な画像を提供するものである。
In the present embodiment, at least one of the plurality of image sources captures a scene in the user's field of view. That is, the imaging function part C1 in each configuration example corresponds to this, and the display image signal obtained by the imaging function part C1 is an imaging signal of the user's view scene.
The other image source generates a display image signal for displaying an image different from the imaging function part C1.
Here, there are various ways of obtaining an image different from the image based on the display image signal obtained at the imaging function part C1, that is, the captured image of the user's view scene.
For example, when the imaging function part C2 is imaging in a direction different from the imaging function part C1, the image itself captured by the imaging function part C2 is different from the image obtained by the imaging function part C1. The image received by the
Further, even when the imaging function part C2 is imaging in the same direction (the user's field of view) as the imaging function part C1 as in the example of FIG. An image different from the obtained image can be obtained.
In this example, display image signals from the plurality of image sources are simultaneously displayed on the
［３．画面上の領域形態］
表示部２の画面上で、複数の画像ソースからの表示画像信号による画像を同時に表示する場合の領域形態の例を図９、図１０に示す。
表示部２（図８の場合は表示装置３０の表示部３１：以下同様）において、複数の画像ソースからの画像を同時に表示する形態としては、画面領域内で親画面領域と子画面領域を設定したり、画面領域を分割することが考えられる。
[3. Area form on screen]
FIGS. 9 and 10 show examples of the area form when simultaneously displaying images based on display image signals from a plurality of image sources on the screen of the
In the display unit 2 (in the case of FIG. 8, the
図９における領域ＡＲ１、ＡＲ２は、それぞれ異なる画像ソースからの画像を表示する領域を示している。
図９（ａ）は、表示部２の画面領域で、領域ＡＲ１内で右下に子画面としての領域ＡＲ２を設定し、各領域ＡＲ１、ＡＲ２で画像表示を行っている例である。
図９（ｂ）は、表示部２の画面領域で、領域ＡＲ１内で左下に子画面としての領域ＡＲ２を設定し、各領域ＡＲ１、ＡＲ２で画像表示を行っている例である。
図示しないが、このように子画面を設定する場合、領域ＡＲ１内の右上、左上、中央、中央右寄り、中央左寄りなど、各種の位置に子画面としての領域ＡＲ２を設定することもできる。
図９（ｃ）は、領域ＡＲ２としてのサイズを小さくした例である。
図９（ｄ）は、領域ＡＲ２としてのサイズを大きくした例である。
図９（ｅ）、表示部２の画面領域で、領域ＡＲ１と領域ＡＲ２を等分割して左右に分けた例である。
図９（ｆ）、表示部２の画面領域で、領域ＡＲ１と領域ＡＲ２を等分割して上下に分けた例である。
Regions AR1 and AR2 in FIG. 9 indicate regions for displaying images from different image sources.
FIG. 9A shows an example in which an area AR2 as a child screen is set at the lower right in the area AR1 in the screen area of the
FIG. 9B shows an example in which the area AR2 as a sub-screen is set in the lower left of the area AR1 in the screen area of the
Although not shown, when the child screen is set in this way, the region AR2 as the child screen can be set at various positions such as upper right, upper left, center, center right, and center left in the region AR1.
FIG. 9C shows an example in which the size of the area AR2 is reduced.
FIG. 9D shows an example in which the size of the area AR2 is increased.
FIG. 9E shows an example in which the area AR1 and the area AR2 are equally divided into left and right in the screen area of the
FIG. 9F shows an example in which the area AR1 and the area AR2 are equally divided into upper and lower parts in the screen area of the
例えば図４〜図８の構成において、画像表示を行う場合、この図９（ａ）〜（ｆ）のような形態で、領域ＡＲ１で撮像機能部位Ｃ１を画像ソースとしてユーザの視界光景の画像を表示し、領域ＡＲ２に他の画像ソース（撮像機能部位Ｃ２、通信部２６、ストレージ部２５等）による画像表示を行うことが考えられる。
またシステムコントローラ１０は、動作トリガ情報発生部１６からの情報（例えばユーザの操作情報、ユーザ情報、外界情報等）に基づいて、図９（ａ）〜（ｆ）どのような領域形態で画像表示を行うかを選択したり、或いはこれらを切り換えるようにしてもよい。例えばユーザの操作等に応じて図９（ａ）（ｂ）のように子画面とされる領域ＡＲ２の位置を変更したり、図９（ｃ）（ｄ）のように領域ＡＲ２のサイズを変更したり、図９（ｅ）（ｆ）のように等分割することで、ユーザの好みに合わせることができる。
また、いわゆる表示領域交代として、図９（ａ）〜（ｆ）における領域ＡＲ１と領域ＡＲ２を入れ換え、領域ＡＲ２で撮像機能部位Ｃ１を画像ソースとしてユーザの視界光景の画像を表示し、領域ＡＲ１に他の画像ソース（撮像機能部位Ｃ２、通信部２６、ストレージ部２５等）による画像表示を行うような切り換えを行うことも考えられる。
For example, in the configuration shown in FIGS. 4 to 8, when an image is displayed, an image of the user's view scene is displayed in the area AR <b> 1 using the imaging functional part C <b> 1 as an image source in the form as shown in FIGS. It is conceivable that the image is displayed on the area AR2 by another image source (imaging function part C2,
Further, the
Further, as a so-called display area change, the area AR1 and the area AR2 in FIGS. 9A to 9F are interchanged, and an image of the user's view scene is displayed in the area AR1 using the imaging function part C1 as an image source in the area AR2. It is also conceivable to perform switching so as to display an image by another image source (imaging function part C2,
次に図１０は、画像ソースが３つ存在する場合の表示部２の領域形態の例であり、図１０において領域ＡＲ１、ＡＲ２、ＡＲ３は、それぞれ異なる画像ソースからの表示画像信号による画像表示を行っている領域であるとする。
図１０（ａ）は、表示部２の画面領域で、領域ＡＲ１内で右下と左下に２つの子画面としての領域ＡＲ２、ＡＲ３を設定し、各領域ＡＲ１、ＡＲ２、ＡＲ３でそれぞれ画像表示を行っている例である。
図１０（ｂ）は、表示部２の画面領域で、領域ＡＲ１の左右に領域ＡＲ２、ＡＲ３を設定し、それぞれ画像表示を行っている例である。
図１０（ｃ）は、表示部２の画面領域で、領域ＡＲ１の上下に領域ＡＲ２、ＡＲ３を設定し、それぞれ画像表示を行っている例である。
また図示しないが、領域ＡＲ１、ＡＲ２、ＡＲ３を３等分に分割設定しても良い。
また、システムコントローラ１０の制御によって領域形態の切換や領域の交代が行われることも図９の場合と同様に想定される。
Next, FIG. 10 is an example of the area configuration of the
FIG. 10A shows a screen area of the
FIG. 10B shows an example in which areas AR2 and AR3 are set on the left and right sides of the area AR1 in the screen area of the
FIG. 10C shows an example in which areas AR2 and AR3 are set above and below the area AR1 in the screen area of the
Although not shown, the areas AR1, AR2, AR3 may be divided into three equal parts.
Further, it is assumed that the switching of the area form and the switching of the areas are performed under the control of the
なお、３つ以上の画像ソースを有する場合であっても、そのうちの２つの画像ソースを選択して図９（ａ）〜（ｆ）のような領域形態で表示させることも考えられる。
もちろん４つ以上の画像ソースを有する場合も、その全部の画像をそれぞれ表示させても良いし、選択された２以上の画像ソースの画像を表示させてもよい。
また、図１、図２のように表示部２が右眼用と左眼用で２つある場合に、その一方の画面全体で一方の画像ソースによる画像表示を行い、他方の画面全体で他方の画像ソースによる画像表示を行うことも考えられる。
さらに、携帯型ゲーム機などで実用化されている２画面ディスプレイのような複数画面ディスプレイのそれぞれに画像表示を行うようにしてもよい。
Even in the case of having three or more image sources, it is also conceivable to select two of the image sources and display them in the area form as shown in FIGS.
Of course, when there are four or more image sources, all the images may be displayed, or images of two or more selected image sources may be displayed.
In addition, when there are two
Furthermore, an image may be displayed on each of a multi-screen display such as a two-screen display that is put into practical use in a portable game machine or the like.
［４．表示動作例］
上記図４〜図８のような各種構成の本実施の形態の撮像表示装置１においては、複数の画像ソースからの表示画像信号を表示部２に表示させ、かつ複数の画像ソースの１つは撮像機能部位Ｃ１としてユーザの視界方向を撮像し、他の画像ソースは撮像機能部位Ｃ１からの画像とは異なる画像としての表示画像信号を生成することで、ユーザにとっての視覚の拡張やおもしろみのある表示を提供するものである。
[4. Display operation example]
In the
このためのシステムコントローラ１０の制御と、それによる各種表示動作例を説明していく。
図１１は、システムコントローラ１０の制御処理を示している。
システムコントローラ１０は、ステップＦ１０１で複数画像の表示開始トリガが発生したか否かを確認している。例えば動作トリガ情報発生部１６としてユーザが操作できる操作子を設け、ユーザが所定の操作子の操作を行うことで複数画像の表示を開始させるトリガの発生と判断すればよい。或いは後に例を述べるが、動作トリガ情報発生部１６でユーザの状況や外界の状況を検出し、所定の条件に応じて複数画像表示を開始させるトリガの発生とシステムコントローラ１０が判断することもできる。
なお、複数画像の表示開始トリガが発生するまでの期間は、表示部２をスルー状態としたり、或いは表示部２で撮像機能部位Ｃ１の撮像画像を単独で表示させるなどの制御が考えられる。
或いは、撮像表示装置１の電源オンを複数画像の表示開始トリガとし、撮像表示装置１は常に複数画像を表示させるようにしてもよい。
The control of the
FIG. 11 shows a control process of the
In step F101, the
In addition, during a period until a display start trigger for a plurality of images is generated, it is conceivable to control the
Alternatively, the power-on of the
複数画像の表示開始トリガがあったと判別した場合は、システムコントローラ１０は処理をステップＦ１０２に進め、複数の表示画像信号の表示開始制御を行う。即ち撮像機能部位Ｃ１からの表示画像信号と、他の画像ソースからの表示画像信号とについて、表示部２で画像表示をおこなうように制御する。
If it is determined that there has been a display start trigger for a plurality of images, the
例えば図４の構成の場合は、ステップＦ１０２で撮像機能部位Ｃ１、Ｃ２の撮像動作を開始させ、撮像機能部位Ｃ１、Ｃ２による各表示画像信号を表示画像処理部１２に供給させ、図９で述べたような領域形態で、表示部２に各画像を表示させる制御を行う。
なお、図２のように撮像機能部位Ｃ１、Ｃ２が異なる方向を被写体方向としている場合は、撮像機能部位Ｃ２で通常に撮像した撮像画像は、撮像機能部位Ｃ１の撮像画像とは異なる画像となるため、表示部２において複数の領域で異なる画像が表示される。
一方、図１のように撮像機能部位Ｃ１、Ｃ２が同一方向を被写体方向としている場合は、システムコントローラ１０は撮像機能部位Ｃ２での撮像動作態様や信号処理を指示して、撮像機能部位Ｃ２で得られる画像を撮像機能部位Ｃ１の撮像画像とは異なる画像となるように制御することで、表示部２において複数の領域で異なる画像が表示されるようにする。
For example, in the case of the configuration of FIG. 4, the imaging operation of the imaging function parts C1 and C2 is started in step F102, and the display image signals from the imaging function parts C1 and C2 are supplied to the display
If the direction in which the imaging function parts C1 and C2 are different as shown in FIG. 2 is the subject direction, the captured image normally captured by the imaging function part C2 is different from the captured image of the imaging function part C1. Therefore, different images are displayed in a plurality of areas on the
On the other hand, when the imaging function parts C1 and C2 have the same direction as the subject direction as shown in FIG. 1, the
また図５の構成の場合は、ステップＦ１０２で撮像機能部位Ｃ１の撮像動作を開始させ、撮像機能部位Ｃ１による表示画像信号を表示画像処理部１２に供給させるとともに、通信部２６による受信画像データを表示画像信号として表示画像処理部１２に供給させる。そして図９で述べたような領域形態で、表示部２に各画像を表示させる制御を行う。
なお、図５の構成の場合、通信部２６に対して外部機器からの画像データの送信があったときに、ステップＦ１０１で表示開始トリガ発生と判断し、そのときにステップＦ１０２で撮像機能部位Ｃ１と通信部２６を画像ソースとする画像表示を開始するようにしてもよい。通信部２６により画像データが受信されていない期間は、例えば撮像機能部位Ｃ１からの表示画像信号を単独で表示部２に表示させるようにしていてもよい。
In the case of the configuration of FIG. 5, the imaging operation of the imaging functional part C1 is started in step F102, the display image signal from the imaging functional part C1 is supplied to the display
In the case of the configuration of FIG. 5, when image data is transmitted from an external device to the
また図７の構成の場合は、ステップＦ１０２で撮像機能部位Ｃ１の撮像動作を開始させ、撮像機能部位Ｃ１による表示画像信号を表示画像処理部１２に供給させるとともに、ストレージ部２５に再生動作を指示し、再生画像データを表示画像信号として表示画像処理部１２に供給させる。そして図９で述べたような領域形態で、表示部２に各画像を表示させる制御を行う。なお、図７の構成の場合、ユーザの操作、ユーザ状況、外界状況などによりストレージ部２５での再生開始のトリガが発生したときに、ステップＦ１０１で表示開始トリガ発生と判断し、そのときにステップＦ１０２で撮像機能部位Ｃ１とストレージ部２５を画像ソースとする画像表示を開始するようにしてもよい。ストレージ部２５で再生が行われていない期間は、例えば撮像機能部位Ｃ１からの表示画像信号を単独で表示部２に表示させるようにしてもよい。
In the case of the configuration of FIG. 7, in step F102, the imaging operation of the imaging function part C1 is started, the display image signal from the imaging function part C1 is supplied to the display
例えば図９、図１０のような領域形態で複数画像の表示を開始させた後は、システムコントローラ１０は、ステップＦ１０３で表示切換トリガが発生したか否かを監視し、またステップＦ１０４で複数画像の表示終了トリガが発生したか否かを監視する。
For example, after starting display of a plurality of images in the area form as shown in FIGS. 9 and 10, the
ステップＦ１０３での表示切換トリガの発生とは、ユーザ操作、或いはユーザ状況や外界状況によるシステムコントローラ１０の判断により、表示画像の切換を行うとシステムコントローラ１０が判断することを意味している。
表示画像の切換とは、複数画像の内の１つ或いは複数の表示画像内容の切換や、領域形態の切換がある。
そして表示画像内容の切換とは、例えば撮像機能部位Ｃ１又はＣ２における撮像部３でのズーム処理や焦点位置の変更による画像変更、撮像感度の変更による画像変更、撮像信号処理部１５での信号処理による画像変更、撮像部３が可動カメラの場合の撮像方向（被写体方向）の変更による画像変更、３つ以上の表示画像信号のソースを有する場合の画像ソース切換による画像変更など、非常に多様な例が考えられる。
また領域形態の切換とは、親子画面の位置変更や親子画面交代、分割画面の位置変更や領域交代、全画面表示への切換などであり、例えば図９（ａ）の状態から図９（ｂ）の状態に切り換えたり、図９（ａ）の状態から図９（ｅ）の状態に切り換えるなどの制御である。
The generation of the display switching trigger in step F103 means that the
The display image switching includes switching of one or a plurality of display image contents of a plurality of images and switching of the area form.
The display image content switching is, for example, zoom processing in the
The switching of the area form includes a change in the position of the parent / child screen, a change in the parent / child screen, a change in the position of the divided screen, a change in the area, a change to the full screen display, and the like. ) Or switching from the state of FIG. 9A to the state of FIG. 9E.
またステップＦ１０４での複数画像の表示終了トリガについては、例えばユーザが所定の操作子により表示を終了させる操作を行った場合に、システムコントローラ１０は複数画像の表示状態を終了させるトリガの発生と判断すればよいが、ユーザの状況や外界の状況を検出し、所定の条件に応じて複数画像の表示終了トリガの発生とシステムコントローラ１０が判断することもできる。
As for the display end trigger for multiple images in step F104, for example, when the user performs an operation to end display using a predetermined operator, the
表示切換トリガ発生と判断した場合は、システムコントローラ１０は処理をステップＦ１０３からＦ１０５に進め、画像表示動作に関しての切換制御を行う。これにより表示部２において或る領域（ＡＲ１、ＡＲ２の一方又は両方）に表示されている画像の内容、もしくは領域形態の切換が行われる。
システムコントローラ１０はステップＦ１０５で表示切換に関しての制御を行った後も、ステップＦ１０３、Ｆ１０４のトリガ発生の監視を行う。
If it is determined that a display switching trigger has occurred, the
The
複数画像の表示終了トリガ発生と判断した場合は、システムコントローラ１０は処理をステップＦ１０４からＦ１０６に進め、複数ソースからの画像を表示部２に同時表示させる動作を終了させる。
この場合の表示終了制御としては、例えば撮像機能部位Ｃ１からの画像のみを表示させる状態に切り換えるようにしたり、或いは表示部２での画像表示を終了させたり、或いは表示部２での画像表示を終了させて表示部２をスルー状態にしたり、さらに電源オフとすることなどが想定される。
If it is determined that a multiple image display end trigger has occurred, the
As the display end control in this case, for example, switching to a state in which only the image from the imaging function part C1 is displayed, or the image display on the
システムコントローラ１０が、例えばこの図１１のような制御処理を行うことで、表示部２において複数の画像ソースからの画像が同時表示される。
以下では、複数の画像ソースからの画像の同時表示の例を図１２以降を参照しながら述べていく。
The
Hereinafter, an example of simultaneous display of images from a plurality of image sources will be described with reference to FIG.
まず図１２、図１３により、撮像表示装置１が図１、図４の構成例であって、撮像機能部位Ｃ１、Ｃ２が共にユーザの前方、つまりユーザの視界方向の光景を撮像するように構成されている場合を説明する。
First, referring to FIGS. 12 and 13, the
図１２（ａ）は表示部２の全面で通常に表示を行っている場合を示している。例えば撮像機能部位Ｃ１で通常に撮像した画像のみを表示部２に表示させた状態である。
これに対して図１２（ｂ）は本例の動作により複数の画像ソースからの画像が同時表示されている例である。この場合、撮像機能部位Ｃ１による通常撮像画像が表示画像信号とされて領域ＡＲ１に表示されながら、撮像機能部位Ｃ２による撮像画像が表示画像信号とされて領域ＡＲ２において表示される。そして、システムコントローラ１０は、撮像機能部位Ｃ２の撮像部３に対して望遠ズーム動作制御を行っており、撮像機能部位Ｃ２により望遠撮像が行われることで、領域ＡＲ２の画像は、領域ＡＲ１の画像とは異なる画像となっている。これによりユーザーは、通常の光景をみながら、通常の視覚では見ることのできない望遠画像を楽しむことができる。
なお、ここでは撮像機能部位Ｃ２により望遠画像が得られる例を挙げたが、撮像機能部位Ｃ２に広角ズームを実行させることで、近距離の光景が広角に映し出された画像を領域ＡＲ２に表示させることも可能である。望遠−広角の画像を取得するには、撮像機能部位Ｃ２の撮像部３におけるズームレンズの駆動制御の他、撮像機能部位Ｃ２の撮像信号処理部１５での信号処理によっても可能である。
また図示しないが、いわゆるズーム動作ではなく、システムコントローラ１０が撮像機能部位Ｃ２の撮像部３に焦点位置を可変させるように指示することで、近景、遠景の画像を撮像させ、その画像を表示部２の領域ＡＲ２に表示させてもよい。
FIG. 12A shows a case where display is normally performed on the entire surface of the
On the other hand, FIG. 12B is an example in which images from a plurality of image sources are simultaneously displayed by the operation of this example. In this case, while the normal captured image by the imaging function part C1 is displayed as the display image signal and displayed in the area AR1, the captured image by the imaging function part C2 is displayed as the display image signal and displayed in the area AR2. Then, the
Here, an example in which a telephoto image is obtained by the imaging function part C2 has been described. However, by causing the imaging function part C2 to perform wide-angle zoom, an image in which a short-distance scene is projected at a wide angle is displayed in the area AR2. It is also possible. In order to acquire a telephoto-wide-angle image, it is possible to perform drive control of the zoom lens in the
Although not shown in the drawing, not the so-called zoom operation, but the
また、撮像機能部位Ｃ１による画像、即ちユーザの視界方向の通常撮像画像を領域ＡＲ１に表示し、撮像機能部位Ｃ２による画像を領域ＡＲ２に表示させる例を示しているが、逆に撮像機能部位Ｃ１による画像、即ちユーザの視界方向の通常撮像画像を領域ＡＲ２に表示し、撮像機能部位Ｃ２による画像（望遠画像等）を領域ＡＲ１に表示させるようにしてもよい。
以下の各例でも、撮像機能部位Ｃ１による画像としてユーザの視界方向の通常撮像画像を領域ＡＲ１に表示し、撮像機能部位Ｃ１とは異なる画像となる他の画像ソースによる画像を領域ＡＲ２に表示させた例を挙げるが、各例すべて、撮像機能部位Ｃ１による画像としてユーザの視界方向の通常撮像画像を領域ＡＲ２に表示し、撮像機能部位Ｃ１とは異なる画像となる他の画像ソースによる画像を領域ＡＲ１に表示させる例も考えられる。
In addition, an example is shown in which an image by the imaging function part C1, that is, a normal captured image in the direction of the user's field of view, is displayed in the area AR1, and an image by the imaging function part C2 is displayed in the area AR2. May be displayed in the area AR2, and an image (such as a telephoto image) of the imaging function part C2 may be displayed in the area AR1.
In each of the following examples, a normal captured image in the user's field of view is displayed in the area AR1 as an image by the imaging function part C1, and an image by another image source that is an image different from the imaging function part C1 is displayed in the area AR2. In each example, a normal captured image in the user's field of view is displayed in the area AR2 as an image by the imaging function part C1, and images from other image sources that are different from the imaging function part C1 are displayed in the area. An example of displaying on AR1 is also conceivable.
図１２（ｃ）も、撮像機能部位Ｃ１による通常撮像画像が表示画像信号とされて領域ＡＲ１に表示されながら、撮像機能部位Ｃ２による撮像画像が拡大処理されて表示画像信号とされ、領域ＡＲ２において表示される例である。このような表示は、システムコントローラ１０は、撮像機能部位Ｃ２の撮像信号処理部１５に対して撮像部３から得られた画像についての拡大処理を指示することで実現される。
このような表示によっても、ユーザーは通常の光景をみながら、通常の視覚では見ることのできない拡大画像を楽しむことができる。
また、システムコントローラ１０が撮像機能部位Ｃ２に対して撮像部３から得られた画像についての縮小処理を実行させ、領域ＡＲ２に縮小画像の表示を行うことも考えられる。
In FIG. 12C as well, the normal captured image by the imaging functional part C1 is displayed as a display image signal and displayed in the area AR1, while the captured image by the imaging functional part C2 is enlarged to be a display image signal in the area AR2. It is an example to be displayed. Such a display is realized by the
Even with such a display, the user can enjoy an enlarged image that cannot be viewed with normal vision while viewing a normal scene.
It is also conceivable that the
図１３（ａ）は周囲が薄暗い場合を示している。撮像機能部位Ｃ１で通常に撮像された画像が領域ＡＲ１に表示される。一方、このように周囲が薄暗い場合に、システムコントローラ１０は撮像機能部位Ｃ２の撮像制御部１１（撮像部３、撮像信号処理部１５）に対して撮像感度を上げることを指示したり、輝度レベル、コントラスト、シャープネス調整を指示することなどにより、よりはっきりした明るい表示画像信号を得るようにし、それを領域ＡＲ２に表示させる。このように明るさ調整画像として、領域ＡＲ１の通常撮像画像とは異なる光景の画像が領域ＡＲ２に表示されることで、ユーザーは、通常の視覚では見ることのできない画像を見ることができる。
また逆に、周囲が明るすぎる場合などに、システムコントローラ１０は撮像機能部位Ｃ２の撮像制御部１１（撮像部３、撮像信号処理部１５）に対して撮像感度を下げることを指示したり、輝度レベル、コントラスト、シャープネス調整を指示することなどにより、まぶしくない表示画像信号を得るようにし、それを領域ＡＲ２に表示させるようにすることも考えられる。
FIG. 13A shows a case where the surrounding is dim. An image normally captured by the imaging function part C1 is displayed in the area AR1. On the other hand, when the surroundings are dim as described above, the
Conversely, when the surroundings are too bright, the
図１３（ｂ）は、例えばユーザが、子供が寝ている暗い寝室に居る場合などであり、領域ＡＲ１に表示される撮像機能部位Ｃ１の通常撮像画像では、殆ど真っ暗で見えない状況であるとしている。システムコントローラ１０が、撮像機能部位Ｃ２の撮像制御部１１（撮像部３、撮像信号処理部１５）に対して赤外線撮像感度の上昇を指示することで、領域ＡＲ２に赤外線感度上昇撮像の画像が表示される。即ち暗い部屋で子供の寝顔などを確認できるような画像表示が行われる。これによりユーザーは、通常の視覚では見ることのできない暗視画像を見ることができる。
FIG. 13B shows, for example, a case where the user is in a dark bedroom where a child is sleeping, and the normal captured image of the imaging functional part C1 displayed in the area AR1 is almost dark and invisible. Yes. The
図１３（ｃ）は、領域ＡＲ１で撮像機能部位Ｃ１による通常撮像画像が表示され、このときシステムコントローラ１０が撮像機能部位Ｃ２の撮像制御部１１（撮像部３、撮像信号処理部１５）に対して紫外線撮像感度の上昇を指示することで、領域ＡＲ２に紫外線感度上昇撮像の画像が表示されている例である。これによりユーザーは、通常の視覚では見ることのできない紫外光成分を表した画像を見ることができる。
In FIG. 13C, a normal captured image by the imaging functional part C1 is displayed in the area AR1, and at this time, the
以上の図１２、図１３は、図４の構成において撮像機能部位Ｃ１、Ｃ２が共にユーザの前方を撮像するように配置されている場合の例を述べたが、図１４は図４の構成において、撮像機能部位Ｃ１がユーザの前方を撮像し、撮像機能部位Ｃ２がユーザの視界方向である前方とは異なる方向を撮像するように配置されている場合の表示例である。 FIGS. 12 and 13 described above have described an example in which the imaging function parts C1 and C2 are both arranged to image the front of the user in the configuration of FIG. This is a display example in a case where the imaging function part C1 images the front of the user and the imaging function part C2 images the direction different from the front which is the user's view direction.
撮像機能部位Ｃ２が例えばユーザの後方を撮像するように配置されている場合、画像表示状態は図１４（ａ）のようになり、領域ＡＲ１は撮像機能部位Ｃ１による前方の画像が表示され、領域ＡＲ２に撮像機能部位Ｃ２によるユーザの後方の撮像画像の表示が行われる。
また撮像機能部位Ｃ２が例えばユーザの上方を撮像するように配置されている場合、画像表示状態は図１４（ｂ）のようになり、領域ＡＲ１ではユーザの前方の撮像画像が表示され、領域ＡＲ２ではユーザの上方の撮像画像の表示が行われる。
これらの場合も、ユーザは通常の視界方向の画像を領域ＡＲ１で見ながら、ユーザの視界とは異なる光景の画像（後方画像や上方画像など）を領域ＡＲ２で見ることができる。
For example, when the imaging functional part C2 is arranged so as to capture the rear of the user, the image display state is as shown in FIG. 14A, and the area AR1 displays a front image by the imaging functional part C1. A captured image behind the user is displayed on the AR2 by the imaging function part C2.
In addition, when the imaging functional part C2 is arranged so as to capture an image above the user, for example, the image display state is as shown in FIG. 14B. In the area AR1, a captured image in front of the user is displayed, and the area AR2 Then, the captured image above the user is displayed.
Also in these cases, the user can view an image of a scene different from the user's view (such as a rear image or an upper image) in the area AR2 while viewing the image in the normal view direction in the area AR1.
図１４（ｃ）は、例えば撮像機能部位を３個（構成は図示しないが、説明上、撮像機能部位Ｃ１、Ｃ２、Ｃ３と言う）備えた構成の場合の表示例である。
撮像機能部位Ｃ１はユーザの前方を撮像し、撮像機能部位Ｃ２はユーザの右後方を撮像し、撮像機能部位Ｃ３はユーザの左後方を撮像するように配置されているとする。
この場合、領域ＡＲ１は撮像機能部位Ｃ１によるユーザ前方の撮像画像が表示され、領域ＡＲ２、ＡＲ３にそれぞれ撮像機能部位Ｃ２、Ｃ３によるユーザの右後方と左後方の撮像画像の表示が行われる。
この場合ユーザーは、領域ＡＲ１での通常の前方の光景に加えて右後方、左後方を視認でき、ほぼ周囲全周を確認できる状態となる。
FIG. 14C is a display example in the case of a configuration including, for example, three imaging function portions (the configuration is not shown but is referred to as imaging function portions C1, C2, and C3 for explanation).
It is assumed that the imaging functional part C1 images the front of the user, the imaging functional part C2 images the right rear of the user, and the imaging functional part C3 images the left rear of the user.
In this case, a captured image in front of the user by the imaging function part C1 is displayed in the area AR1, and the right and left rear captured images of the user by the imaging function parts C2 and C3 are displayed in the areas AR2 and AR3, respectively.
In this case, the user can visually recognize the right rear side and the left rear side in addition to the normal front scene in the area AR1, and can almost check the entire circumference.
図１５、図１６は、図５のように画像ソースとして通信部２６を備えた構成の場合の表示例である。
まず図１５は、図６（ａ）又は図６（ｃ）のような通信で、外部の撮像装置７０から送信され、通信部２６で受信した画像を表示する例である。
図１５（ａ）は、例えばユーザからの視界として撮像機能部位Ｃ１による撮像画像が領域ＡＲ１に表示されている。即ちユーザが、スタジアムで客席からサッカーを観戦している状態である。このときにシステムコントローラ１０は、スタジアムの別の場所で撮像を行う撮像装置７０で撮像され通信部２６で受信した画像を、表示部２の領域ＡＲ２に表示させる。
例えば監督席近辺に設置された撮像装置７０や、審判が装着する小型の撮像装置７０などからの映像を受信して、表示部２の領域ＡＲ２で表示することで、より興味深く試合観戦を行うことができる。
図１５（ｂ）は、リゾート地に設置した撮像装置７０や、旅行中の知人が所持する撮像装置７０によって撮像した映像を、通信部２６で受信した場合である。システムコントローラ１０は領域ＡＲ１には撮像機能部位Ｃ１によるユーザの前方の撮像画像を表示させながら、領域ＡＲ２では、通信部２６で受信した画像を表示させる。
このような画像表示により、ユーザは、例えば近所の公園等にいながら、多様な地域の映像を見ることができる。
図１５（ｃ）は、航空機や衛星に設置された撮像装置７０で撮像した地上の映像（バードビュー映像）を、通信部２６で受信し、表示部２に表示させている例である。即ちシステムコントローラ１０は領域ＡＲ１には撮像機能部位Ｃ１によるユーザの前方の撮像画像を表示させながら、領域ＡＲ２では、通信部２６で受信した画像を表示させる。
このような画像表示により、ユーザは、通常は見ることのできない風景を楽しむことができる。
15 and 16 are display examples in the case of the configuration including the
First, FIG. 15 is an example in which an image transmitted from the
In FIG. 15A, for example, an image captured by the imaging functional part C1 is displayed in the area AR1 as a field of view from the user. That is, the user is watching soccer from the audience seat at the stadium. At this time, the
For example, by receiving video from the
FIG. 15B shows a case where the
Such an image display allows the user to view videos of various regions while in a nearby park, for example.
FIG. 15C is an example in which a terrestrial video (bird view video) captured by the
Such an image display allows the user to enjoy a landscape that is not normally visible.
図１６は、図６（ｂ）又は図６（ｃ）のような通信で、外部のコンテンツソース機器７１から送信され、通信部２６で受信した画像を表示する例である。
図１６（ａ）は、ＡＶ機器やパーソナルコンピュータ等のコンテンツソース機器７１から、動画や静止画の画像コンテンツを受信した場合に、その画像コンテンツが表示部２で表示されている例である。システムコントローラ１０は領域ＡＲ１には撮像機能部位Ｃ１によるユーザの前方の撮像画像を表示させながら、領域ＡＲ２では、通信部２６で受信したコンテンツ画像を表示させる。
図１６（ｂ）は、例えばパーソナルコンピュータ等のコンテンツソース機器７１においてアクセスしているウェブサイトのブラウザ画面、或いは起動中のアプリケーション画面などとしての画像データを、撮像表示装置１に送信させ、撮像表示装置１においては通信部２６で受信した画像データを表示部２で表示させている例である。例えばシステムコントローラ１０は通信部２６を介して外部のコンテンツソース機器７１にデータ送信を要求し、その要求に応じて送信されてくるデータを通信部２６で受信させる。そして領域ＡＲ１には撮像機能部位Ｃ１によるユーザの前方の撮像画像を表示させながら、領域ＡＲ２では、通信部２６で受信したブラウザ画面等の画像を表示させる。
図１６（ｃ）は、例えばパーソナルコンピュータ等のコンテンツソース機器７１において見ることのできる写真画像の一覧表示画像などを撮像表示装置１に送信させ、撮像表示装置１において通信部２６で受信し、表示部２に表示させている例である。例えばシステムコントローラ１０は通信部２６を介して外部のコンテンツソース機器７１にデータ送信を要求し、その要求に応じて送信されてくるデータを通信部２６で受信させる。そして領域ＡＲ１には撮像機能部位Ｃ１によるユーザの前方の撮像画像を表示させながら、領域ＡＲ２では、通信部２６で受信した画像を表示させる。
例えば以上の図１６（ａ）（ｂ）（ｃ）のように、コンテンツソース機器７１からの画像として、ビデオプレーヤ等のＡＶ機器や、パーソナルコンピュータ等の情報処理装置からのデータを受信して画像表示を行うことで、ユーザは装着した表示装置１において、これらの画像を確認したり、各種の作業を行うことができる。
FIG. 16 shows an example in which an image transmitted from the external
FIG. 16A shows an example in which when the image content of a moving image or a still image is received from the
In FIG. 16B, image data as a browser screen of a website accessed by the
In FIG. 16C, for example, a list display image of photographic images that can be viewed on the
For example, as shown in FIGS. 16A, 16B, and 16C, as an image from the
次に図１７は、図７に示したようにストレージ部２５を画像ソースとして備える構成において実行される表示例を示す。
図１７（ａ）は、ストレージ部２５における記録媒体に動画や静止画の画像コンテンツが記録されており、その画像コンテンツが再生されて表示部２で表示されている例である。システムコントローラ１０はストレージ部２５に再生を指示する。そして領域ＡＲ１には撮像機能部位Ｃ１によるユーザの前方の撮像画像を表示させながら、領域ＡＲ２では、ストレージ部２５で再生させたコンテンツ画像を表示させる。
図１７（ｂ）は、ストレージ部２５における記録媒体にゲームプログラムが記録されており、そのゲームプログラムに基づく画像が表示部２で表示されている例である。システムコントローラ１０はストレージ部２５にゲームプログラムの実行を指示する。そして領域ＡＲ１には撮像機能部位Ｃ１によるユーザの前方の撮像画像を表示させながら、領域ＡＲ２では、ストレージ部２５で実行させたゲーム画像を表示させる。
図１７（ｃ）は、ストレージ部２５における記録媒体に電子書籍コンテンツが記録されており、その電子書籍コンテンツが再生されて表示部２で表示されている例である。システムコントローラ１０はストレージ部２５に電子書籍データの再生を指示する。そして領域ＡＲ１には撮像機能部位Ｃ１によるユーザの前方の撮像画像を表示させながら、領域ＡＲ２では、ストレージ部２５で再生させた電子書籍画像を表示させる。
これら図１７（ａ）（ｂ）（ｃ）のようにユーザは撮像表示装置１を用いて、通常の視界方向の画像を見ながら、記録媒体に記録されたデータの再生画像を楽しむことができる。
Next, FIG. 17 shows a display example executed in a configuration including the
FIG. 17A is an example in which moving image or still image image content is recorded on the recording medium in the
FIG. 17B is an example in which a game program is recorded on a recording medium in the
FIG. 17C is an example in which electronic book content is recorded on a recording medium in the
As shown in FIGS. 17A, 17B, and 17C, the user can enjoy the reproduced image of the data recorded on the recording medium while viewing the image in the normal viewing direction using the
なお、図１７はストレージ部２５をソースとする画像、図１６は通信部２６で受信された外部のコンテンツソース機器７１からの画像の例を挙げたが、例えば図１６で例に挙げた画像内容をストレージ部２５からの再生画像と考えることもできるし、図１７で例に挙げた画像内容を外部のコンテンツソース機器７１から送信されて通信部２６で受信した画像と考えることもできる。
FIG. 17 shows an example of an image with the
ここまで各種の表示例を示したが、これらは一例にすぎない。本例においては、第１の画像ソースである撮像機能部位Ｃ１においてユーザの視界方向の光景を撮像し、それを表示画像信号とすると共に、他の画像ソースにおいて、撮像機能部位Ｃ１による画像とは異なる画像としての表示画像信号を生成する。そして、これら各画像ソースからの表示画像信号による画像を表示部２に同時に表示させるものである。このような動作による表示は非常に多様に考えられる。
Various display examples have been shown so far, but these are only examples. In this example, the imaging functional part C1, which is the first image source, captures a scene in the direction of the user's field of view and uses it as a display image signal. In other image sources, what is an image by the imaging functional part C1? A display image signal as a different image is generated. Then, images based on display image signals from these image sources are displayed on the
以下、撮像機能部位Ｃ１でユーザの視界方向の通常撮像画像の画像信号を表示画像信号として、例えば表示部２の領域ＡＲ１に表示させる場合に、領域ＡＲ２に表示させる画像としての表示画像信号の例を挙げていく。
Hereinafter, an example of a display image signal as an image to be displayed in the area AR2 when the image signal of the normal captured image in the user's field of view in the imaging function part C1 is displayed as a display image signal, for example, in the area AR1 of the
まず図４のような構成で撮像機能部位Ｃ２が、撮像機能部位Ｃ１と同様にユーザの前方を撮像するように配置されている場合において、撮像機能部位Ｃ２の撮像部３で得られた撮像信号に基づく表示画像信号例は次のとおりである。
・撮像機能部位Ｃ２の撮像部３のズーム動作で得られる望遠ズーム画像としての表示画像信号
・撮像機能部位Ｃ２の撮像部３のズーム動作で得られる広角ズーム画像としての表示画像信号
・撮像機能部位Ｃ２の撮像部３の焦点制御動作で得られる遠景画像としての表示画像信号
・撮像機能部位Ｃ２の撮像部３の焦点制御動作で得られる近景画像としての表示画像信号
・撮像機能部位Ｃ２の撮像部３での撮像フレームレートを変更させて得た高速撮像画像や低速撮像画像などとしての表示画像信号
・撮像機能部位Ｃ２の撮像信号処理部１５の信号処理で拡大処理を行った表示画像信号
・撮像機能部位Ｃ２の撮像信号処理部１５の信号処理で縮小処理を行った表示画像信号
・撮像機能部位Ｃ２の撮像部３での撮像感度を上昇させて明るさをアップさせた画像としての表示画像信号
・撮像機能部位Ｃ２の撮像部３での撮像感度を低下させて明るさを抑えた画像としての表示画像信号
・撮像機能部位Ｃ２の撮像部３での赤外線撮像感度を上昇させて得た暗視画像としての表示画像信号
・撮像機能部位Ｃ２の撮像部３での紫外線撮像感度を上昇させて得た画像としての表示画像信号
・撮像機能部位Ｃ２の撮像部３で特定波長帯域をカットして撮像した画像としての表示画像信号
・撮像機能部位Ｃ２の撮像信号処理部１５の信号処理で輝度を上昇させて明るさをアップさせた画像としての表示画像信号
・撮像機能部位Ｃ２の撮像信号処理部１５の信号処理で輝度を低下させて明るさを抑えた画像としての表示画像信号
・撮像機能部位Ｃ２の撮像信号処理部１５の色信号処理で色合いや雰囲気を変化させた画像としての表示画像信号
・撮像機能部位Ｃ２の撮像信号処理部１５の信号処理でコントラスト、シャープネス等を調整した画像としての表示画像信号
・撮像機能部位Ｃ２の撮像信号処理部１５の信号処理として、モザイク／輝度反転／ソフトフォーカス／画像内の一部の強調表示／ハイライト表示などの画像エフェクト処理を行って得た画像としての表示画像信号
・以上の各動作又は信号処理の組み合わせにより撮像機能部位Ｃ２で得た表示画像信号
First, when the imaging functional part C2 is arranged so as to image the front of the user in the configuration as shown in FIG. 4 in the same manner as the imaging functional part C1, the imaging signal obtained by the
Display image signal as a telephoto zoom image obtained by the zoom operation of the
撮像機能部位Ｃ２で、撮像機能部位Ｃ１と同様にユーザ正面の光景を撮像する場合は、例えばこれらのような動作や処理で表示画像信号を得ることで、撮像機能部位Ｃ１からの表示画像信号による画像と、それとは異なる画像とが同時表示できることになる。
もちろん、上記列挙したものに限定されるものではなく、撮像機能部位Ｃ２の撮像部３の動作、撮像信号処理部１５の信号処理により得られる、「撮像機能部位Ｃ１による画像とは異なる画像」としての表示画像信号は多様に考えられる。
またズーム処理や拡大／縮小処理の倍率、撮像感度変更時の変更するレベル、輝度信号処理や色信号処理での処理係数など、任意に可変することも考えられる。
When the imaging functional part C2 images a scene in front of the user in the same manner as the imaging functional part C1, for example, by obtaining a display image signal by such operations and processes, it is possible to use the display image signal from the imaging functional part C1. An image and a different image can be displayed simultaneously.
Of course, the present invention is not limited to the above-described ones, and “an image different from the image by the imaging function part C1” obtained by the operation of the
Further, it is conceivable that the zoom processing or the magnification / reduction processing magnification, the level to be changed when the imaging sensitivity is changed, the processing coefficient in the luminance signal processing or the color signal processing, and the like can be arbitrarily changed.
一方、図４のような構成で撮像機能部位Ｃ２が、撮像機能部位Ｃ１の被写体方向（ユーザの前方）とは異なる方向を撮像するように配置されている場合においては、撮像機能部位Ｃ２による表示画像信号例は次のように考えればよい。
即ち、この場合、撮像機能部位Ｃ２での通常撮像で得られた撮像画像は、それ自体が既に撮像機能部位Ｃ１での通常撮像で得られる撮像画像とは異なる光景（例えば後方、上方、足下、右方、左方などの光景）であるため、撮像機能部位Ｃ２の撮像画像信号を、そのまま表示画像信号とし、撮像機能部位Ｃ１からの表示画像信号とともに表示部２に表示させればよい。
さらに、その場合に上記列挙したように、撮像機能部位Ｃ２の撮像部３の撮像動作や撮像信号処理部１５の信号処理を加えた画像信号を表示画像信号としてもよい。
On the other hand, when the imaging functional part C2 is arranged so as to capture a direction different from the subject direction of the imaging functional part C1 (in front of the user) in the configuration as shown in FIG. 4, display by the imaging functional part C2 An example of the image signal may be considered as follows.
That is, in this case, the captured image obtained by the normal imaging at the imaging function part C2 is different from the captured image already obtained by the normal imaging at the imaging function part C1 (for example, rear, upper, foot, Therefore, the captured image signal of the imaging function part C2 may be used as it is as a display image signal and displayed on the
Furthermore, in this case, as listed above, an image signal obtained by adding the imaging operation of the
また、例えば３つ以上の撮像機能部位Ｃ１、Ｃ２、Ｃ３・・・を備える場合も同様に考えることができる。撮像機能部位Ｃ２、Ｃ３・・・のうち、撮像機能部位Ｃ１と同方向を撮像する撮像機能部位が存在する場合は、その撮像画像信号については、上記列挙したように、撮像部３の撮像動作や撮像信号処理部１５の信号処理により、撮像機能部位Ｃ１の画像とは異なる光景とした画像を表示画像信号とすればよい。
また撮像機能部位Ｃ２、Ｃ３・・・のうち、撮像機能部位Ｃ１とは異なる方向（ユーザの前方以外の方向）を撮像する撮像部３が存在する場合は、その撮像画像信号そのものを表示画像信号としてもよいし、上記列挙したように、撮像部３の撮像動作や撮像信号処理部１５の信号処理を加えた画像信号を表示画像信号としてもよい。
Further, for example, the case where three or more imaging function parts C1, C2, C3,. When there is an imaging function part that images in the same direction as the imaging function part C1, among the imaging function parts C2, C3,..., As described above, the imaging operation of the
In addition, when there is an
なお、撮像機能部位Ｃ２、Ｃ３・・・のうちで同方向を撮像する撮像機能部位が設けられた場合は、一方を通常撮像画像を表示画像信号とし、他方を上記列挙したように撮像部３の撮像動作や撮像信号処理部１５の信号処理を加えた画像信号を表示画像信号とすることで、それら同方向の撮像画像から異なる画像の表示画像信号を得ることができる。もちろんその場合に、両方とも、上記列挙したように撮像部３の撮像動作や撮像信号処理部１５の信号処理を加えた画像信号を表示画像信号としてもよい。
例えばユーザの後方を撮像する撮像機能部位Ｃ２、Ｃ３を有する場合に、一方で通常撮像画像を表示画像信号とし、他方で望遠撮像画像を表示画像信号とする例や、一方で拡大画像を表示画像信号とし、他方で紫外線撮像感度上昇撮像による撮像画像を表示画像信号とするなどである。
In the case where an imaging function part for imaging in the same direction is provided among the imaging function parts C2, C3..., One is a normal captured image as a display image signal, and the other is the
For example, in the case of having imaging function parts C2 and C3 for imaging the rear of the user, on the one hand, a normal captured image is used as a display image signal, and on the other hand, a telephoto captured image is used as a display image signal. On the other hand, a captured image obtained by imaging with increased sensitivity of ultraviolet imaging is used as a display image signal.
また撮像機能部位Ｃ２として、撮像方向可変の可動式の撮像部を有する構成の場合も同様であり、撮像機能部位Ｃ２において、ユーザの前方以外の撮像画像や、撮像部３の撮像動作や撮像信号処理部１５の信号処理を加えた画像信号を表示画像信号としてもよい。
また可動式の場合、特定の対象を追尾するような可動制御を行うことも考えられる。例えば撮像画像信号についての画像解析を行い、特定対象を検出した場合、撮像画像内での特定対象の動きに合わせて撮像方向を変化させる。このような制御により、ユーザは、特定の対象を追尾する画像を、例えば領域ＡＲ２において見ることができる。
The same applies to the case where the imaging function part C2 has a movable imaging unit with a variable imaging direction. In the imaging function part C2, the captured image other than the front of the user, the imaging operation of the
In the case of a movable type, it is also conceivable to perform a movable control that tracks a specific target. For example, when image analysis is performed on a captured image signal and a specific target is detected, the imaging direction is changed in accordance with the movement of the specific target in the captured image. With such control, the user can view an image tracking a specific target, for example, in the area AR2.
通信部２６で受信した外部機器からの画像を表示させる場合も同様に考えることができる。
即ち、外部の撮像装置７０やコンテンツソース機器７１からの画像は、それ自体が撮像機能部位Ｃ１で得られる表示画像信号とは異なる画像であるため、通信部２６で受信した画像信号を、そのまま表示画像信号として表示部２に表示させることで、ユーザに多様な画像を提供できることになる。
さらにストレージ部２５で再生した画像も同様であり、それ自体が撮像機能部位Ｃ１で得られる表示画像信号とは異なる画像であるため、ストレージ部２５で再生した画像信号を、そのまま表示画像信号として表示部２に表示させることで、ユーザに多様な画像を提供できる。
なお、表示画像処理部１２において、拡大、縮小、輝度処理、色処理、コントラスト調整、シャープネス調整、画像エフェクト等の画像信号処理を実行できるようにする場合、通信部２６で受信した画像信号やストレージ部２５で再生した画像信号に対して、それらの画像信号処理を加えて表示画像信号を生成してもよい。
また通信部２６やストレージ部２５を画像ソースとする場合は、高速再生、スロー再生、コマ送り再生などの変速再生による画像や、表示ページの切換、スクロール表示などパーソナルコンピュータ等における表示と同様の画像表示も可能である。
The same can be considered when displaying an image from an external device received by the
That is, since the image from the
Further, the image reproduced by the
When the display
When the
また、以上では撮像機能部位Ｃ１については通常撮像画像を表示画像信号とするとして説明してきたが、撮像機能部位Ｃ１における撮像部３や撮像信号処理部１５により、例えば望遠／広角ズーム、拡大／縮小、感度変更、近景撮像／遠景撮像、輝度処理、色処理、画像エフェクト等を行った画像信号を表示画像信号としてもよい。
いずれにしても、他の画像ソースでは、撮像機能部位Ｃ１からの画像とは異なる画像の表示画像信号を生成させればよい。
In the above description, the image pickup function part C1 has been described as a normal picked-up image as a display image signal. Alternatively, an image signal that has undergone sensitivity change, near-field imaging / far-field imaging, luminance processing, color processing, image effect, or the like may be used as the display image signal.
In any case, with other image sources, a display image signal of an image different from the image from the imaging function part C1 may be generated.
［５．動作トリガの例］
上記図１１の処理に示したように、システムコントローラ１０はステップＦ１０１で複数画像の表示開始トリガ発生と判断することで複数の画像ソースからの画像表示を実行させる。またステップＦ１０３で表示切換トリガ発生と判断することに応じて表示内容や領域形態の切換を行う。さらにステップＦ１０４で複数画像の表示終了トリガ発生と判断することで複数画像の表示動作を終了させる。
そしてこれらの表示動作に関するトリガとしては、ユーザの操作によるものとすればよいが、ユーザの状況や外界の状況を検知し、所定の条件によりシステムコントローラ１０がトリガ発生と判断しても良いと述べた。
ここでは、ユーザ状況や外界状況によりトリガ発生の判断を行う例について述べる。
[5. Example of operation trigger]
As shown in the process of FIG. 11, the
The trigger relating to these display operations may be triggered by the user's operation, but the user's situation or the outside world situation may be detected, and the
Here, an example will be described in which the occurrence of a trigger is determined according to the user situation or the outside world situation.
まずユーザ状況によりトリガ発生と判断する場合、撮像表示装置１は動作トリガ情報発生部１６として視覚センサ、加速度センサ、ジャイロ、生体センサなどを設けるようにする。
視覚センサは、ユーザの視覚に関する情報を検出するものとするが、この視覚センサは、一例としては、例えば表示部２の近辺に配置されてユーザの眼部を撮像するようにされた撮像部により形成できる。そして該撮像部が撮像したユーザの眼部の画像をシステムコントローラ１０が取り込み、画像解析を行うことで、視線方向、焦点距離、瞳孔の開き具合、眼底パターン、まぶたの開閉などを検出でき、これた基づいてユーザの状況や意志を判定できる。
或いは視覚センサは、表示部２の近辺に配置されてユーザの眼部に光を照射する発光部と、眼部からの反射光を受光する受光部により形成できる。例えば受光信号からユーザの水晶体の厚みを検知することでユーザの眼の焦点距離を検出することも可能である。
First, when it is determined that a trigger is generated according to a user situation, the
The visual sensor detects information related to the user's vision. For example, the visual sensor is provided by, for example, an imaging unit that is arranged in the vicinity of the
Alternatively, the visual sensor can be formed by a light emitting unit that is arranged in the vicinity of the
ユーザの視線方向を検出することで、システムコントローラ１０は例えば表示部２に表示された画像においてユーザが注目している部分を判定できる。
またシステムコントローラ１０は、ユーザの視線方向を、操作入力として認識することも可能である。例えばユーザが視線を左右に動かすことを、撮像表示装置１に要求する所定の操作入力とするなどである。
ユーザの焦点距離を検出することで、ユーザが注目している光景が遠方か近傍かを判別でき、それに応じてズーム制御、拡大／縮小制御、焦点変更制御などを行うことも可能である。例えばユーザが遠くを見たときに望遠表示を行うなどである。
ユーザの瞳孔の開き具合を検出すれば、スルー状態であれば周囲の明るさの状態、またモニタ表示状態であれば表示している画像に対してユーザが感じているまぶしさ等を判定でき、それに応じて輝度調整、撮像感度調整などを行うことができる。
ユーザの眼底パターンの検出は、例えばユーザの個人認証に用いることができる。眼底パターンは各人に固有のパターンであるため、眼底パターンによって装着したユーザを判定し、そのユーザに適した制御を行うこと、或いは特定のユーザにのみ表示動作を実行できるようにすることなどの制御が可能である。
ユーザのまぶたの開閉動作を検出することで、ユーザが感じているまぶしさや眼の疲れを判定できる。また、まぶたの開閉を、ユーザの意識的な操作入力として認識することも可能である。例えばユーザが３回まばたきをすることを、所定の操作入力と判定するなどである。
By detecting the direction of the user's line of sight, the
The
By detecting the focal length of the user, it is possible to determine whether the scene that the user is paying attention to is far or near, and it is possible to perform zoom control, enlargement / reduction control, focus change control, and the like accordingly. For example, a telephoto display is performed when the user looks far away.
By detecting the degree of pupil opening of the user, it is possible to determine the brightness of the surroundings if it is a through state, the glare that the user feels for the displayed image if it is a monitor display state, Accordingly, brightness adjustment, imaging sensitivity adjustment, and the like can be performed.
The detection of the fundus pattern of the user can be used for personal authentication of the user, for example. Since the fundus pattern is unique to each person, it is possible to determine a user wearing the fundus pattern and perform control suitable for the user, or to perform a display operation only for a specific user. Control is possible.
By detecting the opening / closing operation of the user's eyelids, it is possible to determine the user's feeling of glare or eye fatigue. It is also possible to recognize opening / closing of the eyelid as a user's conscious operation input. For example, it is determined that the user blinks three times as a predetermined operation input.
加速度センサ、及びジャイロは、ユーザの動きに応じた信号を出力する。例えば加速度センサは直線方向の動きを検出し、ジャイロにより回転系の動きや振動を検出する場合に適している。
加速度センサやジャイロの配置位置にもよるが、加速度センサやジャイロによって、ユーザの身体全体もしくは身体の各部の動きを検知できる。
例えば図１のような眼鏡型の撮像表示装置１の内部に取り付けられた場合、つまり加速度センサ及びジャイロがユーザの頭部の動きを検出するものとされた場合は、加速度センサの検出情報は、ユーザの頭部或いは全身の動きとしての加速度情報となり、またジャイロの検出情報はユーザの頭部或いは全身の動きとしての角速度や振動の情報となる。
これによって、ユーザが首から頭部を動かす挙動を検知できる。例えば上方を向いている状態や下方を向いている状態を判定できる。下方を向いているときとは、ユーザが読書など近傍を見ていると判断することも可能である。逆に上方を向いているときは、遠方を見ていると判断することもできる。
またシステムコントローラ１０はユーザの首から頭部を動かす挙動を検出したら、それをユーザの意識的な操作と認識することもできる。例えば左に２回首を振ったら、それが所定の操作入力とするなどである。
また加速度センサ及びジャイロによっては、ユーザが静止状態（非歩行状態）であるか、歩行状態であるか、走行状態であるかなどの判断も可能である。また立っている状態から座った場合、或いは立ち上がった場合などの検出も可能である。
また、加速度センサやジャイロが、頭部に装着する装着ユニットとは別体に設けられ、腕や足に取り付けられるようにすれば、腕のみの挙動、足のみの挙動も検知できる。
The acceleration sensor and the gyro output a signal corresponding to the user's movement. For example, an acceleration sensor is suitable for detecting movement in a linear direction and detecting movement and vibration of a rotating system with a gyro.
Although depending on the arrangement position of the acceleration sensor and the gyro, the acceleration sensor and the gyro can detect the movement of the entire body of the user or each part of the body.
For example, when it is attached inside the eyeglass-type
Thereby, it is possible to detect the behavior of the user moving the head from the neck. For example, it is possible to determine a state facing upward or a state facing downward. When facing down, it can be determined that the user is looking in the vicinity, such as reading. Conversely, when looking upward, it can be determined that the user is looking far away.
Further, when the
Depending on the acceleration sensor and the gyro, it is possible to determine whether the user is in a stationary state (non-walking state), a walking state, or a running state. It is also possible to detect when sitting or standing from a standing state.
Further, if the acceleration sensor and the gyro are provided separately from the mounting unit mounted on the head and are attached to the arms and feet, the behavior of only the arms and the behavior of only the feet can be detected.
生体センサは、ユーザの生体情報として例えば心拍情報（心拍数）、脈拍情報（脈拍数）、発汗情報、脳波情報（例えばα波、β波、θ波、δ波の情報）、又は皮膚電気反応、体温、血圧、呼吸活動（例えば呼吸の速さ、深さ、換気量など）等を検出するが、これらの情報からシステムコントローラ１０は、ユーザが緊張状態や興奮状態にあること、或いは感情的に穏やかな状態にあること、或いは快適な状態か不快な状態にあることなどを判定できる。
また撮像表示装置１をユーザが装着したことの検知も、生体情報により可能である。例えばシステムコントローラ１０は、ユーザが撮像表示装置１を装着していない時には生体情報検知のみをおこなうスタンバイ状態に制御し、生体情報によりユーザが撮像表示装置１を装着したことを検知したら、電源オン状態とすることや、逆にユーザが撮像表示装置１の装着を外したらスタンバイ状態に戻すなどの制御も可能である。
さらに生体センサによる検出情報は、ユーザの個人認証（装着者個人の識別）にも利用できる。
なお生体センサは、例えば眼鏡型の撮像表示装置１の装着フレーム内側に配置することで、例えばユーザの側頭部や後頭部において、上記情報を検知できるようにしてもよいし、撮像表示装置１の装着フレーム部分とは別体として、身体の所定箇所に装着されるようにしてもよい。
The biometric sensor is, for example, heartbeat information (heart rate), pulse information (pulse rate), sweating information, brain wave information (for example, information on α wave, β wave, θ wave, and δ wave) or electrodermal reaction as user's biological information. , Body temperature, blood pressure, respiratory activity (for example, breathing speed, depth, ventilation volume, etc.), etc. are detected. From these information, the
In addition, it is possible to detect that the user wears the
Furthermore, the detection information by the biosensor can also be used for user personal authentication (identification of the individual wearer).
For example, the biometric sensor may be arranged inside the wearing frame of the eyeglass-type
次に外界の状況を検知する場合においては、撮像表示装置１は、外界情報を取得するための構成として、動作トリガ情報発生部１６に周囲環境センサ、撮像対象センサ、ＧＰＳ受信部、日時計数部、画像解析部を設けたり、通信部２６を利用する。
Next, in the case of detecting the situation of the outside world, the
周囲環境センサとしては、照度センサ、温度センサ、湿度センサ、気圧センサ等が想定される。
照度センサによっては、撮像表示装置１の周囲の明るさの情報を検出できる。
また温度センサ、湿度センサ、気圧センサによっては、温度、湿度、気圧或いは天候を判別する情報を得ることができる。
これらの周囲環境センサにより、撮像表示装置１は周囲の明るさや戸外の場合の気象状況などを判定できるため、システムコントローラ１０は、これらを外界情報として用いて、周囲の明るさや気象状況に適した表示画像信号の生成動作を実行制御できる。例えば周囲の明るさに応じて画像の輝度レベルを上下させたり、天候状況に応じて画像の雰囲気を変えるなどである。
As the ambient environment sensor, an illuminance sensor, a temperature sensor, a humidity sensor, an atmospheric pressure sensor, or the like is assumed.
Depending on the illuminance sensor, it is possible to detect the brightness information around the
Depending on the temperature sensor, the humidity sensor, and the atmospheric pressure sensor, information for determining the temperature, humidity, atmospheric pressure, or weather can be obtained.
These ambient environment sensors allow the
撮像対象センサは撮像対象についての情報を検知する。例えば測距センサや焦電センサなどが考えられるが、撮像対象との距離や、撮像対象自体を判定する情報を得ることができる。
撮像対象までの距離を検出することで、システムコントローラ１０は、距離に応じた撮像動作、表示動作を実行制御できる。また撮像対象が人などの生体であることを検知することで、撮像対象に応じた表示画像信号の生成動作を実行制御できる。
The imaging target sensor detects information about the imaging target. For example, a distance measuring sensor, a pyroelectric sensor, or the like can be considered, and information for determining the distance to the imaging target or the imaging target itself can be obtained.
By detecting the distance to the imaging target, the
ＧＰＳ受信部２１は、現在位置としての緯度・経度の情報を取得する。緯度・経度を検出した場合、地図データベース等を参照することで、現在位置における地点（地点近辺）の情報を得ることができる。例えばシステムコントローラ１０が参照できる記録媒体として、例えばＨＤＤ（Hard Disk Drive）やフラッシュメモリなどであって比較的大容量の記録媒体を搭載し、これらの記録媒体に地図データベースを記憶させることで、現在位置に関連する情報を取得できる。
また通信部２６を有する構成の場合、撮像表示装置１に地図データベースを内蔵していなくても、通信部２６を介して例えばネットワークサーバや地図データベース内蔵機器にアクセスし、緯度・経度を送信して現在位置に応じた情報を要求し、情報を受信するようにしてもよい。
現在位置に関連する情報としては、現在位置近辺の地名、建造物名、施設名、店名、駅名などの名称情報がある。
また現在位置に関連する情報としては、公園、テーマパーク、コンサートホール、劇場、映画館、スポーツ施設など、建造物の種別を示す情報もある。
また現在位置に関連する情報としては、海岸、海上、河川、山間部、山頂部、森林、湖、平野部など、自然物の種別や名称の情報もある。
また、より詳細な位置についての情報として、例えばテーマパーク内でのエリアや、野球場、サッカー場などでの観戦席のエリア、コンサートホールでの座席のエリアの情報なども現在位置についての情報として取得することができる。
これら、現在位置に関する情報を取得することで、システムコントローラ１０は、現在位置や現在地点の近辺の地理的条件や施設などに応じた表示画像信号の生成動作を実行制御したり、特定の場所において表示開始制御或いは表示終了制御を行うなどが可能となる。
The
Further, in the case of the configuration having the
Information related to the current position includes name information such as a place name, a building name, a facility name, a shop name, and a station name near the current position.
Information related to the current position includes information indicating the type of building such as a park, a theme park, a concert hall, a theater, a movie theater, and a sports facility.
Information relating to the current position includes information on the types and names of natural objects such as coasts, seas, rivers, mountains, mountain peaks, forests, lakes, and plains.
In addition, as information about the current position, for example, information on the location in the theme park, the area of the spectator seat in the baseball stadium, the soccer field, the information on the seat area in the concert hall, etc. Can be acquired.
By acquiring the information on the current position, the
日時計数部は例えば年月日時分秒を計数する。この日時計数部によってシステムコントローラ１０は、現在時刻、昼夜の別、月、季節などを認識できる。このため、例えば昼夜の別（時刻）に応じた表示画像信号の生成動作や、現在の季節に適した表示画像信号の生成動作などを実行制御できる。
The date / time counting unit counts year / month / day / hour / minute / second, for example. By this date and time counting unit, the
撮像画像を解析する画像解析部を設ければ、撮像画像から撮像対象についての以下のような各種の情報を検出できる。
まず撮像対象の種別として、撮像画像に含まれている人物、動物、自然物、建造物、機器などを判別できる。例えば動物としては、被写体として鳥が撮像されている状況や猫が撮像されている状況等を判別できる。また自然物としては、海、山、樹木、河川、湖、空、太陽、月などを判別できる。建造物としては、家屋、ビル、競技場などを判別できる。機器としては、パーソナルコンピュータ、ＡＶ（Audio-Visual）機器、携帯電話機、ＰＤＡ、ＩＣカード、二次元バーコードなどが撮像対象となっている状況を判別できる。
これら撮像対象の種別は、予め各種別の形状の特徴を設定しておき、撮像画像内に、形状が該当する被写体が含まれているか否かにより判別可能である。
また画像解析部による画像解析によれば、画像の前後フレームの差分検出などの手法で、被写体の動きの検出、例えば素早い動きが画像内も可能である。例えばスポーツ観戦で選手を撮像している際や、走行している自動車等を撮像している場合などに、動きの素早い被写体を撮像しているという状況を検知することができる。
また画像解析部による画像解析によれば、周囲の状況を判定することも可能である。例えば昼夜や天候による明るさの状況を判定できるし、雨の強さなども認識可能である。
If an image analysis unit for analyzing a captured image is provided, the following various types of information about the imaging target can be detected from the captured image.
First, a person, animal, natural object, building, device, or the like included in the captured image can be identified as the type of the imaging target. For example, as an animal, it is possible to determine a situation where a bird is imaged as a subject, a situation where a cat is imaged, and the like. As natural objects, the sea, mountains, trees, rivers, lakes, sky, sun, moon, etc. can be distinguished. As buildings, houses, buildings, and stadiums can be identified. As a device, it is possible to determine a situation in which a personal computer, an AV (Audio-Visual) device, a mobile phone, a PDA, an IC card, a two-dimensional barcode, or the like is an imaging target.
These types of imaging targets can be determined by setting characteristics of various shapes in advance and determining whether or not a subject corresponding to the shape is included in the captured image.
Further, according to the image analysis by the image analysis unit, it is possible to detect the movement of the subject, for example, a quick movement within the image by a method such as detection of a difference between frames before and after the image. For example, it is possible to detect a situation in which a fast-moving subject is being imaged, for example, when a player is imaged during a sporting event or when a moving automobile is being imaged.
Moreover, according to the image analysis by the image analysis unit, it is possible to determine the surrounding situation. For example, it is possible to determine the brightness situation due to day and night or weather, and it is also possible to recognize the intensity of rain.
また、画像解析部による画像解析によれば、人物が被写体となっている場合に、その人物の顔から人物個人を特定する判別も可能である。既に知られているように、人物の顔は、顔の構成要素の相対位置情報として個人特徴データ化することができる。例えば目の中心と鼻との距離ＥＮと目の間隔の距離Ｅｄの比（Ｅｄ／ＥＮ）や、目の中心と口との距離ＥＭと目の間隔の距離Ｅｄの比（Ｅｄ／ＥＭ）は、個人毎に特有となるとともに、髪型や眼鏡等の装着物などによる、外観上の変化の影響を受けない情報である。さらに加齢によっても変化しないことが知られている。
従って、画像解析部は、撮像画像内に或る人物の顔が含まれているときに、その画像を解析すれば上記のような個人特徴データを検出することができる。
撮像画像から個人特徴データを検出した場合、例えばシステムコントローラ１０が参照できる記録媒体として、例えばＨＤＤやフラッシュメモリなどを搭載し、これらの記録媒体に人物データベースを記憶させておけば、被写体となっている個人の情報を取得できる。或いは、撮像表示装置１に人物データベースを内蔵していなくても、通信部２６を介して例えばネットワークサーバや人物データベース内蔵機器にアクセスし、個人特徴データを送信して情報を要求し、特定の人物の情報を受信するようにしてもよい。
例えばユーザ自身が、過去に出会った人物の氏名や所属などの人物情報を個人特徴データとともに人物データベースに登録しておけば、或る人物に出会ったとき（撮像されたとき）に、システムコントローラ１０は、その人物の情報を検索できる。
また、有名人の情報を個人特徴データとともに登録した人物データベースが用意されていれば、ユーザが有名人に出会ったときに、その人物の情報を検索できる。
Further, according to the image analysis by the image analysis unit, when a person is a subject, it is also possible to identify the person from the person's face. As already known, a person's face can be converted into personal feature data as relative position information of the constituent elements of the face. For example, the ratio between the distance EN between the center of the eye and the nose and the distance Ed between the eyes (Ed / EN) and the ratio between the distance EM between the center of the eye and the mouth and the distance Ed between the eyes (Ed / EM) This information is unique to each individual and is not affected by changes in appearance due to an attachment such as a hairstyle or glasses. Furthermore, it is known that it does not change with aging.
Therefore, the image analysis unit can detect the personal feature data as described above by analyzing the image when a certain person's face is included in the captured image.
When personal feature data is detected from a captured image, for example, an HDD or a flash memory is mounted as a recording medium that can be referred to by the
For example, if the user himself / herself registers personal information such as the name and affiliation of a person who has met in the past in the person database together with the personal characteristic data, the
Further, if a person database in which celebrity information is registered together with personal characteristic data is prepared, information on the person can be retrieved when the user meets the celebrity.
このような画像解析部による検出情報に基づいて、システムコントローラ１０は撮像対象に応じた表示画像信号の生成処理を実行制御できる。例えば特定の対象や特定の人物が撮像されている場合は、その特定の対象をハイライト表示させるような表示画像信号を生成することなどが考えられる。
Based on the detection information by such an image analysis unit, the
通信部２６によれば、外界情報として、多様な情報を取得できる。
例えば上述したように撮像表示装置１から送信した緯度・経度、或いは個人特徴データなどに応じて外部機器で検索された情報を取得できる。
また外部機器から天候情報、気温情報、湿度情報など気象に関する情報を取得することができる。
また外部機器から施設の利用情報、施設内での撮像禁止／許可情報、案内情報などを取得することができる。
また外部機器自体の識別情報を取得することができる。例えば所定の通信プロトコルにおいてネットワークデバイスとして識別される機器の種別や機器ＩＤ等である。
また外部機器に格納されている画像データ、外部機器で再生或いは表示している画像データ、外部機器で受信している画像データなどを取得することができる。
このような通信部２６で取得できる情報に基づいて、システムコントローラ１０は表示画像信号の生成処理を実行制御できる。
According to the
For example, as described above, information retrieved by an external device can be acquired according to latitude / longitude transmitted from the
In addition, weather information such as weather information, temperature information, and humidity information can be acquired from an external device.
In addition, facility usage information, in-facility imaging prohibition / permission information, guidance information, and the like can be acquired from an external device.
Further, identification information of the external device itself can be acquired. For example, the device type or device ID identified as a network device in a predetermined communication protocol.
Further, image data stored in the external device, image data reproduced or displayed on the external device, image data received on the external device, and the like can be acquired.
Based on such information that can be acquired by the
以上の例のような構成要素を動作トリガ情報発生部１６として設け、ユーザの状況や外界の状況を検知し、それら状況に応じた表示開始／終了や、表示切換（表示内容の変更や領域形態の切換）を行うようにすることで、ユーザが操作しなくとも、適切或いはおもしろみのある表示動作が実現される。
また、ユーザの状況や外界の状況を検出するための構成例は他にも考えられる。
The constituent elements as in the above example are provided as the operation trigger
In addition, other configuration examples for detecting the user's situation and the outside world situation are conceivable.
［６．実施の形態の効果、変形例及び拡張例］
以上、実施の形態を説明してきたが、実施の形態によれば、表示部２の画面領域の一部で撮像機能部位Ｃ１によるユーザの視界方向の撮像画像としての表示画像信号による表示を実行させながら、他の画像ソース（撮像機能部位Ｃ２、通信部２６、ストレージ部２５等）からの表示画像信号による表示を実行させることで、ユーザは通常の視界光景が見える状態のまま、視覚光景とは異なる画像を見ることができる。例えば撮像機能部位Ｃ１による前方の画像を見ながら、撮像機能部位Ｃ２による望遠画像、拡大画像、特殊撮像画像、後方の光景の画像などを見ることができる。このため通常の視覚光景と同時に、通常の視覚では見ることのできない光景等の画像を見る状態となり、擬似的にユーザの視覚能力を拡張させる状況を作り出すことができる。
[6. Effect, modification and extension of embodiment]
Although the embodiment has been described above, according to the embodiment, display by a display image signal as a captured image in the user's visual field direction by the imaging function part C1 is executed in a part of the screen area of the
撮像表示装置１の外観や構成は図１、図２、図３、図４、図５、図７、図８の例に限定されるものではなく、各種の変形例が考えられる。
撮像機能部位Ｃ１等で撮像した画像信号をストレージ部２５において記録媒体に記録するような構成としても良い。
また撮像した画像信号を、通信部２６から他の機器に送信する動作を行うようにしてもよい。
また撮像時に周囲音声を集音するマイクロホンや、音声を出力するイヤホン型等のスピーカ部が設けられても良い。
また、画像内における文字を認識する文字認識部と、音声合成処理を行う音声合成部を設け、撮像画像に文字が含まれている場合に、音声合成部で、その読み上げ音声の音声信号を生成し、スピーカ部から出力させるようにすることも考えられる。
The appearance and configuration of the
An image signal captured by the imaging function part C1 or the like may be recorded on a recording medium in the
Moreover, you may make it perform the operation | movement which transmits the imaged image signal from the
In addition, a microphone unit that collects ambient sounds during imaging or an earphone type speaker unit that outputs sounds may be provided.
In addition, a character recognition unit that recognizes characters in the image and a speech synthesis unit that performs speech synthesis processing are provided, and when the captured image contains characters, the speech synthesis unit generates a speech signal for the read-out speech However, it is also conceivable to output from the speaker unit.
また表示画像信号は静止画としても良い。例えば撮像機能部位Ｃ１、Ｃ２等で所定のトリガのタイミングを静止画撮像を行い、その撮像された静止画像を表示部２に表示させる。
The display image signal may be a still image. For example, a still image is captured at a predetermined trigger timing in the imaging function parts C1, C2, etc., and the captured still image is displayed on the
また、撮像表示装置１として眼鏡型或いは頭部装着型の装着ユニットを有する例を述べたが、本発明の撮像表示装置は、例えば撮像機能部位Ｃ１のように、ユーザの視界方向を撮像する撮像部によって撮像された撮像画像信号を元として表示画像信号を生成する第１の画像信号生成手段が有するように構成されればよい。つまり少なくともユーザの視界方向を撮像できる構成であればよい。従って、第１の画像信号生成手段（撮像機能部位Ｃ１）を有する部位が、例えばヘッドホン型、ネックバンドタイプ、耳掛け式など、どのような装着ユニットでユーザに装着されるものであってもよい。さらには、例えば通常の眼鏡やバイザー、或いはヘッドホン等に、クリップなどの取付具で取り付けることでユーザに装着されるような形態であってもよい。また必ずしもユーザの頭部に装着されなくてもよい。
Moreover, although the example which has a spectacles type or a head mounting type mounting unit was described as the
１ 撮像表示装置、２ 表示部、３ 撮像部、４ 照明部、１０ システムコントローラ、１１ 撮像制御部、１２ 表示画像処理部、１３ 表示駆動部、１４ 表示制御部、１５ 撮像信号処理部、１６ 動作トリガ情報発生部、２５ ストレージ部、２６ 通信部、Ｃ１、Ｃ２ 撮像機能部位
DESCRIPTION OF
Claims (20)
外部機器から画像信号を受信する通信手段と、
画像信号が記録されているストレージ手段と、
使用者の視界方向を被写体方向とする撮像部によって撮像された撮像画像信号を元として表示画像信号を生成する第１の画像信号生成手段と、
上記第１の画像信号生成手段による表示画像信号とは異なる画像となる表示画像信号を上記通信手段から受信した画像信号または上記ストレージ手段に記録されている画像信号から生成する第２の画像信号生成手段と、
上記表示手段において、上記第１、第２の画像信号生成手段で生成された複数の表示画像信号による画像表示を同時に実行させる制御を行う制御手段と、
を備える撮像表示装置。 Display means for displaying images;
A communication means for receiving an image signal from an external device;
Storage means in which image signals are recorded;
First image signal generation means for generating a display image signal based on a captured image signal imaged by an imaging unit having a user's visual field direction as a subject direction;
Second image signal generation for generating a display image signal, which is an image different from the display image signal by the first image signal generation means, from the image signal received from the communication means or the image signal recorded in the storage means Means,
In the display means, a control means for performing control to simultaneously execute image display by a plurality of display image signals generated by the first and second image signal generation means;
An imaging display device comprising:
上記撮像部と、
上記撮像部で得られた撮像画像信号に対する信号処理を行う信号処理部と、
を有する請求項１に記載の撮像表示装置。 The first image signal generation means includes:
The imaging unit;
A signal processing unit that performs signal processing on the captured image signal obtained by the imaging unit;
The imaging display device according to claim 1, comprising:
撮像部によって撮像された撮像画像信号を元として上記表示手段に供給する表示画像信号を生成する請求項１に記載の撮像表示装置。 The second image signal generation means includes:
The imaging display apparatus according to claim 1, wherein a display image signal to be supplied to the display unit is generated based on a captured image signal captured by the imaging unit.
上記撮像部と、
上記撮像部で得られた撮像画像信号に対する信号処理を行う信号処理部と、
を有する請求項６に記載の撮像表示装置。 The second image signal generation means includes:
The imaging unit;
A signal processing unit that performs signal processing on the captured image signal obtained by the imaging unit;
The imaging display device according to claim 6 having.
外部機器から画像信号を上記通信手段により受信するステップと、
使用者の視界方向を被写体方向とする上記撮像部によって撮像された撮像画像信号を元として表示画像信号を生成する第１の画像信号生成ステップと、
上記第１の画像信号生成ステップによる表示画像信号とは異なる画像となる表示画像信号を上記通信手段から受信した画像信号または上記ストレージ手段に記録されている画像信号から生成する第２の画像信号生成ステップと、
上記第１、第２の画像信号生成ステップで生成された複数の表示画像信号による画像表示を同時に実行させる表示ステップと、
を備える撮像表示方法。 An imaging display method of an imaging display device having a display unit for displaying an image, a storage unit, a communication unit, and an imaging unit,
Receiving an image signal from an external device by the communication means;
A first image signal generating step of generating a display image signal as the basis of the captured image signal captured the viewing direction of the user by the imaging unit to the object direction,
Second image signal generation for generating a display image signal that is different from the display image signal in the first image signal generation step from the image signal received from the communication means or the image signal recorded in the storage means Steps,
A display step of simultaneously executing image display using a plurality of display image signals generated in the first and second image signal generation steps;
An imaging display method comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013029778A JP5664677B2 (en) | 2013-02-19 | 2013-02-19 | Imaging display device and imaging display method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013029778A JP5664677B2 (en) | 2013-02-19 | 2013-02-19 | Imaging display device and imaging display method |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006281043A Division JP2008096868A (en) | 2006-10-16 | 2006-10-16 | Imaging display device, and imaging display method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2013110764A true JP2013110764A (en) | 2013-06-06 |
| JP5664677B2 JP5664677B2 (en) | 2015-02-04 |
Family
ID=48707047
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013029778A Expired - Fee Related JP5664677B2 (en) | 2013-02-19 | 2013-02-19 | Imaging display device and imaging display method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5664677B2 (en) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101430614B1 (en) * | 2014-05-30 | 2014-08-18 | 주식회사 모리아타운 | Display device using wearable eyeglasses and method for operating the same |
| WO2015030482A1 (en) * | 2013-08-27 | 2015-03-05 | 주식회사 매크론 | Input device for wearable display |
| JP2015119236A (en) * | 2013-12-17 | 2015-06-25 | セイコーエプソン株式会社 | Head mounted type display device |
| JP2015222891A (en) * | 2014-05-23 | 2015-12-10 | セイコーエプソン株式会社 | Head-mounted display device, head-mounted display device control method, computer program, image display system, and information processing device |
| KR20160122702A (en) | 2014-02-17 | 2016-10-24 | 소니 주식회사 | Information processing device, information processing method and program |
| US10451874B2 (en) | 2013-09-25 | 2019-10-22 | Seiko Epson Corporation | Image display device, method of controlling image display device, computer program, and image display system |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06176131A (en) * | 1992-12-03 | 1994-06-24 | Namco Ltd | Picture synthesis device and virtual reality device using the same |
| JPH086708A (en) * | 1994-04-22 | 1996-01-12 | Canon Inc | Display device |
| JP2000299851A (en) * | 1999-02-12 | 2000-10-24 | Sanyo Electric Co Ltd | Instruction information transmitter |
| JP2002268621A (en) * | 2001-03-13 | 2002-09-20 | Canon Inc | Image composing device |
| JP2002271691A (en) * | 2001-03-13 | 2002-09-20 | Canon Inc | Image processing method, image processing unit, storage medium and program |
| JP2003264740A (en) * | 2002-03-08 | 2003-09-19 | Cad Center:Kk | Observation scope |
| JP2005038321A (en) * | 2003-07-18 | 2005-02-10 | Canon Inc | Head mount display device |
| JP2005157762A (en) * | 2003-11-26 | 2005-06-16 | Canon Inc | Information device, control method, and program |
| JP2005172851A (en) * | 2003-12-05 | 2005-06-30 | Sony Corp | Image display apparatus |
-
2013
- 2013-02-19 JP JP2013029778A patent/JP5664677B2/en not_active Expired - Fee Related
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06176131A (en) * | 1992-12-03 | 1994-06-24 | Namco Ltd | Picture synthesis device and virtual reality device using the same |
| JPH086708A (en) * | 1994-04-22 | 1996-01-12 | Canon Inc | Display device |
| JP2000299851A (en) * | 1999-02-12 | 2000-10-24 | Sanyo Electric Co Ltd | Instruction information transmitter |
| JP2002268621A (en) * | 2001-03-13 | 2002-09-20 | Canon Inc | Image composing device |
| JP2002271691A (en) * | 2001-03-13 | 2002-09-20 | Canon Inc | Image processing method, image processing unit, storage medium and program |
| JP2003264740A (en) * | 2002-03-08 | 2003-09-19 | Cad Center:Kk | Observation scope |
| JP2005038321A (en) * | 2003-07-18 | 2005-02-10 | Canon Inc | Head mount display device |
| JP2005157762A (en) * | 2003-11-26 | 2005-06-16 | Canon Inc | Information device, control method, and program |
| JP2005172851A (en) * | 2003-12-05 | 2005-06-30 | Sony Corp | Image display apparatus |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015030482A1 (en) * | 2013-08-27 | 2015-03-05 | 주식회사 매크론 | Input device for wearable display |
| US10451874B2 (en) | 2013-09-25 | 2019-10-22 | Seiko Epson Corporation | Image display device, method of controlling image display device, computer program, and image display system |
| JP2015119236A (en) * | 2013-12-17 | 2015-06-25 | セイコーエプソン株式会社 | Head mounted type display device |
| KR20160122702A (en) | 2014-02-17 | 2016-10-24 | 소니 주식회사 | Information processing device, information processing method and program |
| US9787895B2 (en) | 2014-02-17 | 2017-10-10 | Sony Corporation | Information processing device, information processing method, and program for generating circumferential captured images |
| US10389937B2 (en) | 2014-02-17 | 2019-08-20 | Sony Corporation | Information processing device, information processing method, and program |
| US10574889B2 (en) | 2014-02-17 | 2020-02-25 | Sony Corporation | Information processing device, information processing method, and program |
| JP2015222891A (en) * | 2014-05-23 | 2015-12-10 | セイコーエプソン株式会社 | Head-mounted display device, head-mounted display device control method, computer program, image display system, and information processing device |
| KR101430614B1 (en) * | 2014-05-30 | 2014-08-18 | 주식회사 모리아타운 | Display device using wearable eyeglasses and method for operating the same |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5664677B2 (en) | 2015-02-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5228307B2 (en) | Display device and display method | |
| US9772686B2 (en) | Imaging display apparatus and method | |
| TWI384256B (en) | Display device, display method | |
| JP5162928B2 (en) | Image processing apparatus, image processing method, and image processing system | |
| JP6137113B2 (en) | Display device, display method, and program | |
| JP5664677B2 (en) | Imaging display device and imaging display method | |
| JP2008083289A (en) | Imaging display apparatus, and imaging display method | |
| JP2013174898A (en) | Imaging display device, and imaging display method | |
| JP2013083994A (en) | Display unit and display method | |
| JP5971298B2 (en) | Display device and display method | |
| JP2013034237A (en) | Image processor, image processing method and image processing system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20131217 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140121 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140320 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20141111 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20141124 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 5664677 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |