JP2015149633A - 撮像装置および方法 - Google Patents

撮像装置および方法 Download PDF

Info

Publication number
JP2015149633A
JP2015149633A JP2014021833A JP2014021833A JP2015149633A JP 2015149633 A JP2015149633 A JP 2015149633A JP 2014021833 A JP2014021833 A JP 2014021833A JP 2014021833 A JP2014021833 A JP 2014021833A JP 2015149633 A JP2015149633 A JP 2015149633A
Authority
JP
Japan
Prior art keywords
unit
imaging
display
image
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014021833A
Other languages
English (en)
Other versions
JP2015149633A5 (ja
JP6252849B2 (ja
Inventor
翼 塚原
Tsubasa Tsukahara
翼 塚原
山本 一幸
Kazuyuki Yamamoto
一幸 山本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2014021833A priority Critical patent/JP6252849B2/ja
Priority to US14/607,261 priority patent/US9541761B2/en
Publication of JP2015149633A publication Critical patent/JP2015149633A/ja
Publication of JP2015149633A5 publication Critical patent/JP2015149633A5/ja
Priority to US15/356,783 priority patent/US10142618B2/en
Application granted granted Critical
Publication of JP6252849B2 publication Critical patent/JP6252849B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/128Adjusting depth or disparity
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • H04N13/383Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/398Synchronisation thereof; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635Region indicators; Field of view indicators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/689Motion occurring during a rolling shutter mode
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0127Head-up displays characterised by optical features comprising devices increasing the depth of field
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0132Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0185Displaying image at variable distance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0081Depth or disparity estimation from stereoscopic image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00Details of stereoscopic systems
    • H04N2213/001Constructional or mechanical details

Abstract

【課題】焦点距離をより容易に把握することができるようにする。
【解決手段】撮像部と、前記撮像部の撮像領域の少なくとも一部を透過的に視ることができ、左眼用画像と右眼用画像とからなる立体視画像を表示する表示部と、前記撮像部の焦点距離を調整する焦点距離調整部と、前記焦点距離を示す表示オブジェクトが前記焦点距離に対応する奥行き位置に視えるように、前記左眼用画像と前記右眼用画像とを生成して前記表示部に表示させる表示制御部とを備える。本開示は、例えば、撮像装置に適用することができる。
【選択図】図3

Description

本開示は撮像装置および方法に関し、特に、焦点距離をより容易に把握することができるようにした撮像装置および方法に関する。
近年、透過型HMD(Head Mounted Display)の開発が行われるようになってきた。例えば、両眼視差や輻輳を調整することで奥行きを表現する透過型HMDが考えられた(例えば、特許文献1参照)。また、このような透過型HMDに撮像機能を設け、ユーザが透過型HMDを介して見る現実空間の被写体を撮像することが考えられた。
特開2012−42654号公報
しかしながら、このような透過型HMDでは、撮像画像において所望の被写体に合焦されているか否かを確認することは困難であり、所望の撮像結果を得るために煩雑な作業を必要とするおそれがあった。
本開示は、このような状況に鑑みてなされたものであり、焦点距離をより容易に把握することができるようにするものである。
本技術の撮像装置は、撮像部と、前記撮像部の撮像領域の少なくとも一部を透過的に視ることができ、左眼用画像と右眼用画像とからなる立体視画像を表示する表示部と、前記撮像部の焦点距離を調整する焦点距離調整部と、前記焦点距離を示す表示オブジェクトが前記焦点距離に対応する奥行き位置に視えるように、前記左眼用画像と前記右眼用画像とを生成して前記表示部に表示させる表示制御部とを備える撮像装置である。
前記表示制御部は、前記表示オブジェクトの大きさを、前記焦点距離に応じて設定することができる。
前記表示部は、前記左眼用画像を表示する左眼用画像表示部と、前記右眼用画像を表示する右眼用画像表示部とを有することができる。
前記撮像装置の筐体は、ユーザの頭部に、前記左眼用画像表示部が前記ユーザの左眼前方の近傍に位置し、前記右眼用画像表示部が前記ユーザの右眼前方の近傍に位置するように装着されるようにすることができる。
前記表示制御部は、前記撮像部による撮像の画角を示す画像を前記表示部にさらに表示させることができる。
前記焦点距離調整部は、ユーザに操作されて前記焦点距離を調整することができる。
被写体までの距離を測定する距離測定部をさらに備え、前記焦点距離調整部は、前記距離測定部により測定された前記距離に合わせるように、前記焦点距離を調整することができる。
前記距離測定部は、前記撮像領域の所定の位置の被写体までの距離を測定することができる。
前記所定の位置は、前記撮像領域の、前記表示部の表示領域の中央に視える位置であるようにすることができる。
前記被写体の顔を検出する顔検出部をさらに備え、前記距離測定部は、前記顔検出部により検出された前記被写体の顔までの距離を測定することができる。
ユーザの視線の方向を検出する視線検出部をさらに備え、前記距離測定部は、前記視線検出部により検出された前記ユーザが視線を合わせた被写体までの距離を測定することができる。
前記被写体までの距離の測定の実行指示を受け付ける指示受付部をさらに備え、前記距離測定部は、前記指示受付部により受け付けられた前記実行指示に基づいて、前記被写体までの距離を測定することができる。
本技術の撮像方法は、撮像部の焦点距離を調整し、前記焦点距離を示す表示オブジェクトが前記焦点距離に対応する奥行き位置に視えるように、立体視画像の左眼用画像と右眼用画像とを生成して、前記撮像部の撮像領域の少なくとも一部を透過的に視ることができ、左眼用画像と右眼用画像とからなる立体視画像を表示する表示部に表示させ、前記撮像部により前記被写体を撮像する撮像方法である。
本技術においては、撮像部の焦点距離が調整され、焦点距離を示す表示オブジェクトが焦点距離に対応する奥行き位置に視えるように、立体視画像の左眼用画像と右眼用画像とが生成されて、撮像部の撮像領域の少なくとも一部を透過的に視ることができ、左眼用画像と右眼用画像とからなる立体視画像を表示する表示部に表示され、撮像部により被写体が撮像される。
本技術によれば、被写体を撮像することができる。また、本技術によれば、焦点距離をより容易に把握することができる。
透過型HMDの外観の例を示す図である。 透過型HMDの主な構成例を示すブロック図である。 撮影処理の流れの例を示すフローチャートである。 フォーカスアイコンの表示例を示す図である。 フォーカスアイコンの表示例を示す図である。 フォーカスアイコンの表示例を示す図である。 撮像の様子の例を説明する図である。 撮像の様子の他の例を説明する図である。
以下、本開示を実施するための形態(以下実施の形態とする)について説明する。なお、説明は以下の順序で行う。
1.第1の実施の形態(撮像装置)
2.第2の実施の形態(透過型HMD)
<1.第1の実施の形態>
<透過型ディスプレイによる撮像結果の確認>
近年、透過型HMD(Head Mounted Display)の開発が行われるようになってきた。透過型HMDでは、背面側からの光を透過し、その背面側の現実空間の景色を透過的に視ることができる表示部(透過型ディスプレイ)が用いられる。これにより、透過型HMDのユーザは、その透過型ディスプレイに表示される画像を、その透過型ディスプレイの背面側の現実空間の景色(以下、透過映像とも称する)に重畳した状態で見ることができる。
このような透過型HMDに撮像機能(カメラ)を設け、ユーザが透過型HMDを介して視る現実空間の被写体を撮像すること(換言するに、透過型ディスプレイを有する撮像装置)が考えられた。例えば、このような撮像機能(カメラ)を有する透過型HMDを装着したユーザが、ライフログとしてHMDに搭載されたカメラで被写体を撮像したり、得られた撮像画像をネットワーク上で共有し合ったりするユースケースが考えられた。
ところで、従来、このような被写体の撮像において、所望の被写体に合焦しているか否かを確認するためには、ユーザは、撮像結果(撮像画像)を確認する必要があった。撮像画像の確認は、例えば、透過型HMDで行う方法と、他のデバイスで行う方法とが考えられる。
例えば撮像画像をスマートフォン等の他のデバイスの表示部に表示させて確認する場合、ユーザは、他のデバイスを用意する必要があるだけでなく、その撮像画像のデータを透過型HMDから他のデバイスに転送しなければならず、撮像画像の確認の為だけに煩雑な作業が必要であった。
また、例えば、撮像画像を透過型HMDの透過型ディスプレイに表示させて確認する場合、ユーザは、その撮像画像を、現実空間の景色(透過映像)に重畳した状態で確認しなければならず、撮像画像の視認性が落ちてしまい、撮像画像のピントのずれなどの細かいミスを確認することができないおそれがあった。
このように、例えば透過型HMDのような透過ディスプレイを有する撮像装置の場合、撮像画像の焦点距離の確認(所望の被写体に合焦しているか否か等の確認)を容易に行うことができないため、ピントずれ(所望の被写体に合焦していない状態)等の撮像の失敗が発生し易く、所望の撮像結果を得るために、画像確認や撮り直し等の煩雑な作業が必要であった。
<撮像装置>
そこで、撮像部と、その撮像部の撮像領域の少なくとも一部を透過的に視ることができ、左眼用画像と右眼用画像とからなる立体視画像を表示する表示部と、撮像部の焦点距離を調整する焦点距離調整部と、焦点距離を示す表示オブジェクトがその焦点距離に対応する奥行き位置に視えるように、左眼用画像と右眼用画像とを生成して表示部に表示させる表示制御部とを備えるようにする。
すなわち、撮像装置が、撮像部の焦点距離を調整し、その焦点距離を示す表示オブジェクトがその焦点距離に対応する奥行き位置に視えるように、立体視画像の左眼用画像と右眼用画像とを生成して、撮像部の撮像領域の少なくとも一部を透過的に視ることができ、左眼用画像と右眼用画像とからなる立体視画像を表示する表示部に表示させ、撮像部により被写体を撮像するようにする。
つまり、焦点距離を示す表示オブジェクト(以下、フォーカスアイコンとも称する)を立体視画像として表示部(透過型ディスプレイ)に表示させるようにする。
立体視画像は、その画像を視るユーザに、奥行き方向の位置関係(奥行き感)を意識させて立体的に視えるようにした画像である。立体視画像は、例えば、複数の視点の画像からなり、それらの画像間の視差や輻輳角によって奥行き感が表現される。立体視画像は、例えば、主にユーザの左眼に見せる画像である左眼用画像と、主にユーザの右眼に見せる画像である右眼用画像とからなる。
このような立体視画像のフォーカスアイコンを透過型ディスプレイに表示させ、その表示されたフォーカスアイコンの奥行き方向の位置(以下、奥行き位置とも称する)によって焦点距離を表すようにする。
このようにすることにより、ユーザは、透過型ディスプレイに表示されるフォーカスアイコンの奥行き位置によって、焦点距離を容易に確認することができる。例えば、ユーザは、フォーカスアイコンの奥行き位置が、透過映像における現実空間の所望の被写体の奥行き位置と一致しているか否かによって、その被写体に合焦しているか否かを容易に確認することができる。したがって、この撮像装置は、ピントずれ(所望の被写体に合焦していない状態)等の撮像の失敗の発生を抑制し、ユーザがより容易に所望の撮像結果を得ることができるようにすることができる。
なお、このフォーカスアイコンの形状は任意であり、例えば、十字、四角形、円形等であってもよいし、それ以外であってもよい。また、このフォーカスアイコンの数は、1つであってもよいし、複数であってもよい。
撮像装置の表示制御部が、表示オブジェクトの大きさを、焦点距離に応じて設定するようにしてもよい。例えば、焦点距離が遠い程、フォーカスアイコンの大きさを小さくする(換言するに、焦点距離が近い程、フォーカスアイコンの大きさを大きくする)ようにしてもよい。つまり、焦点距離をフォーカスアイコンの奥行き位置と大きさによって表すようにしてもよい。このようにすることにより、ユーザは、より直感的かつより正確に、焦点距離を確認することができる(例えば、より容易かつより正確に、所望の被写体に合焦しているか否か等を確認することができる)。したがって、この撮像装置は、ピントずれ(所望の被写体に合焦していない状態)等の撮像の失敗の発生をより抑制することができる。したがって、ユーザは、より容易に所望の撮像結果を得ることができる。
また、撮像装置の表示部が、左眼用画像を表示する左眼用画像表示部と、右眼用画像を表示する右眼用画像表示部とを有するようにしてもよい。このようにすることにより、ユーザは、左眼用画像表示部を左眼で視て、右眼用画像表示部を右眼で視ることで、フォーカスアイコンを立体視画像として(奥行き感が付与された状態で)視ることができる。つまり、撮像装置は、偏光眼鏡等を必要とせずに、ユーザに立体視画像を提供することができる。
撮像装置の筐体が、ユーザの頭部に、左眼用画像表示部がユーザの左眼前方の近傍に位置し、右眼用画像表示部がユーザの右眼前方の近傍に位置するように装着されるようにしてもよい。すなわち、この撮像装置は、所謂HMD(透過型HMD)として実現することができる。
撮像装置の表示制御部が、撮像部による撮像の画角を示す画像を表示部にさらに表示させるようにしてもよい。このようにすることにより、ユーザは、撮像領域の範囲(撮像画像に含まれる範囲)を容易に把握することができる。なお、この画像の奥行き方向の距離は任意である。例えば、一番手前に見えるようにしてもよい。また、この画像に奥行き感を持たせないようにしてもよい(立体視画像でなくてもよい)。
撮像装置の焦点距離調整部が、ユーザに操作されて焦点距離を調整するようにしてもよい。すなわち、この焦点距離調整は、ユーザの操作により行われるもの(所謂、マニュアルフォーカス)であってもよい。つまり、この場合、例えば、ユーザが手動で焦点距離調整を行うと、その操作による焦点距離の変化に応じて、フォーカスアイコンの奥行き位置が変化する。ユーザは、そのフォーカスアイコンの奥行き位置を視ながら操作を行うことによって、焦点距離を確認しながら焦点距離調整を行うことができる。したがって、ユーザは、焦点距離を、より容易かつより正確に、所望の奥行き位置に合わせることができる。
撮像装置が、被写体までの距離を測定する距離測定部をさらに備え、焦点距離調整部が、その距離測定部により測定された距離に合わせるように、焦点距離を調整するようにしてもよい。すなわち、この焦点距離調整は、撮像装置により行われるもの(所謂、オートフォーカス)であってもよい。この場合、ユーザは、フォーカスアイコンの奥行き位置を視ることによって焦点距離を確認することができる。つまり、ユーザは、より容易かつ正確に、オートフォーカス結果(例えば、所望の距離に合焦したか否か等)を確認することができる。
撮像装置の距離測定部が、撮像領域の所定の位置の被写体までの距離を測定するようにしてもよい。例えば、その所定の位置が、撮像領域の、表示部の表示領域の中央に視える位置であるようにしてもよい。もちろん、この所定の位置は、予め定められていれば何処でもよく、撮像領域の、表示部の表示領域の中央に視える位置に限定されない。このように、距離を測定する被写体の表示領域内の位置を固定化することにより、ユーザは、その位置(例えば、表示領域の中央)に所望の被写体を位置させるように撮像装置の姿勢(位置や向き等)を調整するだけで、容易にその被写体を距離測定対象とすることができる。
撮像装置が、被写体の顔を検出する顔検出部をさらに備え、距離測定部が、その顔検出部により検出された被写体の顔までの距離を測定するようにしてもよい。このようにすることにより、容易に被写体の顔に合焦させることができる。
撮像装置が、ユーザの視線の方向を検出する視線検出部をさらに備え、距離測定部が、視線検出部により検出されたユーザが視線を合わせた被写体までの距離を測定するようにしてもよい。このようにすることにより、ユーザは視線を所望の被写体に合わせるだけで、容易にその被写体を距離測定対象とすることができる。
撮像装置が、被写体までの距離の測定の実行指示を受け付ける指示受付部をさらに備え、距離測定部が、指示受付部により受け付けられた実行指示に基づいて、被写体までの距離を測定するようにしてもよい。このようにすることにより、ユーザに指示された場合のみ、距離測定が(すなわち、焦点距離調整も)行われるようにすることができる。つまり、ユーザが指示しない限り焦点距離が固定されるようにすることができる。これにより、例えば、ユーザは、1度焦点距離を調整した後、その焦点距離を維持したまま、撮影方向等を変更することができる。
なお、上述した焦点距離を示す表示オブジェクトは、光を透過しない非透過型の表示部に表示されるようにしてもよい。例えば、非透過型の表示部に、表示オブジェクト(フォーカスアイコン)が、撮像部において得られる撮り込み画像(スルー画とも称する)に重畳され表示されるようにしてもよい。その場合も、表示オブジェクトを上述した透過型の表示部に表示させる場合と同様に、表示オブジェクトが焦点距離に対応する奥行き位置に視えるように、左眼用画像と右眼用画像とを生成して表示部に表示させるようにすればよい。
つまり、上述した「撮像部の撮像領域の少なくとも一部を透過的に視る」ことには、透過型のディスプレイのように、「そのディスプレイを介して、そのディスプレイの背面側の現実空間の景色を視ること」だけでなく、上述した非透過型のディスプレイのように、「そのディスプレイに表示された、撮像部において得られるスルー画を視ること」も含まれる。
<2.第2の実施の形態>
<透過型HMDの外観>
本技術は、撮像装置以外にも適用することができる。例えば、透過型HMDに本技術を適用するようにしてもよい。図1は、本技術を適用した撮像装置の一態様である、透過型HMDの外観の例を示す図である。例えば図1Aに示されるように、透過型HMD100の筐体111は、所謂眼鏡型の形状を有しており、眼鏡と同様に、筐体111の端部がユーザの耳にかけられるような姿勢でユーザの顔に装着されて使用される。
眼鏡のレンズに相当する部分が表示部112(右眼用表示部112Aと左眼用表示部112B)となっている。ユーザが透過型HMD100を装着すると、右眼用表示部112Aがユーザの右眼前方の近傍に位置し、左眼用表示部112Bがユーザの左眼前方の近傍に位置する。
表示部112は、光を透過する透過型ディスプレイである。したがって、ユーザの右眼は、右眼用表示部112Aを介して、その背面側、すなわち、右眼用表示部112Aより前方の現実空間の景色(透過映像)を視ることができる。同様に、ユーザの左眼は、左眼用表示部112Bを介して、その背面側、すなわち、左眼用表示部112Bより前方の現実空間の景色(透過映像)を視ることができる。したがって、ユーザには、表示部112に表示される画像が、この表示部112より前方の現実空間の景色の手前側に重畳された状態で見える。
右眼用表示部112Aは、ユーザの右眼に見せるための画像(右眼用画像)を表示し、左眼用表示部112Bは、ユーザの左眼に見せるための画像(左眼用画像)を表示する。つまり、表示部112は、右眼用表示部112Aおよび左眼用表示部112Bのそれぞれに、互いに異なる画像を表示することができ、例えば、立体視画像を表示させることができる。
立体視画像は、互いに両眼視差と輻輳角を有する右眼用画像と左眼用画像からなり、その両眼視差と輻輳角を制御することにより、ユーザに、ユーザから遠くに位置するように見えるようにしたり、近くに位置するように見えるようにしたりすることができる画像である。つまり、立体視画像は、奥行き位置(画像の実際の表示位置ではなく、ユーザにとってあたかもそこに存在するように視える仮想的な位置(虚像位置とも称する))を制御することができる画像である。
つまり、表示部112は、ユーザにとって、この表示部112より前方の現実空間内に位置するように見えるように、画像(立体視画像)を表示することができる。
また、図1に示されるように、筐体111の表示部112近傍には、ホール(穴)113が設けられている。そのホール113付近の筐体111の内部には、被写体を撮像する撮像部が設けられている。その撮像部は、そのホール113を介して、透過型HMD100の前方(透過型HMD100を装着したユーザにとって、その透過型HMD100よりも前方)の現実空間の被写体を撮像する。より具体的には、撮像部は、ユーザから見て表示部112(右眼用表示部112Aおよび左眼用表示部112B)の表示領域内に位置する現実空間の被写体を撮像する。これにより撮像画像の画像データが生成される。生成された画像データは、例えば、所定の記憶媒体に記憶されたり、他のデバイスに伝送されたりする。
なお、このホール113(すなわち撮像部)の位置は、任意であり、図1Aに示される例以外の位置に設けられるようにしてもよい。また、このホール113の数(すなわち撮像部)の数は任意であり、図1Aのように1つであってもよいし、複数であってもよい。
また、ユーザの顔(頭部)に、右眼用表示部112Aがユーザの右眼前方の近傍に位置し、左眼用表示部112Bがユーザの左眼前方の近傍に位置するように、装着することができる限り、筐体111の形状は任意である。例えば、透過型HMD100が図1Bのような形状であってもよい。
図1Bの例の場合、透過型HMD100の筐体131は、ユーザの頭部を後方から挟むように固定するような形状に形成されている。この場合の表示部132も、表示部112と同様の透過型のディスプレイである。すなわち、表示部132も、右眼用表示部132Aと左眼用表示部132Bを有しており、ユーザが透過型HMD100を装着すると、右眼用表示部132Aがユーザの右眼前方の近傍に位置し、左眼用表示部132Bがユーザの左眼前方の近傍に位置する。
そして、右眼用表示部132Aは、右眼用表示部112Aと同様の表示部であり、左眼用表示部132Bは、左眼用表示部112Bと同様の表示部である。つまり、表示部132も表示部112と同様に立体視画像を表示することができる。
また、図1Bの場合も、図1Aの場合と同様に、筐体131の表示部132近傍には、ホール(穴)113と同様のホール(穴)133が設けられ、そのホール133付近の筐体131の内部には、被写体を撮像する撮像部が設けられている。その撮像部は、図1Aの場合と同様に、そのホール133を介して、透過型HMD100の前方(透過型HMD100を装着したユーザにとって、その透過型HMD100よりも前方)の現実空間の被写体を撮像する。
当然、このホール133(すなわち撮像部)の位置は、図1Aの場合と同様に任意であり、図1Bに示される例以外の位置に設けられるようにしてもよい。また、このホール133の数(すなわち撮像部)の数も、図1Aの場合と同様に任意である。
また、図1Cに示される例のように、図1Aの例の透過型HMDの構成の一部が、筐体111とは別体として構成されるようにしてもよい。図1Cの例の場合、筐体111は、ケーブル151を介して、コントロールボックス152と接続されている。
ケーブル151は、所定の有線通信の通信路であり、筐体111内部の回路と、コントロールボックス152内部の回路とを電気的に接続する。コントロールボックス152は、図1Aの例の場合の、筐体111内部の構成(回路等)の一部を有する。例えば、コントロールボックス152が制御部や画像データを記憶する記憶部等を有し、筐体111内部の回路とコントロールボックス152内部の回路とで通信を行い、筐体111内部の撮像部がコントロールボックス152の制御部の制御に従って撮像を行い、その撮像により得られた撮像画像の画像データがコントロールボックス152に供給され、その記憶部に記憶されるようにしてもよい。
コントロールボックス152は、例えば、ユーザの服のポケット等に格納することができる。このような構成とすることにより、透過型HMD100の筐体111を、図1Aの場合よりも小型化することができる。
なお、筐体111内部の回路とコントロールボックス152内部の回路とが行う通信は、有線通信であってもよいし、無線通信であってもよい。無線通信の場合、ケーブル151は、省略することができる。
<内部の構成例>
図2は、透過型HMD100の内部の構成例を示すブロック図である。図2に示されるように、透過型HMD100は、システムコントローラ211を有する。
システムコントローラ211は、例えばCPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)、不揮発性メモリ部、インタフェース部等を備えたマイクロコンピュータにより構成され、透過型HMD100の各部を制御する制御部である。このシステムコントローラ211は内部の動作プログラムに基づいて各部の制御を行う。例えば、システムコントローラ211は、各部を制御し、表示部112に表示させる画像の表示制御を行う。
また、透過型HMD100は、センサ部221、センサ制御部222、およびセンサ信号処理部223を有する。
センサ部221は、例えば、表示部112の近辺に搭載された加速度センサ、ジャイロセンサ、磁気センサ、気圧センサ等任意のセンサを有し、ユーザの動きに応じた信号として、例えばユーザの頭部の動き、首の動き、透過型HMD100の動きなどを検出する。また、センサ部221は、静電容量センサやボタン、GPS(Global Positioning System)等を有し、ユーザが透過型HMD100を操作するために使うセンサ系の信号もこの部位で処理されるようにしてもよい。
つまり、センサ部221は、任意の入力デバイスを有し、その入力デバイスを介して入力される情報を受け付ける。このような入力デバイスの位置は任意であり、表示部112近傍に限らない。
また、センサ部221は、ユーザの視線等を検出するセンサを有するようにしてもよい。例えば、センサ部221は、そのようなセンサとして、表示部112の近傍に配置され、ユーザの眼部を撮像する撮像部(視線撮像部)を有するようにしてもよい。この場合、例えば、システムコントローラ211が、その視線撮像部が撮像したユーザの眼部の画像について画像解析を行うことで、視線方向、焦点距離、瞳孔の開き具合、眼底パターン、まぶたの開閉などを検出するようにしてもよい。また、センサ部221が、そのような視線撮像部の代わりに、表示部112の近傍に配置されてユーザの眼部に光を照射する発光部と、眼部からの反射光を受光して光電変換し、電気信号(受光信号)として出力する受光部とを有するようにしてもよい。その場合、システムコントローラ211が、その受光部において得られた受光信号に基づいて、視線方向等を検出するようにしてもよい。また、例えば、システムコントローラ211が、受光部が受光した反射光を電気信号に変換した受光信号からユーザの水晶体の厚みを検知するようにしてもよい。つまり、センサ部221が、ユーザの視線の方向を検出する視線検出部を有するようにしてもよい。そして、その検出方法は任意である。
センサ制御部222は、システムコントローラ211からの指示に基づいて、どのタイミングでどのセンサを駆動するか、若しくは、どういった駆動方法で検出を行うかなどのセンサ制御を行う。また、センサ信号処理部223は、センサ部221において検出されたセンサ信号について、システムコントローラ211側に送る前処理として、平均や分散などの各種数値処理を行う。
透過型HMD100では、電源オン/オフ、各種情報画像の表示開始、終了、画像内容の変更、輝度レベルや色合い等の表示調整、表示画面上の表示領域の変更等のために、ユーザの操作が必要になる場合がある。例えばセンサ部221として、それらの操作(処理動作のトリガ検出)のためには、例えばユーザが操作する操作キーや操作ダイヤルとしての操作子と、その操作子の操作を検知する操作検知機構を設け、システムコントローラ211がユーザの操作を検知することができるようにしてもよい。
そのような操作子を設ける代わりに、センサ部221の各センサで検出されるユーザの状況(例えば眼の動きや身体の挙動や状態等)に基づいて、システムコントローラ211がユーザの操作意志や適切な動作処理を判別し、それに応じた処理を実行するようにしてもよい。
さらには、センサ部221が、その他の外界情報(例えば透過型HMD100の周囲の状況や、場所、日時、被写体の状況などの検知情報)を検知する構成を有するようにし、システムコントローラ211が、センサ部221により検出された外界情報に基づいて適切な動作処理を判別し、処理を実行するようにしてもよい。
また、透過型HMD100は、画像生成部231、表示画像処理部232、表示駆動部233、および表示制御部234を有する。
画像生成部231は、システムコントローラ211の制御に基づいて、画像信号を生成する。システムコントローラ211は、各部から得られる内容や数値に応じて、画像生成部231にユーザに提示するための画像となる画像信号を生成させ、イメージ画像、グラフ画像、文字表示画像、或いはユーザに対する警告提示の為の画像としての画像信号を生成する。
表示画像処理部232は、いわゆるビデオプロセッサを有し、供給された画像信号に対して各種表示のための処理を実行する。例えば、表示画像処理部232は、撮像信号処理部252から供給される撮像信号の輝度レベル調整、色補正、コントラスト調整、シャープネス(輪郭強調)調整などを行う。また、表示画像処理部232が、画面上での表示位置の設定も行うようにしてもよい。さらに、表示画像処理部232が、撮像信号の一部を拡大した拡大画像の生成、或いは縮小画像の生成、ソフトフォーカス、モザイク、輝度反転、画像内の一部のハイライト表示(強調表示)、全体の色の雰囲気の変化などの画像エフェクト処理、撮像画像の分割表示のための画像の分離や合成、キャラクタ画像やイメージ画像の生成及び生成した画像を撮像画像に合成する処理などを行うようにしてもよい。表示画像処理部232は、信号処理を行った画像信号を表示駆動部233に供給する。
なお、表示画像処理部232が、このような処理を、表示制御部234から供給される指示や、センサ信号処理部223から供給されるセンサ信号に応じて行うようにしてもよい。また、表示画像処理部232が、表示制御部234から供給される画像に対しても同様の処理を行うようにしてもよい。例えば、表示画像処理部232には画像生成部231で生成された画像信号が供給されるが、この画像信号に対しても、表示のための所要の信号処理を行って表示駆動部233に供給するようにしてもよい。
表示駆動部233は、表示画像処理部232から供給される画像信号を、表示部112において表示させるための画素駆動回路で構成されている。即ち、表示駆動部233は、表示部112においてマトリクス状に配置されている各画素について、それぞれ所定の水平/垂直駆動タイミングで映像信号に基づく駆動信号を印加し、表示を実行させる。また表示駆動部233は、表示部112の各画素の輝度を制御して、画面全体及び一部をスルー状態とすることもできる。
表示制御部234は、システムコントローラ211の指示に基づいて、表示画像処理部232の処理動作や表示駆動部の動作、左右それぞれの表示部に表示する画像を制御し、表示画像処理部232に対する信号処理の指示を行う。また表示駆動部233に対してはスルー状態、画像表示状態、片眼表示状態の切り換え等が行われるように制御する。
また、透過型HMD100は、音声生成部241、音声出力部242、音声入力部243、および音声信号処理部244を有する。
音声生成部241は、システムコントローラ211の指示に基づいて、音声合成処理を行ってメッセージ音声等の音声信号を生成したり、電子音その他のユーザに提示する音声信号を生成したりする。
音声出力部242は、例えば透過型HMD100に搭載されたスピーカまたはイヤホンスピーカと、そのスピーカに対するアンプ回路を有する。音声生成部241で生成された音声信号が音声出力部242に供給されることにより、ユーザはメッセージ音声や電子音等を聞くことができる。なお音声出力部242は、いわゆる骨伝導スピーカとして構成されてもよい。
音声入力部243は、マイクロホンで得られた音声信号を増幅処理するマイクアンプ部やA/D変換器を有し、音声データを出力する。
音声信号処理部244は、例えばデジタルシグナルプロセッサ、D/A変換器などからなる。この音声信号処理部244には、音声入力部243で得られた音声データや、音声生成部241で生成された音声データが供給される。音声信号処理部244は、供給された音声データに対して、システムコントローラ211の制御に応じて、音量調整、音質調整、音響エフェクト等の処理を行う。そして、音声信号処理部244は、処理した音声データをアナログ信号に変換して音声出力部242に供給する。なお、音声信号処理部244は、デジタル信号処理を行う構成に限られず、アナログアンプやアナログフィルタによって信号処理を行うようにしてもよい。
音声信号処理部244から出力された音声信号は、音声出力部242のイヤホンスピーカから音声として出力される。このような構成により、ユーザは、音声入力部243で集音された外部音声を聞いたり、音声生成部241で生成された音声を聞いたりすることができる。
また、透過型HMD100は、撮像部251、撮像信号処理部252、および撮像制御部253を有する。
撮像部251は、撮像レンズや、絞り、ズームレンズ、フォーカスレンズなどを備えて構成されるレンズ系や、レンズ系に対してフォーカス動作やズーム動作を行わせるための駆動系、さらにレンズ系で得られる撮像光を検出し、光電変換を行うことで撮像信号を生成する固体撮像素子アレイなどが設けられる。固体撮像素子アレイは、例えばCCD(Charge Coupled Device)センサアレイや、CMOS(Complementary Metal Oxide Semiconductor)センサアレイ等よりなる。
撮像部251は、例えばホール113を介して、ユーザの前方の光景(ユーザの前方の現実空間の被写体)を撮像する。もちろん撮像部251によってユーザの後方等、他の方向の光景が撮像されるようにしてもよい。
撮像信号処理部252は、撮像部251の固体撮像素子によって得られる信号に対するゲイン調整や波形整形を行うサンプルホールド/AGC(Automatic Gain Control)回路や、ビデオA/Dコンバータ等を有し、デジタルデータとしての撮像信号を得る。また、撮像信号処理部252が、撮像信号に対してホワイトバランス処理、輝度処理、色信号処理、ぶれ補正処理なども行うようにしてもよい。
撮像制御部253は、システムコントローラ211からの指示に基づいて、撮像部251および撮像信号処理部252の動作を制御する。例えば撮像部251,撮像信号処理部252の動作のオン/オフを制御する。また撮像制御部253は撮像部251に対して、オートフォーカス、自動露出調整、絞り調整、ズーム、焦点変更などの動作を実行させるための制御(モータ制御)を行う。
なお、撮像レンズによる被写体方向を可変できる可動機構が設けられている場合は、撮像制御部253はシステムコントローラ211の指示に基づいて、可動機構の動作を制御して撮像部251における撮像レンズの方向を変化させる。
また撮像制御部253は、タイミングジェネレータを備え、撮像部251の固体撮像素子、並びに、撮像信号処理部252のサンプルホールド/AGC回路、およびビデオA/Dコンバータに対して、タイミングジェネレータにて生成されるタイミング信号により信号処理動作を制御する。また、このタイミング制御により撮像フレームレートの可変制御も可能とされる。
さらに、撮像制御部253が、撮像部251の固体撮像素子や撮像信号処理部252における撮像感度や信号処理の制御を行うようにしてもよい。例えば、撮像制御部253が、撮像感度制御として撮像部251の固体撮像素子から読み出される信号のゲイン制御、黒レベル設定制御、デジタルデータ段階の撮像信号処理の各種係数制御、ぶれ補正処理における補正量制御等を行うようにしてもよい。
また、撮像制御部253が、波長帯域を考慮しない全体的な感度調整や、例えば赤外線領域、紫外線領域など、特定の波長帯域の撮像感度を調整する感度調整(例えば特定波長帯域をカットするような撮像)等の制御を行うようにしてもよい。例えば、波長に応じた感度調整は、撮像レンズ系における波長フィルタの挿入や、撮像信号に対する波長フィルタ演算処理により行うことができる。これらの場合、撮像制御部253は、波長フィルタの挿入制御や、フィルタ演算係数の指定等を行うことにより、感度制御を行うことができる。
例えば、撮像部251および撮像信号処理部252によって得られる撮像画像信号が、画像生成部231で生成される情報画像信号とともに表示画像処理部232に供給される。表示画像処理部232は、各画像信号について上述した各種信号処理を実行し、また2つの画像信号について、同時に表示部112に表示させるための画面分割としての信号処理(画像合成処理)を行う。
表示画像処理部232で合成処理された画像信号が、表示駆動部233に供給されて表示部112で表示されることで、表示部112では、撮像画像とその他の画像が、同時表示されることになる。言い換えれば、ユーザは、撮像画像を見ている状態においても、種々の画像を見ることができる。
撮像動作の開始、終了、ズーム動作、フォーカス動作、撮像画像調整などのためにユーザの操作が必要になる場合がある。もちろん、電源オン/オフ、各種情報画像の表示開始、終了、画像内容の変更、輝度レベルや色合い等の表示調整、表示画面上の表示領域の変更等のために、ユーザの操作が必要になる場合もある。例えば、それらの操作(動作のトリガ)のために操作キー等の操作子を、センサ部221に設けるようにしても良いが、センサ部221の各種センサで検出されるユーザの状況(例えば眼の動きや身体の挙動や状態等)からシステムコントローラ211がユーザの操作意志や適切な動作処理を判別し、それに応じた処理を実行するようにしてもよい。
さらには、外界情報(透過型HMD100)の周囲の状況や、場所、日時、被写体の状況などの検知情報)を検知することができる構成とし、システムコントローラ211がその外界情報に基づいて適切な動作処理を判別し、処理を実行するようにしてもよい。
また、透過型HMD100は、記憶部261、通信部262、およびドライブ263を有する。
記憶部261は、HDD(Hard Disk Drive)、フラッシュメモリ等の固体メモリ、固定メモリを内蔵したメモリカード、光ディスク、光磁気ディスク、ホログラムメモリ等、任意の記憶媒体を有し、その記憶媒体についてデータの記録再生を行う。
例えば、撮像部251により撮像され、撮像信号処理部252により処理された撮像信号としての画像データや、通信部262により受信された画像データ、さらには画像生成部231により生成された各種情報画像信号が、この記憶部261に記憶されるようにしてもよい。また音声入力部243において得られた音声データや、通信部262により受信した音声データ、さらには音声生成部241により生成された音声データも、この記憶部261に記憶されるようにしてもよい。
記憶部261は、システムコントローラ211の制御に従って、供給された画像データや音声データに対して、その記憶媒体への記録のためのエンコード処理を行い、エンコードされたデータ(符号化データ)を記憶媒体に記憶する。また記憶部261は、システムコントローラ211の制御に従って、記憶媒体より画像データや音声データを再生し、他の処理部へ出力する。
記憶部261で再生されるデータとしては、例えば映画やビデオクリップなどの動画コンテンツ、デジタルスチルカメラ等で撮像されて記録媒体に記録された静止画コンテンツ、電子書籍等のデータ、ユーザがパーソナルコンピュータ等で作成した画像データ、テキストデータ、表計算データ等のコンピュータユースのデータ、ゲーム画像など、表示対象となるあらゆるデータが想定される。
通信部262は、透過型HMD100の外部の装置(外部機器とも称する)とデータの送受信を行う。外部機器としては、例えば通信機能を備えたビデオカメラ、デジタルスチルカメラ等の撮像装置、コンピュータ装置、スッマートフォン、スマートウォッチ、ビデオストレージ機器やテレビジョン受像器等のAV機器、ネットワークサーバ装置などが想定される。
また、無線LAN(Local Area Network)やブルートゥース(Bluetooth(登録商標))などの所定の方式で、例えばネットワークアクセスポイントに対する近距離無線通信を介してネットワーク通信を行う構成としても良いし、対応する通信機能を備えた外部機器との間で直接無線通信を行うものでもよい。
外部機器から透過型HMD100に送信されるデータとしては、外部機器が撮像装置である場合は、その撮像装置で撮像された画像データであったり、外部機器がコンテンツソース機器となる機器であったりする場合は、映画やビデオクリップなどの動画コンテンツ、デジタルスチルカメラ等で撮像されて記録媒体に記録された静止画コンテンツ、電子書籍等のデータ、ユーザがパーソナルコンピュータ等で作成した画像データ、テキストデータ、表計算データ等のコンピュータユースのデータ、ゲーム画像など、表示対象となるあらゆるデータが想定される。
また、音声入力部243で得られた音声データ、ストレージ部で再生された音声データ、通信部262で受信された音声データは、システムコントローラ211の指示によって音声信号処理部に供給される。
従ってユーザは、デバイスを装着した状態で、撮像画像と撮像時の外部音声を視聴したり、ストレージ部で再生された画像や音声を視聴したり、通信部で受信した画像や音声を視聴することができる。
そして特に、画像生成部231での画像が、これらの撮像画像、又は再生画像、又は受信画像とともに表示画像処理部に供給されることで、撮像画像、又は再生画像、又は受信画像とともにさまざまな情報画像が表示される。
また音声生成部241で音声データが生成されたタイミングでは、その生成された音声データを音声信号処理部244に供給することで、例えば外部音声、再生音声、受信音声を聞いている際に、音声生成部241で生成されたメッセージ音声や警告音等を聞くことができる。
表示系の動作や撮像機能にかかる動作に加え、記憶部261での再生、頭出し、早送り/早戻し、一時停止、記録などのための動作制御や、通信部262での送受信に関する動作制御のトリガを、システムコントローラが判断しなければならないが、この場合も、ユーザが操作する操作キー等の操作子を、例えばセンサ部221等に設け、操作に応じた処理を実行するようにしてもよい。また、センサ部221で検出されるユーザの状況(例えば眼の動きや身体の挙動や状態等)からシステムコントローラ211がユーザの操作意志や適切な動作処理を判別し、それに応じた処理を実行するようにしてもよい。
さらには、センサ部221が、透過型HMD100の外界情報(表示装置の周囲の状況や、場所、日時、被写体の状況などの検知情報)を検知することができる構成を有し、システムコントローラ211がその外界情報に基づいて適切な動作処理を判別し、処理を実行するようにしてもよい。
ドライブ263には、光ディスクや半導体メモリなどよりなるリムーバブルメディア264が適宜装着される。ドライブ263によりリムーバブルメディア264から読み出されたコンピュータプログラムやデータは、システムコントローラ211に供給され、記憶部261に記憶されたり、インストールされたりする。
以上のような構成の透過型HMD100において、上述したように表示部112は、表示部112の背面側(ユーザからみて表示部112よりも前方)からの光を透過し、その背面側の現実空間の景色に重畳して、複数視点の画像からなる立体視画像を表示する。
また、撮像部251は、ユーザから視て表示部112の表示領域内に位置する現実空間の被写体を撮像する。
撮像部251は、焦点距離調整機能(フォーカス機能)を有する。例えば、撮像部251が、ユーザの操作により焦点距離を調整する手動焦点距離調整機能(マニュアルフォーカスとも称する)を有するようにしてもよい。
画像生成部231は、撮像部251の焦点距離を示す立体視画像(焦点距離を示す表示オブジェクト、すなわちフォーカスアイコンの左眼用画像と右眼用画像)を生成する。表示制御部233は、そのフォーカスアイコンの虚像位置が、その焦点距離に対応する奥行き位置となるように、そのフォーカスアイコンの視差および輻輳角を設定し、表示画像処理部232にその設定をフォーカスアイコンに適用させ、その奥行き位置が焦点距離に対応する位置となるように視差と輻輳角が設定されたフォーカスアイコンを表示部112に表示させる。
なお、その際、表示制御部234が、任意の方法でフォーカスアイコンの視差および輻輳角を設定するようにしてもよい。例えば特開平08−322004号公報には、視度に対する輻輳角が実時間で略一致するように、電気的に表示面上に表示する映像を水平方向にシフトする手段を備える立体視ディスプレイ装置が開示されている。また、特開平08−211332号公報には、両眼視差を利用して立体映像を得るものであり、再生映像を見るときの輻輳角を設定するために輻輳角選択手段と、選択された輻輳角に関する情報に基づいて左右の映像の相対的再生位置を制御する制御手段とを具備する立体映像再生装置が開示されている。例えば、表示制御部234が、これらの内のいずれかの方法を利用してフォーカスアイコンの視差および輻輳角を設定するようにしてもよい。
また、例えば、撮像部251が、ユーザの操作なしに焦点距離を調整する自動焦点距離調整機能(オートフォーカスとも称する)を有するようにしてもよい。例えば、センサ部221が、ユーザから視て表示部112よりも前方の現実空間の物体までの距離を測定する測距センサを有し、その測距センサが撮像部251が撮像する被写体までの距離を測定するようにしてもよい。そして、撮像制御部253が、撮像部251に対して、センサ部221の測距センサによって測定された距離(被写体までの距離)に合わせるように、焦点距離を調整させるようにしてもよい。
この測距センサの距離測定方法は任意であるが、例えば、ステレオカメラを用いたパッシブ型の測距技術や、距離画像カメラやレーザーカメラを用いたアクティブ型の測距技術等を用いるようにしてもよい。例えば、特開2012−222386号公報では、ステレオカメラによってユーザの位置を特定する方法が開示されている。また、特開2011−205388号公報には、ステレオカメラのキャリブレーション方法が開示されている。センサ部221が、これらの方法を利用して被写体までの距離を測定するようにしてもよい。
なお、この測距センサが、撮像部251が撮像する範囲(撮像領域)の所定の位置に位置する物体(被写体)までの距離を測定するようにしてもよい。例えば、測距センサが、撮像領域の、ユーザから視て表示部112の表示領域の中央に視える位置に位置する被写体までの距離を測定するようにしてもよい。また、センサ部221がユーザの視線を検出する視線検出センサをさらに有し、測距センサが、撮像領域の、その視線検出センサにより検出されたユーザの視線の方向にある物体(被写体)までの距離を測定するようにしてもよい。さらに、センサ部221が、撮像領域の、ユーザから視て表示部112の表示領域内に視える被写体の顔部分を検出する顔検出センサを有し、その顔検出センサにより検出された被写体の顔部分までの距離を測定するようにしてもよい。
以上のように測距センサを用いて被写体までの距離を測定し、その被写体までの距離に合わせるように焦点距離が調整される場合(すなわちオートフォーカスの場合)も、表示制御部234は、上述したマニュアルフォーカスの場合と同様に、焦点距離を示すフォーカスアイコンの虚像位置が、その焦点距離に対応する奥行き位置となるように、そのフォーカスアイコンの視差および輻輳角を設定する。表示画像処理部232は、フォーカスアイコンにその設定を適用し、表示部112は、そのフォーカスアイコンを表示する。
なお、顔検出センサが、撮像領域の、ユーザから視て表示部112の表示領域内に視える複数の被写体の顔部分を検出し、測距センサが、その顔検出センサにより検出された各被写体の顔部分までの距離を測定するようにしてもよい。その場合、表示部112には、各被写体についてフォーカスアイコンが表示される(すなわち、表示部112に複数のフォーカスアイコンが表示される)ようにしてもよい。つまり、表示部112に表示されるフォーカスアイコンの数は任意である。
なお、フォーカスアイコンの形状は任意であり、例えば、十字、四角形、円形等であってもよいし、それ以外であってもよい。
また、表示制御部234が、表示オブジェクトの大きさを、焦点距離に応じて設定するようにしてもよい。つまり、表示部112に表示されるフォーカスアイコンが、その奥行き位置(すなわち焦点距離)に応じた大きさで表示されるようにしてもよい。例えば、焦点距離が遠い程、フォーカスアイコンの大きさを小さくする(換言するに、焦点距離が近い程、フォーカスアイコンの大きさを大きくする)ようにしてもよい。つまり、焦点距離をフォーカスアイコンの奥行き位置と大きさによって表すようにしてもよい。
以上の各部の処理は、システムコントローラ211の制御に基づいて行われる。つまり、システムコントローラ211は、第1の実施の形態において説明した撮像装置の場合と同様に、撮像部の焦点距離を調整させ、その表示オブジェクトがその焦点距離に対応する奥行き位置に視えるように、立体視画像の左眼用画像と右眼用画像とを生成させて、撮像部の撮像領域の少なくとも一部を透過的に視ることができ、左眼用画像と右眼用画像とからなる立体視画像を表示する表示部に表示させ、撮像部により被写体を撮像させる。
<撮像処理の流れ>
システムコントローラ211は、撮像処理を実行することにより各部を制御して、以上のような撮像に関する処理を実行させる。図3のフローチャートを参照して、この撮像処理の流れの例を説明する。必要に応じて図4乃至図6を参照して説明する。なお、ここでは、撮像部251が、オートフォーカス機能を有し、センサ部221が、測距センサによって被写体までの距離を測定し、撮像制御部253が、撮像部251に対して、その測定された距離に合わせるように、焦点距離を調整させる場合の撮像処理の流れの例について説明する。
撮像処理が開始されると、ステップS101において、システムコントローラ211は、焦点距離を調整するか否かを判定する。例えば、センサ部221においてユーザからの、焦点距離を調整する指示が受け付けられる等した場合、システムコントローラ211は、処理をステップS102に進める。
ステップS102において、システムコントローラ211は、センサ制御部222を介してセンサ部221を制御し、被写体までの距離を測定させる。
ステップS103において、システムコントローラ211は、撮像制御部253を介して撮像部251を制御し、ステップS102において測定された距離に合焦させるように焦点距離を調整(設定)させる。なお、マニュアルフォーカスの場合は、ステップS102の処理が省略され、ステップS103において、撮像部251がユーザの操作に従って焦点距離を調整(設定)する。
ステップS104において、システムコントローラ211は、表示制御部234を制御し、フォーカスアイコンの大きさを、ステップS102において測定された距離に応じた大きさに設定する。また、システムコントローラ211は、表示制御部234を制御し、ステップS102において測定された距離(焦点距離)に応じた奥行き位置となるようにフォーカスアイコンの両眼視差や輻輳角を設定する。
ステップS105において、システムコントローラ211は、画像生成部231を制御し、フォーカスアイコンの立体視画像を生成させる。そして、システムコントローラ211は、表示制御部234を介して表示画像処理部232を制御し、ステップS104において設定された大きさ、両眼視差、輻輳角等の設定を、画像生成部231が生成したフォーカスアイコンに適用させることにより、ユーザ(透過型HMD100)から虚像位置までの距離(虚像距離とも称する)が焦点距離となるフォーカスアイコンの立体視画像を生成させる。
ステップS106において、システムコントローラ211は、表示制御部234を介して表示駆動部233および表示部112を制御し、ステップS105において生成されたフォーカスアイコンの立体視画像を表示部112に表示させる。つまり、システムコントローラ211は、フォーカスアイコンの右眼用画像を右眼用表示部112Aに表示させ、フォーカスアイコンの左眼用画像を左眼用表示部112Bに表示させる。
これにより、フォーカスアイコンが、現実空間内の透過型HMD100(ユーザ)から焦点距離の位置に存在するようにユーザに見えるように、表示部112に表示される。
例えば、図4Aに示されるように、ユーザ301(透過型HMD100)から被写体302までの距離がaと検出された場合、システムコントローラ211は、表示部112に表示するフォーカスアイコン311の虚像距離もaとするように、フォーカスアイコン311の両眼視差や輻輳角を設定する。これにより、ユーザには、図4Bに示されるように、表示部112に表示されたフォーカスアイコン311が被写体302と同位置に存在するように見える。つまり、ユーザは、そのフォーカスアイコンの虚像位置から被写体に合焦していることを容易に把握することができる。つまり、ユーザは、焦点距離をより容易に把握することができる。
もし、被写体302が図5に示すようにaよりもbだけ手前に位置する場合、システムコントローラ211は、フォーカスアイコン311の両眼視差や輻輳角を制御して、フォーカスアイコン311の虚像位置もbだけ手前に表現させる。その際、システムコントローラ211が、フォーカスアイコン311の虚像位置(両眼視差や輻輳角の設定)のみを制御するようにしてもよい。ただし、その場合、図5Bの例のように、被写体302は、図4Bの場合よりも大きくなるのに対して、フォーカスアイコン311の大きさは図4Bの例と同様になる。したがって、被写体302とフォーカスアイコン311の大きさの関係が変化する(被写体302に対してフォーカスアイコン311が小さくなる)ので、フォーカスアイコン311の虚像位置が近くなるのにフォーカスアイコン311の大きさが小さくなることにより遠くなったように感じる、といったユーザに違和感を与える可能性がある。
そこで、システムコントローラ211が、図5Cの例のように、表示部112に表示されるフォーカスアイコン311の大きさをそのフォーカスアイコン311の虚像位置に応じて変化させるようにしてもよい。例えば、フォーカスアイコン311の虚像位置が近づく(虚像距離が小さくなる)程、フォーカスアイコン311を大きく表示させるようにしてもよい。なお、このフォーカスアイコン311の大きさの変化量は虚像位置の変化量と比例するようにしてもよいし、より大きさの変化を強調するように、虚像位置によってその変化量が変わるようにしてもよい。例えば、虚像位置が近いほど、フォーカスアイコン311の大きさの変化量が大きくなるようにしてもよい。
また、図6Aに示されるように被写体302がaよりもcだけ奥に存在する場合、システムコントローラ211は、フォーカスアイコン311の両眼視差や輻輳角を制御して、フォーカスアイコン311の虚像位置もcだけ奥に表現させる。その際、システムコントローラ211が、フォーカスアイコン311の虚像位置(両眼視差や輻輳角の設定)のみを制御するようにしてもよい。ただし、その場合、図6Bの例のように、被写体302は、図4Bの場合よりも小さくなるのに対して、フォーカスアイコン311の大きさは図4Bの例と同様になる。したがって、被写体302とフォーカスアイコン311の大きさの関係が変化する(被写体302に対してフォーカスアイコン311が大きくなる)ので、フォーカスアイコン311の虚像位置が遠くなるのにフォーカスアイコン311の大きさが大きくなることにより近くなったように感じる、といったユーザに違和感を与える可能性がある。
そこで、システムコントローラ211が、図6Cの例のように、表示部112に表示されるフォーカスアイコン311の大きさをそのフォーカスアイコン311の虚像位置に応じて変化させるようにしてもよい。例えば、フォーカスアイコン311の虚像位置が遠くなる(虚像距離が大きくなる)程、フォーカスアイコン311を小さく表示させるようにしてもよい。なお、このフォーカスアイコン311の大きさの変化量は虚像位置の変化量と比例する(虚像位置に関わらず一定である)ようにしてもよいし、より大きさの変化を強調するように、虚像位置によってその変化量が変わるようにしてもよい。例えば、虚像位置が遠いほど、フォーカスアイコン311の大きさの変化量が小さくなるようにしてもよい。
なお、フォーカスアイコン311の虚像距離(虚像位置)を変更するには、システムコントローラ211は、右眼用画像と左眼用画像のそれぞれにおいて、フォーカスアイコン311の表示位置を変化させることで可能になる。例えば、図4Aのように、虚像距離をaとしたときの輻輳角をαとし、図5Aのように、虚像距離aからbだけ近づいた時の輻輳角をβとし、図6Aのように、虚像距離aからcだけ遠ざかったときの輻輳角をγとし、左右の瞳間距離をDとする。仮にD=61.5mm,a=4000mmとすると、α=53分となる。
ここで表示部112(右眼用表示部112Aおよび左眼用表示部112Bのそれぞれ)における1画素分を3分とすると、フォーカスアイコン311の表示位置を所定の位置から水平方向に1画素分、内側にずらすとβ=56分となり、b=225mmとなる。
また、表示部112(右眼用表示部112Aおよび左眼用表示部112Bのそれぞれ)におけるフォーカスアイコン311の表示位置を所定の位置から水平方向に1画素分、外側にずらしたとすると、γ=50分となり、c=228mmとなる。
このように、フォーカスアイコンの表示位置を変化させることで輻輳角が変わることから、虚像距離を任意の位置に替えることができる。
なお、例えば、システムコントローラ211が、フォーカスアイコン311の虚像距離を、測距によって計測されたユーザ301(透過型HMD100)と被写体302との距離に完全に一致するように調整しなくでも、フォーカスアイコン311と被写体302との前後関係が一致していれば、ユーザはどこにピントを合わせているかを把握することへの補助になり、同様の効果が得られる。
なお、例えば、焦点距離調整後、ユーザ301が透過型HMD100の向き(すなわち撮像方向)を変える等することにより、表示部112の表示領域において、フォーカスアイコン311が存在するように見える位置の手前に現実空間の物体が位置するようになった場合、システムコントローラ211は、その前後関係を表現するように、フォーカスアイコン311の、その物体と重なる部分を表示しないようにしてもよい。例えば、フォーカスアイコン311と現実空間の物体の位置関係が、その物体によってフォーカスアイコン311の全体が隠れるような関係になった場合、システムコントローラ211は、フォーカスアイコン311を表示させないようにしてもよい。
図3に戻り、ステップS106の処理が終了すると、処理はステップS107に進む。また、ステップS101において、例えばユーザからの指示が受け付けられておらず、焦点距離を調整しないと判定された場合、処理は、ステップS107に進む。
ステップS107において、システムコントローラ211は、被写体を撮像するか否かを判定する。例えば、センサ部221においてユーザからの、被写体を撮像する指示が受け付けられる等した場合、システムコントローラ211は、処理をステップS108に進める。
ステップS108において、システムコントローラ211は、撮像制御部253を介して撮像部251を制御し、被写体を撮像し、撮像画像の画像データを生成させる。
撮像画像の画像データが得られると、処理はステップS109に進む。また、ステップS107において、例えば、センサ部221においてユーザからの、被写体を撮像する指示が受け付けられておらず、被写体を撮像しないと判定された場合、システムコントローラ211は、処理をステップS109に進める。
ステップS109において、システムコントローラ211は、撮像処理を終了するか否かを判定する。例えばセンサ部221においてユーザ等から撮像終了の指示が受け付けられておらず、撮像を続けると判定された場合、システムコントローラ211は、処理をステップS101に戻し、それ以降の処理を実行させる。
また、ステップS109において、例えば、センサ部221においてユーザ等から撮像終了の指示が受け付けられる等して、撮像処理を終了すると判定された場合、システムコントローラ211は、撮像処理を終了する。
以上のように撮像処理を行うことにより、透過型HMD100(システムコントローラ211)は、各部を制御し、焦点距離を示すフォーカスアイコンの立体視画像を、その虚像距離を焦点距離に合わせるように両眼視差や輻輳角を制御して、表示部112に表示させることができる。これにより、ユーザは、焦点距離をより容易に把握することができる。
<焦点距離調整の具体例>
次に、焦点距離の調整の様子の例について説明する。フォーカスアイコン311の位置は、表示部112の表示領域の所定の位置(例えば中央)に固定するようにしてもよい。図7にその例を示す。
例えば、図7Aのように、表示部112の表示領域内に現実空間の物体である被写体321乃至被写体323が存在するとする。ユーザが指示を入力する等して、カメラ機能が起動されると、図7Bに示されるように、例えば表示部112の表示領域の中央にフォーカスアイコン311が表示される。
図7Cに示されるように、ユーザは、顔の方向を変えることにより透過型HMD100の向き(撮像の方向)を変え、所望の被写体322がフォーカスアイコン311と重畳させる。
この状態において、焦点距離の測定が実行されると、被写体322までの距離が測定される。そして、フォーカスアイコン311の虚像距離がその測定された被写体322までの距離と一致するように、フォーカスアイコン311の両眼視差や輻輳角、並びにフォーカスアイコン311の大きさが調整される。これにより、図7Cに示されるように、表示部112に表示されるフォーカスアイコン311の虚像位置や大きさが、被写体322までの距離に合うように変化し、ピントが被写体322に合ったことをユーザに知らせる。この際、音によるフィードバックがあっても良い。
その状態で、ユーザ等が撮像を指示すると撮像が行われ、撮像画像の画像データが得られる。以上のような焦点距離調整や撮像の実行指示は、ユーザが透過型HMD100若しくはその撮影機能に関連するデバイスにタッチしたり、多段階押し込みボタンを操作したり、音声を発したりすることで入力される。なお、焦点距離を調整させたり、カメラ機能を起動させたりすることにより、被写体の撮像までの処理が行われるようにしてもよい。
なお、焦点距離調整のトリガとしてユーザ等の指示入力が必要な場合、図7Cの状態から、図7Dのように、ユーザは、顔の方向を変えることにより透過型HMDの向き(撮像の方向)を変え、フォーカスアイコン311の位置を被写体322からずらしても、焦点距離は維持される。つまり、図7Dの状態においても、被写体322に合焦している。
このようにすることにより、ユーザは、より容易に、焦点距離を維持したまま撮像画像の構図をより自由に設定することができる。
なお、フォーカスアイコン311の形状は任意である。例えば、図7Eに示されるように四角形であってもよい。また、例えば、図7Fに示されるように、フォーカスアイコン311だけでなく、撮像画像の画角を示す画像である四角枠331が表示部112に表示されるようにしてもよい。なお、この画像は、立体視画像でなくてもよい。
また、表示領域内におけるフォーカスアイコン311の表示位置は可変としてもよい。例えば、フォーカスアイコン311の表示位置(焦点距離を合わせる対象とする物体の位置)がユーザの視線と連動する(ユーザの視線の先に位置する被写体に合焦させる)ようにしてもよい。図8にその例を示す。
例えば、図8Aのように、図7Aの場合と同様に、表示部112の表示領域内に現実空間の物体である被写体321乃至被写体323が存在するとする。ユーザが指示を入力する等して、カメラ機能が起動されると、図8Bに示されるように、例えば表示部112の表示領域の中央にフォーカスアイコン311が表示される。
この状態において、図8Cに示されるように、ユーザが視線を移動させると、センサ部221によりその視線が検出され、フォーカスアイコン311が、その視線に応じた位置に移動する。図8Cの例の場合、ユーザは、被写体322に視線を合わせている。そのため、フォーカスアイコン311は、被写体322と重畳する位置に移動する。
そして、この状態において、焦点距離の測定が実行されると、図7の例と同様に、被写体322までの距離が測定される。そして、フォーカスアイコン311の虚像距離がその測定された被写体322までの距離と一致するように、フォーカスアイコン311の両眼視差や輻輳角、並びにフォーカスアイコン311の大きさが調整される。これにより、図8Dに示されるように、表示部112に表示されるフォーカスアイコン311の虚像位置や大きさが、被写体322までの距離に合うように変化し、ピントが被写体322に合ったことをユーザに知らせる。この際、音によるフィードバックがあっても良い。
このようにすることにより、ユーザは、より容易に、焦点距離を維持したまま撮像画像の構図をより自由に設定することができる。
もちろん、図8の例の場合も、図7の場合と同様に、視線の向きを変えても、ユーザ等が焦点距離調整の指示を入力しない限り、焦点距離が固定されるようにしてもよい。また、この場合も、フォーカスアイコン311の形状は任意である。また、例えば、フォーカスアイコン311だけでなく、撮像画像の画角を示す画像である四角枠331が表示部112に表示されるようにしてもよい。なお、この画像は、立体視画像でなくてもよい。
以上においては、表示部112が光を透過する透過型ディスプレイであるように説明したが、この表示部112は、光を透過しない非透過型のディスプレイであってもよい。例えば、表示部112(非透過型ディスプレイ)には、表示オブジェクト(フォーカスアイコン)が、撮像部251において得られる撮り込み画像(スルー画とも称する)に重畳され表示されるようにしてもよい。その場合も、上述した透過型ディスプレイの場合と同様に、表示オブジェクト(フォーカスアイコン)の虚像位置が焦点距離に対応する位置となるように、その両眼視差、輻輳角、大きさ等が調整されるようにすればよい。つまり、本技術は、例えば、透過型HMD100だけでなく非透過型のHMDにも適用することができる。
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、ネットワークや記録媒体からインストールされる。
この記録媒体は、例えば、図2に示されるように、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されているリムーバブルメディア264により構成される。このリムーバブルメディア264には、磁気ディスク(フレキシブルディスクを含む)や光ディスク(CD-ROMやDVDを含む)が含まれる。さらに、光磁気ディスク(MD(Mini Disc)を含む)や半導体メモリ等も含まれる。
その場合、プログラムは、それらのリムーバブルメディアをドライブに装着することにより、記憶部261にインストールすることができる。
また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。その場合、プログラムは、各装置の通信部262で受信し、記憶部261にインストールすることができる。
その他、このプログラムは、システムコントローラ211のROMや記憶部261に、あらかじめインストールしておくこともできる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、上述した各ステップの処理は、上述した各装置、若しくは、上述した各装置以外の任意の装置において、実行することができる。その場合、その処理を実行する装置が、上述した、その処理を実行するのに必要な機能(機能ブロック等)を有するようにすればよい。また、処理に必要な情報を、適宜、その装置に伝送するようにすればよい。
また、本明細書において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれも、システムである。
また、以上において、1つの装置(または処理部)として説明した構成を分割し、複数の装置(または処理部)として構成するようにしてもよい。逆に、以上において複数の装置(または処理部)として説明した構成をまとめて1つの装置(または処理部)として構成されるようにしてもよい。また、各装置(または各処理部)の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置(または処理部)の構成の一部を他の装置(または他の処理部)の構成に含めるようにしてもよい。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、本技術は、1つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、1つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、1つのステップに複数の処理が含まれる場合には、その1つのステップに含まれる複数の処理は、1つの装置で実行する他、複数の装置で分担して実行することができる。
また、本技術は、これに限らず、このような装置またはシステムを構成する装置に搭載するあらゆる構成、例えば、システムLSI(Large Scale Integration)等としてのプロセッサ、複数のプロセッサ等を用いるモジュール、複数のモジュール等を用いるユニット、ユニットにさらにその他の機能を付加したセット等(すなわち、装置の一部の構成)として実施することもできる。
なお、本技術は以下のような構成も取ることができる。
(1) 撮像部と、
前記撮像部の撮像領域の少なくとも一部を透過的に視ることができ、左眼用画像と右眼用画像とからなる立体視画像を表示する表示部と、
前記撮像部の焦点距離を調整する焦点距離調整部と、
前記焦点距離を示す表示オブジェクトが前記焦点距離に対応する奥行き位置に視えるように、前記左眼用画像と前記右眼用画像とを生成して前記表示部に表示させる表示制御部と
を備える撮像装置。
(2) 前記表示制御部は、前記表示オブジェクトの大きさを、前記焦点距離に応じて設定する
(1)、(3)乃至(12)のいずれかに記載の撮像装置。
(3) 前記表示部は、前記左眼用画像を表示する左眼用画像表示部と、前記右眼用画像を表示する右眼用画像表示部とを有する
(1)、(2)、(4)乃至(12)のいずれかに記載の撮像装置。
(4) 前記撮像装置の筐体は、ユーザの頭部に、前記左眼用画像表示部が前記ユーザの左眼前方の近傍に位置し、前記右眼用画像表示部が前記ユーザの右眼前方の近傍に位置するように装着される
(1)乃至(3)、(5)乃至(12)のいずれかに記載の撮像装置。
(5) 前記表示制御部は、前記撮像部による撮像の画角を示す画像を前記表示部にさらに表示させる
(1)乃至(4)、(6)乃至(12)のいずれかに記載の撮像装置。
(6) 前記焦点距離調整部は、ユーザに操作されて前記焦点距離を調整する
(1)乃至(5)、(7)乃至(12)のいずれかに記載の撮像装置。
(7) 被写体までの距離を測定する距離測定部をさらに備え、
前記焦点距離調整部は、前記距離測定部により測定された前記距離に合わせるように、前記焦点距離を調整する
(1)乃至(6)、(8)乃至(12)のいずれかに記載の撮像装置。
(8) 前記距離測定部は、前記撮像領域の所定の位置の被写体までの距離を測定する
(1)乃至(7)、(9)乃至(12)のいずれかに記載の撮像装置。
(9) 前記所定の位置は、前記撮像領域の、前記表示部の表示領域の中央に視える位置である
(1)乃至(8)、(10)乃至(12)のいずれかに記載の撮像装置。
(10) 前記被写体の顔を検出する顔検出部をさらに備え、
前記距離測定部は、前記顔検出部により検出された前記被写体の顔までの距離を測定する
(1)乃至(9)、(11)、(12)のいずれかに記載の撮像装置。
(11) ユーザの視線の方向を検出する視線検出部をさらに備え、
前記距離測定部は、前記視線検出部により検出された前記ユーザが視線を合わせた被写体までの距離を測定する
(1)乃至(10)、(12)のいずれかに記載の撮像装置。
(12) 前記被写体までの距離の測定の実行指示を受け付ける指示受付部をさらに備え、
前記距離測定部は、前記指示受付部により受け付けられた前記実行指示に基づいて、前記被写体までの距離を測定する
(1)乃至(11)のいずれかに記載の撮像装置。
(13) 撮像部の焦点距離を調整し、
前記焦点距離を示す表示オブジェクトが前記焦点距離に対応する奥行き位置に視えるように、立体視画像の左眼用画像と右眼用画像とを生成して、前記撮像部の撮像領域の少なくとも一部を透過的に視ることができ、左眼用画像と右眼用画像とからなる立体視画像を表示する表示部に表示させ、
前記撮像部により前記被写体を撮像する
撮像方法。
100 透過型HMD, 111 筐体, 112 表示部, 113 ホール, 131 筐体, 132 表示部, 133 ホール, 151 ケーブル, 152 コントロールボックス, 211 システムコントローラ, 221 センサ部, 222 センサ制御部, 223 センサ信号処理部, 231 画像生成部, 232 表示画像処理部, 233 表示駆動部, 234 表示制御部, 241 音声生成部, 242 音声出力部, 243 音声入力部, 244 音声信号処理部, 251 撮像部, 252 撮像信号処理部, 253 撮像制御部, 261 記憶部, 262 通信部, 263 ドライブ, 264 リムーバブルメディア, 301 ユーザ, 302 被写体, 311 フォーカスアイコン, 321乃至323 被写体, 331 四角枠

Claims (13)

  1. 撮像部と、
    前記撮像部の撮像領域の少なくとも一部を透過的に視ることができ、左眼用画像と右眼用画像とからなる立体視画像を表示する表示部と、
    前記撮像部の焦点距離を調整する焦点距離調整部と、
    前記焦点距離を示す表示オブジェクトが前記焦点距離に対応する奥行き位置に視えるように、前記左眼用画像と前記右眼用画像とを生成して前記表示部に表示させる表示制御部と
    を備える撮像装置。
  2. 前記表示制御部は、前記表示オブジェクトの大きさを、前記焦点距離に応じて設定する
    請求項1に記載の撮像装置。
  3. 前記表示部は、前記左眼用画像を表示する左眼用画像表示部と、前記右眼用画像を表示する右眼用画像表示部とを有する
    請求項1に記載の撮像装置。
  4. 前記撮像装置の筐体は、ユーザの頭部に、前記左眼用画像表示部が前記ユーザの左眼前方の近傍に位置し、前記右眼用画像表示部が前記ユーザの右眼前方の近傍に位置するように装着される
    請求項3に記載の撮像装置。
  5. 前記表示制御部は、前記撮像部による撮像の画角を示す画像を前記表示部にさらに表示させる
    請求項1に記載の撮像装置。
  6. 前記焦点距離調整部は、ユーザに操作されて前記焦点距離を調整する
    請求項1に記載の撮像装置。
  7. 被写体までの距離を測定する距離測定部をさらに備え、
    前記焦点距離調整部は、前記距離測定部により測定された前記距離に合わせるように、前記焦点距離を調整する
    請求項1に記載の撮像装置。
  8. 前記距離測定部は、前記撮像領域の所定の位置の被写体までの距離を測定する
    請求項7に記載の撮像装置。
  9. 前記所定の位置は、前記撮像領域の、前記表示部の表示領域の中央に視える位置である
    請求項8に記載の撮像装置。
  10. 前記被写体の顔を検出する顔検出部をさらに備え、
    前記距離測定部は、前記顔検出部により検出された前記被写体の顔までの距離を測定する
    請求項7に記載の撮像装置。
  11. ユーザの視線の方向を検出する視線検出部をさらに備え、
    前記距離測定部は、前記視線検出部により検出された前記ユーザが視線を合わせた被写体までの距離を測定する
    請求項7に記載の撮像装置。
  12. 前記被写体までの距離の測定の実行指示を受け付ける指示受付部をさらに備え、
    前記距離測定部は、前記指示受付部により受け付けられた前記実行指示に基づいて、前記被写体までの距離を測定する
    請求項7に記載の撮像装置。
  13. 撮像部の焦点距離を調整し、
    前記焦点距離を示す表示オブジェクトが前記焦点距離に対応する奥行き位置に視えるように、立体視画像の左眼用画像と右眼用画像とを生成して、前記撮像部の撮像領域の少なくとも一部を透過的に視ることができ、左眼用画像と右眼用画像とからなる立体視画像を表示する表示部に表示させ、
    前記撮像部により前記被写体を撮像する
    撮像方法。
JP2014021833A 2014-02-07 2014-02-07 撮像装置および方法 Expired - Fee Related JP6252849B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2014021833A JP6252849B2 (ja) 2014-02-07 2014-02-07 撮像装置および方法
US14/607,261 US9541761B2 (en) 2014-02-07 2015-01-28 Imaging apparatus and imaging method
US15/356,783 US10142618B2 (en) 2014-02-07 2016-11-21 Imaging apparatus and imaging method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014021833A JP6252849B2 (ja) 2014-02-07 2014-02-07 撮像装置および方法

Publications (3)

Publication Number Publication Date
JP2015149633A true JP2015149633A (ja) 2015-08-20
JP2015149633A5 JP2015149633A5 (ja) 2016-02-12
JP6252849B2 JP6252849B2 (ja) 2017-12-27

Family

ID=53774814

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014021833A Expired - Fee Related JP6252849B2 (ja) 2014-02-07 2014-02-07 撮像装置および方法

Country Status (2)

Country Link
US (2) US9541761B2 (ja)
JP (1) JP6252849B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017102269A (ja) * 2015-12-02 2017-06-08 セイコーエプソン株式会社 頭部装着型表示装置およびコンピュータープログラム
JP2017158083A (ja) * 2016-03-03 2017-09-07 ソニー株式会社 情報処理装置、制御方法、およびプログラム
JP2019211683A (ja) * 2018-06-07 2019-12-12 フリュー株式会社 写真作成ゲーム機、画像処理方法、およびプログラム
JP2021136618A (ja) * 2020-02-28 2021-09-13 カシオ計算機株式会社 撮像装置、撮影システム、撮像方法及びプログラム

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106293561B (zh) * 2015-05-28 2020-02-28 北京智谷睿拓技术服务有限公司 显示控制方法和装置、显示设备
JP2018033111A (ja) * 2016-08-26 2018-03-01 オリンパス株式会社 画像観察装置
FR3060116B1 (fr) * 2016-12-12 2019-04-05 Airbus Operations (S.A.S.) Systeme et procede d'affichage d'un aeronef
US10634913B2 (en) * 2018-01-22 2020-04-28 Symbol Technologies, Llc Systems and methods for task-based adjustable focal distance for heads-up displays
JP6774975B2 (ja) * 2018-03-19 2020-10-28 株式会社東芝 眼球回転検出装置、電子機器及びシステム
CN111506188A (zh) * 2019-01-30 2020-08-07 托比股份公司 用于动态地调整hud的方法和hmd
TW202109134A (zh) * 2019-06-04 2021-03-01 以色列商魯姆斯有限公司 具有能調節瞳距的機構的雙目型頭戴式顯示系統
CN112684603B (zh) * 2019-10-17 2023-03-28 杭州海康威视数字技术股份有限公司 智能眼镜
US11677911B2 (en) * 2019-11-14 2023-06-13 Canon Kabushiki Kaisha Display apparatus capable of controlling a position of a display range based on a change of focal distance
US11166006B2 (en) 2020-01-22 2021-11-02 Photonic Medical Inc. Open view, multi-modal, calibrated digital loupe with depth sensing
JP2021184050A (ja) * 2020-05-22 2021-12-02 株式会社日立エルジーデータストレージ 映像表示装置、ヘッドマウントディスプレイ
US11514654B1 (en) * 2021-12-09 2022-11-29 Unity Technologies Sf Calibrating focus/defocus operations of a virtual display based on camera settings

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11202256A (ja) * 1998-01-20 1999-07-30 Ricoh Co Ltd 頭部搭載型画像表示装置
JP2001281520A (ja) * 2000-03-30 2001-10-10 Minolta Co Ltd 光学装置
JP2002157607A (ja) * 2000-11-17 2002-05-31 Canon Inc 画像生成システム、画像生成方法および記憶媒体
JP2005223750A (ja) * 2004-02-06 2005-08-18 Olympus Corp 頭部装着型カメラ
JP2006033437A (ja) * 2004-07-16 2006-02-02 Nikon Corp デジタルカメラ
JP2010139589A (ja) * 2008-12-10 2010-06-24 Konica Minolta Opto Inc 映像表示装置およびヘッドマウントディスプレイ
JP2010206673A (ja) * 2009-03-05 2010-09-16 Brother Ind Ltd ヘッドマウントディスプレイ装置、画像制御方法および画像制御プログラム
JP2011199389A (ja) * 2010-03-17 2011-10-06 Sony Corp 画像処理装置、画像変換方法、およびプログラム
JP2012085166A (ja) * 2010-10-13 2012-04-26 Sony Corp 映像信号処理装置及び映像信号処理方法、並びにコンピューター・プログラム
JP2013080996A (ja) * 2011-09-30 2013-05-02 Fujifilm Corp 撮像装置及びその制御方法
JP2013128253A (ja) * 2011-12-19 2013-06-27 Sharp Corp 画像処理装置、画像撮像装置、画像表示装置、画像処理方法およびプログラム
JP2013238975A (ja) * 2012-05-14 2013-11-28 Sony Corp 画像処理装置、画像処理方法およびプログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8668334B2 (en) * 2006-02-27 2014-03-11 Vital Art And Science Incorporated Vision measurement and training system and method of operation thereof
JP5434848B2 (ja) 2010-08-18 2014-03-05 ソニー株式会社 表示装置
AU2011204946C1 (en) * 2011-07-22 2012-07-26 Microsoft Technology Licensing, Llc Automatic text scrolling on a head-mounted display

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11202256A (ja) * 1998-01-20 1999-07-30 Ricoh Co Ltd 頭部搭載型画像表示装置
JP2001281520A (ja) * 2000-03-30 2001-10-10 Minolta Co Ltd 光学装置
JP2002157607A (ja) * 2000-11-17 2002-05-31 Canon Inc 画像生成システム、画像生成方法および記憶媒体
JP2005223750A (ja) * 2004-02-06 2005-08-18 Olympus Corp 頭部装着型カメラ
JP2006033437A (ja) * 2004-07-16 2006-02-02 Nikon Corp デジタルカメラ
JP2010139589A (ja) * 2008-12-10 2010-06-24 Konica Minolta Opto Inc 映像表示装置およびヘッドマウントディスプレイ
JP2010206673A (ja) * 2009-03-05 2010-09-16 Brother Ind Ltd ヘッドマウントディスプレイ装置、画像制御方法および画像制御プログラム
JP2011199389A (ja) * 2010-03-17 2011-10-06 Sony Corp 画像処理装置、画像変換方法、およびプログラム
JP2012085166A (ja) * 2010-10-13 2012-04-26 Sony Corp 映像信号処理装置及び映像信号処理方法、並びにコンピューター・プログラム
JP2013080996A (ja) * 2011-09-30 2013-05-02 Fujifilm Corp 撮像装置及びその制御方法
JP2013128253A (ja) * 2011-12-19 2013-06-27 Sharp Corp 画像処理装置、画像撮像装置、画像表示装置、画像処理方法およびプログラム
JP2013238975A (ja) * 2012-05-14 2013-11-28 Sony Corp 画像処理装置、画像処理方法およびプログラム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017102269A (ja) * 2015-12-02 2017-06-08 セイコーエプソン株式会社 頭部装着型表示装置およびコンピュータープログラム
JP2017158083A (ja) * 2016-03-03 2017-09-07 ソニー株式会社 情報処理装置、制御方法、およびプログラム
JP2019211683A (ja) * 2018-06-07 2019-12-12 フリュー株式会社 写真作成ゲーム機、画像処理方法、およびプログラム
JP2021136618A (ja) * 2020-02-28 2021-09-13 カシオ計算機株式会社 撮像装置、撮影システム、撮像方法及びプログラム
JP7173067B2 (ja) 2020-02-28 2022-11-16 カシオ計算機株式会社 撮像装置、撮影システム、撮像方法及びプログラム

Also Published As

Publication number Publication date
US10142618B2 (en) 2018-11-27
US20150226969A1 (en) 2015-08-13
US9541761B2 (en) 2017-01-10
US20170070730A1 (en) 2017-03-09
JP6252849B2 (ja) 2017-12-27

Similar Documents

Publication Publication Date Title
JP6252849B2 (ja) 撮像装置および方法
US10437069B2 (en) Display control device, display control method, and computer program
US9927948B2 (en) Image display apparatus and image display method
JP6094190B2 (ja) 情報処理装置および記録媒体
WO2012011341A1 (ja) 撮像装置、その制御方法およびプログラム
JP5371845B2 (ja) 撮影装置及びその表示制御方法並びに3次元情報取得装置
JP2011166756A (ja) 撮影装置及び撮影システム
JP2015186020A (ja) 表示機器、撮影機器及び表示方法
JP2012186612A (ja) 撮像装置
JP2017041887A (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム
JP2018152787A (ja) 撮像装置、外部装置、撮像システム、撮像方法、操作方法およびプログラム
US20210082088A1 (en) Image processor, imaging processing method, and program
JP5918982B2 (ja) 撮像装置、再生装置、その制御方法、撮像システム、及びプログラム
JP2013085239A (ja) 撮像装置
JP2014155126A (ja) 表示装置、表示方法およびプログラム
JP6218615B2 (ja) 表示機器、表示方法、撮影装置及び撮影システム
JP5222718B2 (ja) 立体画像再生装置、立体画像再生プログラム、撮像装置
JP2013074428A (ja) 自分撮り判断装置、撮像装置、プログラム及び自分撮り判断方法
JPWO2019038885A1 (ja) 情報処理装置および画像出力方法
GB2606429A (en) Imaging device, control method for imaging device, and recording medium
JP2021068296A (ja) 情報処理装置、ヘッドマウントディスプレイ、およびユーザ操作処理方法
WO2017098755A1 (ja) ステレオ画像撮像装置
WO2013001839A1 (ja) 撮像装置
JP2016208275A (ja) 画像撮影装置およびその制御方法
JP2012120107A (ja) 撮影装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151222

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20151222

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160909

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160915

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161107

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170502

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170526

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171102

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171115

R151 Written notification of patent or utility model registration

Ref document number: 6252849

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees