JP2006033476A - 撮影装置、表示装置及び撮影表示装置 - Google Patents

Abstract

【課題】 通常の画像の撮影と表示の他に、立体画像の撮影と表示の機能、及び、複数被写体の撮影と表示の機能を、煩雑な操作を伴わずに実現する。また、撮影装置の形状に因らず効果的な、かつ自由度の高い立体画像の撮影や表示を行うことができ、小型で高機能な撮影・表示装置を得る。
【解決手段】 複数の撮像部１０１−１〜１０１−ｎを備え、撮影モードに応じて、撮像制御部１０２は、使用する撮像部１０１−１〜１０１−ｎを切り替える。または、稼働させる撮像部１０１−１〜１０１−ｎによって撮影モードを切り替える。また、装置の使用形状に応じて、モード切替制御部１０６は、撮影モードや表示モードを切り替え、撮像制御部１０２を介して各モードに適した撮像部１０１−１〜１０１−ｎを制御するとともに画像表示部１０５の制御を行う。
【選択図】 図１

Description

本発明は、複数の撮像手段を用いた立体画像の撮影装置、立体画像の表示が可能な表示装置及び立体画像の撮影、表示が可能な撮影表示装置に関するものである。

従来、１台のカメラに２つの撮像手段を備えて立体画像を撮影・記録する装置が提案されている。例えば、特許文献１に記載の電子カメラにおいては、カメラ本体の水平方向に並設された２つの撮像手段を用いて同一の被写体を撮影し左右一対の画像情報として記録することにより、立体視が可能な静止画像の撮影及び記録を実現している。さらに、通常撮影と立体撮影のモードを切り替えるスイッチを備え、前記スイッチの操作に連動して駆動する撮像手段を切り替えることにより、１台の電子カメラで通常撮影と立体撮影を行うことを可能としている。

前記従来技術のように立体画像の撮影を目的とする場合、２つの撮像手段は人間の両眼の間隔程度の距離を空けて配置するのが一般的である。そうすることにより、人間の視界と近似した映像を撮影することになり自然な立体画像を得ることができるためである。また、両撮像手段の配置形態は、やはり人間の視界に合わせて、前記従来技術でも示されているように撮影装置の水平方向に配置するのが通例である。

なお、前記従来技術の電子カメラは静止画をターゲットとしているが、上記の構成は静止画に限らず動画の撮影にも適用可能である。即ち前記従来技術を応用して、静止画に加えて動画の立体画像を撮影することが可能な電子カメラを構成することも可能である。

撮影された立体画像を観賞するためには、立体画像を表示可能な表示手段が必要であるが、これは例えば、非特許文献１に記載されている表示デバイスが利用可能であり、このような表示デバイスを前記電子カメラに搭載すれば、撮影した立体画像をその場で観賞することができる。
特開平８−３１７４２５号公報 Ｊａｃｏｂｓ他著、"２Ｄ／３Ｄ Ｓｗｉｔｃｈａｂｌｅ Ｄｉｓｐｌａｙ"シャープ技報２００３年４月号

しかしながら、人間の両眼の平均的な間隔は６５ｍｍと言われており、前記従来技術の電子カメラのようにカメラの水平方向に２つの撮像手段を配置しようとすれば、当然それだけの横幅を持つ筐体が必要になる。実際には、撮像手段の部品自体の厚みや筐体部材の厚みもあるため、６５ｍｍよりさらに広い横幅を備えていないと装置としては成立しないことになる。

一方、近年のいわゆるデジタルカメラは小型化が進んでおり、上記の横幅を持たない製品も数多く存在する。特に、静止画に加えて動画も撮影可能なタイプの機種には、いわゆるムービーカメラに多く見られるような“シューティング”スタイルのものがあり、カメラ筐体の横幅が撮像手段のレンズの幅にほぼ等しいという例も多い。従って、前記従来技術のように水平方向に撮像手段を並設する方法は、立体画像の撮影機能を実現する手段としては必ずしも適さない。

以上の問題はデジタルカメラに限らない。近年の撮像素子やマイクロプロセッサの小型化・高性能化によって、いわゆる携帯電話やＰＨＳに代表されるような携帯型電話や、ＰＤＡと呼ばれる情報端末に、静止画像や動画像の撮影機能が搭載されるケースも増えており、これら携帯型電話や情報端末でもデジタルカメラと同様な使い方が可能になる。しかし、これらの機器に立体画像の撮影機能を持たせようとした場合、上記デジタルカメラの例で示したのと同様に、機器の水平方向に２つの撮像手段を搭載するに充分な間隔を確保しにくい。特に携帯型電話の場合、電話としての使用形態の都合上、機器の形状が縦長になる傾向があるため、機器の水平方向に２つの撮像手段を搭載するのは困難である。

さらに、携帯型電話特有の問題として、画像を表示するための表示部も機器の形状と共に縦長になる傾向があり、左右方向の視差から立体感を感じる立体画像の表示手段としては必ずしも適さないという点もある。

また、前記従来技術では２つの撮像手段を備えることにより立体撮影を可能にしているが、複数の撮像手段を備える特徴を生かした撮影モードとして、さらに、複数の撮像手段からの出力を連結して一つの大きな画像を得るいわゆるパノラマ撮影や、撮像手段の数だけ別々の被写体を同時に撮影するもの等が考えられる。前記従来技術では、このような各種の撮影モードと立体撮影モードを両立するための構成に関しては言及されていない。

本発明は、以上のような問題点に鑑みてなされたものであり、その第１の目的とするところは、一般的なデジタルカメラのような横長の形状の機器だけでなく、携帯型電話のような縦長の形状の機器に関しても、容易に立体画像の撮影及び表示を行うことができる撮影・表示装置を提供することにある。

また、本発明の第２の目的とするところは、機器の形状に因らず、様々な画像データを効果的かつユーザーの煩雑な操作なしに表示することのできる表示装置を提供することにある。

また、本発明の第３の目的とするところは、複数の撮像手段を備えることにより可能になる様々な撮影モードを、円滑に切り替え・制御することができる撮影装置を提供すると共に、さらに通常画像と立体画像の表示が可能な表示手段を備え、各種表示モードを円滑に切り替え・制御することができる撮影表示装置を提供することにある。

上記課題を解決するために、本発明に係る撮影装置、表示装置及び撮影表示装置は、以下の特徴を備えている。

本発明の撮影装置は、個別に稼働／非稼動の状態に制御可能な複数の撮像手段と、前記複数の撮像手段を制御する撮像制御手段と、前記撮像手段の稼働状態によって複数の撮影モードの切り替え制御を行うモード切り替え制御手段と、を備え、前記複数の撮像手段のうち少なくとも１つの撮像手段は、他の撮像手段との距離を変更することが可能な構成で配置されることを特徴とする。

また、前記モード切り替え制御手段は、前記複数の撮像手段の内、単一の撮像手段のみ稼働させて撮影する場合には、撮影モードを通常撮影モードに切り替えることを特徴とする。

また、前記モード切り替え制御手段は、前記複数の撮像手段の内、あらかじめ所定の間隔を空けて配置されるか、もしくは少なくとも１つの撮像手段を移動して互いに所定の間隔になるように配置した少なくとも２つの撮像手段を、各撮像手段の光軸が同一平面上にあって互いに平行または該平面上の前方で交わるような状態で稼働させた場合に、撮影モードを立体撮影モードに切り替えることを特徴とする。

また、前記モード切り替え制御手段は、前記複数の撮像手段の内、少なくとも２つの撮像手段を、各撮像手段の光軸が同一平面上にあって該平面上の後方で互いに交わるような状態で稼働させた場合に、撮影モードをパノラマ撮影モードに切り替えることを特徴とする。

また、前記モード切り替え制御手段は、前記複数の撮像手段の内、少なくとも２つの撮像手段を、各撮像手段の光軸が同一平面上にないような状態で稼働させた場合に、撮影モードを複数被写体撮影モードに切り替えることを特徴とする。

また、前記複数の撮像手段のうち少なくとも二つの撮像手段は、撮影装置の形状に対して長手方向に所定の間隔を空けて並んで配置されるか、または少なくとも１つの撮像手段が、他の撮像手段との距離を変更することが可能な構成とすることができる。

本発明の表示装置は、通常画像の表示の他に少なくとも立体画像の表示が可能な画像表示手段と、該画像表示手段が備える複数の表示モードの切り替え制御を行う表示モード切り替え制御手段と、を備え、前記表示モード切り替え制御手段が、表示しようとする画像データの形式を判定して、前記表示手段の表示モードを決定することを特徴とする。

また、本発明の表示装置は、さらに、装置の使用形態に応じて画像表示モードを決定する表示モード選択手段を備え、前記表示モード選択手段は、前記装置の使用形態に応じて、表示する画像の向きを決定することを特徴とする。

また、本発明の表示装置は、前記表示モード選択手段が、ユーザーからの指定があった場合に、該ユーザーからの指定に従って、表示する画像の向きを決定することを特徴とする。

また、本発明の表示装置は、さらに、前記表示モード切り替え制御手段が、表示する画像の表示範囲を制御する手段を備え、表示しようとする画像の表示サイズを、前記表示手段の表示領域内に収まるように変更することを特徴とする。

また、本発明の表示装置は、前記表示モード切り替え制御手段が、前記表示手段の表示領域内に収まらない画像部分がある際に、ユーザーからの指定があった場合に、該ユーザーの指定に従って表示する画像の範囲を移動させることを特徴とする。

本発明の撮影表示装置は、個別に稼働／非稼動の状態に制御可能な複数の撮像手段と、前記複数の撮像手段を制御する撮像制御手段と、前記撮像手段の稼働状態によって複数の撮影モードの切り替え制御を行うモード切り替え制御手段と、通常画像の表示と立体画像の表示が可能な表示手段を備え、前記モード切り替え制御手段は、前記撮影モードに応じて前記表示手段の表示モードを決定することを特徴とする。

以上のような手段を備えることにより、本発明の撮影装置、表示装置、撮影表示装置は、以下のような効果を奏する。

すなわち、本発明の撮影装置によれば、装置の形状の制約を受けずに複数の撮像画像を得ることができ、特に所定の間隔もしくは任意の間隔を空けて配置された２つの撮像手段を用いて立体視可能な画像を撮影することが可能である。

また、本発明の表示装置によれば、画像の表示に関して、立体視可能な画像の表示をはじめとして、パノラマ画像、複数被写体画像等、装置の形状を生かした表示効果を得ることが可能である。

また、本発明の撮影表示装置によれば、複数の撮像手段で得られる画像データから、立体画像、パノラマ画像、複数被写体画像等さまざまな画像データを得ることができ、またこれらの各撮影モードや表示モードの切り替えを、ユーザーの煩雑な操作なしに行わせることが可能である。

以下、本発明の各実施の形態を説明する。なお、本明細書において「静止」あるいは「動」を伴わずに「画像」と記述する場合は、静止画像・動画像のいずれかまたは双方を意味するものとする。

＜第１の実施形態の説明＞
まず、本発明の第１の実施形態を図１〜図３、および図７を参照して説明する。

図１は、本発明の第１の実施形態である撮影表示装置の内部構成を示すブロック図である。

図１に示す通り、本願発明の撮影表示装置は、複数の撮像部１０１−１〜１０１−ｎ、撮像制御部１０２、画像処理部１０３、画像符号化部１０４、画像表示部１０５、モード切り替え制御部１０６とから構成される。

複数の撮像部１０１−１〜１０１−ｎは、それぞれレンズや光電変換素子等から構成され、光学的に入力された情報から画像データを得る。撮像制御部１０２は、前記複数の撮像部１０１−１〜１０１−ｎの状態管理及び動作制御を行い、各撮像部からの画像データを画像処理部１０３へ出力すると共に、各撮像部の状態をモード切り替え制御部１０６へ通知する。画像処理部１０３は、前記各撮像部で得られた画像データについて該各撮像部間の特性の差の補正・合成あるいは認識などの画像処理を行い、表示・符号化するための画像データを生成すると共に、画像データの形式を示す情報も併せて生成する。入力された画像の数や各撮像部での撮影条件など、画像処理を行うための情報は、後述するモード切り替え制御部１０６から得る。画像符号化部１０４は、前記画像処理部１０３で処理された画像データを記録または伝送するための符号化を行う。また、前記画像処理部１０３から画像データの形式を示す情報を得て、符号化された画像データと共に記録・伝送手段へ送出する。符号化の方式は、静止画用・動画用を問わず任意の方式が適用可能である。画像表示部１０５は、例えば前述の従来技術“２Ｄ／３Ｄ Ｓｗｉｔｃｈａｂｌｅ Ｄｉｓｐｌａｙ”（非特許文献１）のような、通常の平面画像を表示する他に立体画像を表示することの可能な表示デバイスを含み、前記画像処理部１０３で処理された画像データをそれぞれ適正な表示モードで表示する。モード切り替え制御部１０６は、前記撮像制御部１０２から前記各撮像部の状態を得て、通常撮影・立体撮影・パノラマ撮影・複数被写体撮影等の各種撮影モード及びそれに対応する表示モードを決定し、撮像制御部１０２、画像処理部１０３、画像表示部１０５に通知する。

次に、この撮影表示装置に関して、各種撮影を行う際の動作を説明する。

通常撮影モードは、単一の撮像部のみを利用して画像データを得る撮影モードである。通常撮影モードで動作させるかどうかは、モード切り替え制御部１０６が、撮像制御部１０２を介して各撮像部１０１−１〜１０１−ｎの稼働状態を知ることによって決定しても良いし、ユーザーが、図示しない操作手段を用いて指定することによって決定しても良い。各撮像部の稼働状態は、撮像部ごとに備わっているカバーの開閉状態や、各撮像部の向きなどによって識別することが可能である。撮像部の稼働状態から撮影モードを決定する場合、単一の撮像部のみが稼働している状態の時に、本撮影モードと決定すれば良い。

本撮影モードにおいては、単一の撮像部から得られる画像データが、画像処理部１０３において必要に応じて補正が行われた上で、画像符号化部１０４と画像表示部１０５にそれぞれ伝送される。画像表示部１０５においては、通常の平面画像であることから通常の表示モードで表示する。もちろん、撮影時に表示を必要としないケースもあり、その場合画像表示部１０５は表示を行わない。

立体撮影モードは、複数の撮像部の内、少なくとも２つの撮像部を利用して画像データを得る撮影モードである。立体撮影モードで動作させるかどうかは、前記通常撮影モードと同様に、各撮像部の稼働状態やユーザー操作によって決定する。撮像部の稼働状態から撮影モードを決定する場合、所定の間隔を空けて配置された２つ以上の撮像部が稼働していて、かつ各撮像部の撮像方向すなわち光軸が同一平面上にあり、各光軸が互いに平行または該平面上の前方で交わるような状態である時に、本撮影モードと決定すれば良い。

本撮影モードにおいては、複数の撮像部の内、少なくとも２つの撮像部から得られる画像データが、画像処理部１０３において必要に応じて補正が行われた上で、画像符号化部１０４と画像表示部１０５にそれぞれ伝送される。画像表示部１０５においては、立体画像であることから立体表示モードで表示する。あるいは、ユーザーによっては立体表示を見ながらの撮影が苦手なケースもあるため、その場合は通常の表示モードで表示しても良い。あるいは上記通常撮影モード時と同様に、画像表示部１０５は表示を行わなくても良い。

図２（ａ）は、この立体撮影モードで撮影される画像データの構成を示す概念図である。ある撮像部で撮影された画像２０１と、別の撮像部で撮影された画像２０２を基に、立体画像２０７が構成される。前記画像２０１と画像２０２は、同じ被写体を異なる方向から撮影した画像データであり、いずれかが立体画像の左視点の画像を、他方が右視点の画像をそれぞれ構成する。

なお、立体画像は一組の左視点画像と右視点画像からのみ構成されるとは限らず、同一の被写体を別の視点から撮影した、さらに複数の画像から構成されるケースもあり得る。それにより、観察者の位置に対応した画像を再現することが可能になり、より自然な立体画像を得ることが可能になる。この場合は、上記立体撮影モードの際に稼働する撮像部は２つより多くなる。

パノラマ撮影モードは、２つ以上の複数の撮像部を利用して画像データを得る撮影モードである。パノラマ撮影モードで動作させるかどうかは、前記各撮影モードと同様に、各撮像部の稼働状態やユーザー操作によって決定する。撮像部の稼働状態から撮影モードを決定する場合、２つ以上の撮像部に関して、各撮像部の撮像方向すなわち光軸が同一平面上にあり、各光軸が該平面上の後方で互いに交わるような状態である時に、本撮影モードと決定すれば良い。

本撮影モードにおいては、複数の撮像部から得られる画像データが、画像処理部において必要に応じて補正及び合成が行われた上で、画像符号化部と画像表示部にそれぞれ伝送される。画像表示部においては、前記合成された画像を表示する。あるいは上記通常撮影モード時と同様に、画像表示部は表示を行わなくても良い。

図２（ｂ）は、このパノラマ撮影モードで撮影される画像データの構成を示す概念図である。ある撮像部で撮影された画像２０３と、別の撮像部で撮影された画像２０４から、パノラマ画像２０８が構成される。前記画像２０３と画像２０４は、互いに重複する空間を含む連続した空間を撮影した画像である。斜線部分が、２つの画像間で重複する部分である。この斜線部分がなめらかにつながるように、前記画像処理部で認識及び補正・合成が行われる。図２（ｂ）では、簡単のため２つの撮像部で撮影された場合の例を示しているが、同様の考え方で３つ以上の撮影画像から構成されるパノラマ画像を得ることができる。

複数被写体撮影モードは、２つ以上の複数の撮像部を利用して画像データを得る撮影モードである。複数被写体撮影モードで動作させるかどうかは、前記各撮影モードと同様に、各撮像部の稼働状態やユーザー操作によって決定する。撮像部の稼働状態から撮影モードを決定する場合、２つ以上の撮像部が稼働していてかつ前記各モード以外の状態、すなわち各撮像部の光軸が同一平面上にないような状態である時に、本撮影モードと決定すれば良い。

本撮影モードにおいては、複数の撮像部から得られる画像データが、画像処理部１０３において必要に応じて補正が行われた上で、画像符号化部１０４と画像表示部１０５にそれぞれ伝送される。画像表示部１０５においては、表示領域を分割して各撮像部からの画像を表示する。あるいは上記通常撮影モード時と同様に、画像表示部１０５は表示を行わなくても良い。また、画像符号化部１０４においては、複数画像を独立に符号化しても良いし、合成した一枚の画像として符号化しても良い。

図２（ｃ）は、この複数被写体撮影モードで撮影される画像データの構成を示す概念図である。本撮影モードにおいては、ある撮像部で撮影された画像２０５と、別の撮像部で撮影された画像２０６は、互いに関連のない独立した画像である。これを同時に複数被写体画像２０９として一つの表示部に表示する際のイメージを図に示している。表示の際の縮小や補正は、前記画像処理部１０３もしくは画像表示部１０５で行われる。図２（ｃ）は横方向に並べた例であるが、もちろん縦方向に並べたりいずれかを子画面表示したりしても良い。ここでは、簡単のため２つの撮像部で撮影された場合の例を示しているが、同様の考え方で３つ以上の撮影画像から構成される複数被写体画像を得ることができる。

次に本実施例の撮影表示装置における撮像部の配置に関して説明する。

図３は、複数の撮像部を備える撮影表示装置の簡易外観図である。図では、撮像部が２つである撮影表示装置の例を示しており、主撮像部３０１、副撮像部３０２、および表示部３０３を図示している。図は、撮影される被写体側から見た装置の正面図であり、前面に撮像部が配置され、背面に表示部３０３が配置されている装置の例を示している。（ａ）は、一般的なデジタルカメラなどに見られる横長の形状の撮影表示装置の例であり、（ｂ）は、一般的な携帯型電話などに見られる縦長の形状の撮影表示装置の例である。

図３（ａ）の形状，図３（ｂ）の形状共に、２つの撮像部は機器の水平方向に、所定の距離を空けて配置されている。図３（ａ）の形状では、機器の水平方向に充分な幅があり、両撮像部は人間の両眼の間隔を空けて配置されている。図３（ｂ）の形状では、機器の水平方向に充分な幅がないため、両撮像部は人間の両眼の間隔よりも短い間隔で配置されているが、一つの撮像部は可動な構成であり、図３（ｃ）のように、必要に応じて他の撮像部との距離を空けることができるような構成にしておく。また、パノラマ撮影や複数被写体撮影を可能にするために、複数の撮像部で同じ被写体を撮影するのみならず、複数の撮像部で連続する空間を撮影したり、複数の撮像部で互いに異なる被写体を撮影したりできるように、少なくとも一つの撮像部は撮像方向すなわち光軸の向きを調整することが可能な構成とする。

本実施形態の撮影表示装置においては、通常の静止画像もしくは通常の動画像の撮影時には、主撮像部３０１もしくは副撮像部３０２のいずれかを使用し、立体撮影時・パノラマ撮影時・複数被写体撮影時には両方の撮像部を使用する。また、通常の静止画・動画撮影時には必ず主撮像部３０１を使用することにしても良く、その場合は、静止画像・動画像にかかわらず通常撮影時には常に主撮像部３０１のみ稼働すれば良いため、ユーザー操作及び制御の簡便化を図ることが可能になる。

ここで、立体画像撮影時における撮像部間の距離（基線長と呼ぶ）と、撮像部から被写体までの距離との関係について、図７を参照して説明する。図７における被写体は撮影の際の基準となる被写体であり、実際にはこれ以外の前景や背景が存在して良い。図７（ａ）は、立体画像撮影時に基線長が人間の両眼の距離ｅに等しくなるように２つの撮像部を配置した例である。これは即ち、人間の実際の視界に合わせた撮影をすることであり、撮影された立体画像を観賞する際には、撮影時の撮像部すなわち鑑賞者と被写体との距離がそのまま再現され、自然な立体画像が得られる。一方、図７（ｂ）は、立体画像撮影時に基線長が人間の両眼の距離ｅよりも短い間隔ｅ’になるように２つの撮像部を配置した例である。これは、観察者から被写体までの距離が近すぎるために、撮像部間の距離がｅのままだと撮影した立体画像を自然な立体画像として鑑賞することが困難であるような場合に、撮像部間の距離を縮めることによって立体画像の観賞を容易にするための配置例である。このような場合の撮像部間の距離ｅ’は、撮影したい被写体との距離に応じて調整すると、より快適な立体画像の観賞が可能になる。具体的には、図７（ａ）に見られる長さｅの直線を底辺とする三角形と、図７（ｂ）に見られる長さｅ’の直線を底辺とする三角形が相似関係を保つように、距離ｅ’を決めれば良い。本実施例においては、前記図３（ｂ）及び（ｃ）に示したように、２つの撮像部間の距離が可変であるため、これを調整することによって、自由度の高い立体画像の撮影が可能になる。さらに、調整した結果のｅ’を、撮影した画像データと共に記録もしくは伝送することにより、本実施例の撮影表示装置以外の表示装置や画像編集装置において、適正な立体画像として観賞もしくは編集することが可能である。

なお、本実施例は「撮影表示装置」として示したが、表示手段及びそれに関連する制御機能を省いた「撮影装置」として構成しても良い。その場合でも、上記「撮影表示装置」の説明で示したような、撮影に関するユーザー操作や制御の簡便性は、同様に確保される。

＜第２の実施形態の説明＞
次に、本発明の第２の実施形態を図１、図４を参照して説明する。図１は本発明の第１の実施形態である撮影表示装置の内部構成を示すブロック図であるが、第２の実施形態の撮影表示装置も、この内部構成と同様の内部構成を有する。図１に関しては既に説明済みのため説明を省略する。また、通常撮影・立体撮影・パノラマ撮影・複数被写体撮影等の各種撮影を行う際の基本的な内部動作に関しても前述の第１の実施形態におけるものと同様であるため、詳細な説明は省略する。

第２の実施形態と第１の実施形態との主な違いは複数の撮像部の利用形態と配置形態にある。図４は、本実施形態の撮影表示装置の簡易外観図である。図では、撮像部が３つである撮影表示装置の例を示しており、主撮像部３０１、第一の副撮像部３０２、表示部３０３、及び第二の副撮像部３０４を図示している。図は、撮影される被写体側から見た装置の正面図であり、前面に撮像部３０１・３０２・３０４が配置され、背面に表示部３０３が配置されている装置の例を示している。（ａ）は、一般的なデジタルカメラなどに見られる横長の形状の撮影表示装置の例であり、（ｂ）は、一般的な携帯型電話などに見られる縦長の形状の撮影表示装置の例である。（ａ）の形状、（ｂ）の形状共に、主撮像部３０１の他に２つの副撮像部３０２・３０４を有しており、２つの副撮像部は互いに所定の距離を空けて配置されている。所定の距離は、立体画像の撮影に適した距離、すなわち人間の両目の間隔程度の距離である。また、パノラマ撮影や複数被写体撮影を可能にするために、複数の撮像部で同じ被写体を撮影するのみならず、複数の撮像部で連続する空間を撮影したり、複数の撮像部で互いに異なる被写体を撮影したりできるように、少なくとも一つの撮像部は撮像方向を調整することが可能な構成とする。

図４（ｂ）の撮像部の配置は、装置の形状が縦長であり水平方向に前記所定の距離が確保できない場合の例である。この図では、縦方向に前記所定の距離を空けて２つの副撮像部３０２・３０４を配置しているが、図３（ｃ）のように、少なくとも一つの副撮像部を可動式にしておいて必要に応じて他の副撮像部との距離を空けることができるような構成にしても良い。その場合は、必ずしも複数の副撮像部を装置の縦方向に配置する必要はない。

本実施形態の撮影表示装置においては、通常の静止画像もしくは通常の動画像の撮影時には、主撮像部３０１もしくは副撮像部３０２・３０４のいずれかを使用し、立体撮影時やパノラマ撮影時には２つの副撮像部３０２・３０４を使用し、複数被写体撮影時には２つの副撮像部３０２・３０４のみもしくは主撮像部３０１と２つの副撮像部３０２・３０４を使用する。主撮像部３０１は、副撮像部３０２・３０４と比較して高解像度の撮像能力を備える撮像部としても良く、その場合は、静止画像の通常撮影時には主撮像部３０１を使用し、動画像の通常撮影時には第一の副撮像部３０２を使用する。このような構成により、高精細な静止画像の撮影が可能であるとともに、動画像撮影時のフィルタ処理等の負荷を低減することができ、また、パノラマ撮影や複数撮影時の補正処理を最小限に抑えることが可能になる。

主撮像部３０１と副撮像部３０２・３０４の解像度に差をつけることにより、これらの機能を、撮像部の部品増加に伴うコストアップを抑えつつ実現することが可能である。なお、通常の動画像撮影時に主撮像部３０１を使用しても良く、その場合は、静止画像・動画像にかかわらず通常撮影時には常に主撮像部のみ稼働させれば良いため、ユーザー操作及び制御の簡便化を図ることが可能になる。

前述の複数被写体撮影時に主撮像部３０１を使用するか否かは、複数の被写体のうち特に注目する被写体がある場合は、主撮像部３０１をその被写体の撮影に使用し、そうでない場合は全て副撮像部３０２・３０４で撮影する等、被写体の重要度によって決定すれば良い。

なお、本実施形態も、前記第１の実施形態と同様に「撮影表示装置」として示したが、表示手段及びそれに関連する制御機能を省いた「撮影装置」として構成しても良い。その場合でも、上記「撮影表示装置」の説明で示したような、撮影に関するユーザー操作や制御の簡便性が確保されるのは、第１の実施形態で説明したものと同様である。

＜第３の実施形態の説明＞
次に、本発明の第３の実施形態を図５、図６、および図２を参照して説明する。

図５は本発明の第３の実施形態である撮影表示装置の内部構成を示すブロック図である。

図５に示す通り、本撮影表示装置は、複数の撮像部１１１−１〜１１１−ｎ、撮像制御部１１２、画像処理部１１３、画像符号化部１１４、画像表示部１１５、モード切り替え制御部１１６、画像復号部１１７、表示モード判定部１１８、表示モード選択部１１９とから構成される。第１の撮影表示装置との主な構成の違いは、画像復号部１１７、表示モード判定部１１８、表示モード選択部１１９を備えることであり、これらの追加要素に関連する動作の違いを中心に、以下説明する。

画像復号部１１７は、図示しない記録・伝送手段からの符号化画像情報を復号し、復号結果の画像データと、画像データの形式を示す補助データを出力する。前記画像データは画像処理部１１３に出力され、前記補助データは表示モード判定部１１８に出力される。前記補助データには、画像のサイズや、画像データが通常画像か立体画像か等を示す情報、また立体画像の場合の視点数や視点間の距離、被写体までの距離等を示す情報が含まれており、表示モード判定部１１８は、前記補助データから前記画像データに適した表示モードを判定し、その画像を表示するために必要な画像識別情報を、モード切り替え制御部１１６へ出力する。表示モード選択部１１９は、前記画像識別情報および装置の使用形態あるいはユーザー操作に応じて画像表示のモードを決定し、前記モード切り替え制御部１１６へ通知する。モード切り替え制御部１１６は、前記撮像制御部１１２と前記表示モード判定部１１８および前記表示モード選択部１１９からの通知に従って、通常撮影・立体撮影・パノラマ撮影・複数被写体撮影等の各種撮影モード及び表示モードを決定し、撮像制御部、画像処理部、画像表示部に通知する。画像処理部１１３は、撮像部１１１−１〜１１１−ｎで得られた画像データに対してと同様に、前記画像復号部１１７からの画像データの補正処理や合成処理を行う。

ここで、画像撮影中の表示モードの判定及び選択に関して詳細に説明する。

自装置で撮影した画像データの表示に関しては、基本的に各撮像部の状態に従い、モード切り替え制御部１１６で表示モードを決定する。ただし、前記で決定された表示モードと異なる表示モードを表示モード選択部１１９で選択することも可能であり、この場合は、表示モード選択部１１９で選択された表示モードに従い画像を表示する。すなわち、撮影モードとは異なる表示モードで表示することが可能であり、例えば、立体表示を見慣れないユーザーは、立体撮影時であっても通常表示を選択することが可能である等、ユーザーの要求に合わせて表示モードを切り替えることが可能になる。同様に、画像復号部１１７で復号された画像データの表示に関しても、基本的には該画像データの形式を示す補助データに従って表示モードを決定するが、それと異なる表示モードを表示モード選択部１１９で選択することも可能であり、その場合は、表示モード選択部１１９で選択された表示モードに従い画像を表示する。

さらに、表示モード選択部１１９は、装置の使用形態を判定しその判定結果に応じて表示する画像の向きを決定する機能も備える。装置の使用形態を判定するためには、空間的な上下関係を検知する重力センサーのような手段を表示モード選択部が備えていれば良い。

これにより、装置の使用形態が縦方向であるか横方向であるか、すなわち画像表示部１１５の向きを判定することが可能である。例えば、縦長の機器を横に倒して使用するようなケースでは画像表示部も９０度横になり、そのままでは、機器が縦長の状態で適切に表示されていた画像は横に回転した状態になって適切に観賞できなくなるが、前記表示モード選択部が装置の使用形態を検知して表示する画像を９０度回転させることにより、ユーザーは適切に画像を観賞することが可能になる。もちろん前述の通り、ユーザーからの指定があれば、機器の使用形態に関係なく表示の向きを決めても良い。

画像表示部１１５は、立体画像を表示する能力を備える表示デバイスを含むが、このような表示デバイスは、一般に立体画像を表示するための使用形態が予め定まっており、例えば縦方向・横方向いずれかの使用形態でしか、ユーザーは立体画像を適正に観賞することができない。表示モード選択部１１９は、このような画像表示部の性質に合わせて、縦方向・横方向いずれの使用形態で立体表示モードを選択するかも決定する。例えば、横方向の時に立体表示が可能であるような表示デバイスに関しては、該表示デバイスが横方向になる状態で立体画像の撮影が可能であるように撮像部が配置されている撮影表示装置であれば、自動的に立体表示モードに切り替えればよく、一方、該表示デバイスが縦方向になる状態で立体画像の撮影を行うように撮像部が配置されている撮影表示装置であれば、その場合は立体撮影時であっても通常表示モードに切り替えて表示する。

なお、画像表示部１１５に含まれる表示デバイスが縦方向においても横方向においても立体画像を表示する能力を備えている場合は、単に装置の使用形態に応じて表示モードを決定すれば良い。

次に本実施形態の撮影表示装置における撮像部の配置ならびに表示の制御に関して説明する。

図６は本発明の第３の実施形態である撮影表示装置の撮影時又は表示時における装置の使用形態を示す概略外観図である。図では、撮像部を３つ備える縦長の形状の撮影表示装置の例を示しており、主撮像部３０１、第一の副撮像部３０２、表示部３０３、及び第二の副撮像部３０４を図示している。本撮影表示装置の外観及び各撮像部や表示の配置は、図４（ｂ）のものと同等であるが、図６では図４（ｂ）とは逆に、撮影するユーザーの側から見た装置の正面図であり、前面に表示部が配置され、背面に撮像部が配置されている装置の例を示している。

図６（ａ）は、本撮影表示装置の通常の使用形態である。この形態は、通常の画像撮影を行う場合や、記録された画像データや外部から受信した画像データを表示させる場合などに利用される。通常の画像撮影時には主撮像部３０１のみを稼働させ、撮影中の画像を表示部３０３に表示する。記録された画像や外部から受信した画像も同様に表示部３０３に表示する。表示部の表示モードに関しては、記録された画像や外部から受信した画像が立体画像の場合は立体表示モードにし、そうでない画像の場合は通常表示モードにする。

表示モード切替制御部１１６は、表示しようとする画像のサイズが、表示部に収まらないような大きさの場合、画像全体を表示部の表示領域に収まるように縮小して表示しても良い。また、ユーザーの指定により、表示モード切り替え制御部１１６は、いわゆる“スクロール”によって表示する画像の範囲を移動させて、全体を表示するようにしても良い。

立体撮影時・パノラマ撮影時・複数被写体撮影時には、本撮影表示装置は図６（ｂ）のような使用形態をとる。

立体撮影時には、２つの副撮像部３０２・３０４を稼働させ、撮影中の画像を表示部３０３に表示する。この時、表示部３０３は立体表示モードにし、前記２つの副撮像部３０２・３０４から得られる２つの画像で構成される立体画像を表示する。

パノラマ撮影時には、上記と同様に２つの副撮像部を稼働させ、撮影中の画像を表示部３０３に表示する。この時、表示部３０３は通常表示モードにし、前記２つの副撮像部３０２・３０４から得られる２つの画像を合成して図２（ｂ）に示したようなパノラマ画像として表示する。パノラマ画像を表示する際は、画像全体を表示部３０３の表示領域に収まるように縮小して表示しても良いし、スクロールさせることによって全体を表示可能にしても良い。

複数被写体撮影時には、上記と同様に２つもしくは２つ以上の撮像部３０１・３０２・３０４を稼働させ、撮影中の画像を表示部３０３に表示する。この時、表示部３０３は通常表示モードにする。複数被写体画像を表示する際は、前記複数の撮像部から得られる画像を合成して図２（ｃ）に示したような複数被写体画像として表示してもよいし、ある撮像部から得られる画像内に別の撮像部から得られる画像を子画面として表示してもよいし、あるいは、各撮像部から得られる画像を、一定時間毎やユーザー操作毎に切り替えて表示してもよい。

なお、立体撮影以外の撮影モードに関しては、撮影対象に応じて図６の（ａ），（ｂ）どちらの使用形態でも使用可能なように撮影モード及び表示モードを制御することにより、装置の使用に関する自由度を向上させることができる。

以上は、本実施形態の撮影表示装置において撮影しながら表示をする際の動作について説明したが、次に、記録済みの画像データや外部から受信した画像データの表示を行う際の動作に関して説明する。

本撮影表示装置において、記録済みの画像データや外部から受信した画像データを表示する際には、基本的には前述の通り、画像データの形式を示す補助データに従って表示モード判定部１１８が出力する画像識別情報に応じて、モード切り替え制御部１１６で表示モードを決定するが、さらに、ユーザー操作や装置の使用形態により表示モード選択部１１９で決定した表示モードで表示しても良い。その際の制御方法について以下に説明する。

第一に、画像データの形式を示す補助データに従って決定する。即ち、例えば横長の立体画像データを表示する場合には、ユーザーが本実施形態の撮影表示装置を図６（ａ）のような形態で使用していたとしても、画像を９０度横に回転した状態で表示する。従ってユーザーは、表示された画像を適正に観賞するためには、装置を図６（ｂ）のような形態に持ち替える必要がある。第二に、撮影表示装置の形態に従って決定する。即ち、前記画像データの形式にかかわらずユーザーが使用中の形態を優先させたい場合、その旨を前記表示モード選択部で指示すれば、例えば上記例の場合でも画像は横に回転せず、ユーザーは図６（ａ）の形態のままで画像を適正に観賞することができる。第三に、ユーザーの任意の指定に従って決定する。即ち、上記第二の基準に従って表示モードを決定した後、例えばユーザーがそのまま横臥状態になって観賞し続けるような場合は、上記第二の基準に従って画像の向きが変わってしまうのは不都合であるため、このような場合は、前記と同様にユーザーが前記表示モード選択部で指示すれば、上記例の場合でも画像は横に回転せず、ユーザーは図６（ｂ）の形態のまま、かつ横臥状態で画像を適正に観賞することができる。

なお、本実施形態は「撮影表示装置」として示したが、撮影手段及びそれに関連する制御機能を省いた「表示装置」として構成しても良い。その場合でも、上記「撮影表示装置」の説明で示したような、画像の表示に関するユーザー操作や制御の簡便性は、同様に確保される。

逆に、表示手段及びそれに関連する制御機能を省いた「撮影装置」として構成しても良い。あるいは表示手段を備えつつ、撮影中の画像を表示しない構成でも良い。その場合でも、上記「撮影表示装置」の説明で示したような、画像の撮影に関するユーザー操作や制御の簡便性は、同様に確保される。また、本実施形態では撮像部が３つの例を示したが、同様の考え方で４つ以上の撮像部を備える撮影表示装置もしくは撮影装置を構成することが可能である。

本発明の第一の実施例による撮影表示装置の内部構成を示すブロック図である。 各撮影・表示モードにおける画像データの構成を示す概念図である。 本発明の第一の実施例による撮影表示装置の簡易的な外観図である。 本発明の第二の実施例による撮影表示装置の簡易的な外観図である。 本発明の第三の実施例による撮影表示装置の内部構成を示すブロック図である。 本発明の第三の実施例による撮影表示装置の使用形態を示す概念図である。 立体画像を観察する際の被写体との距離と、２つの撮像部（両眼）の間隔との関係を示す概念図である。

符号の説明

１０１−１〜１０１−ｎ 撮像部
１０２ 撮像制御部
１０３ 画像処理部
１０４ 画像符号化部
１０５ 画像表示部
１０６ モード切り替え制御部
１１１−１〜１１１−ｎ 撮像部
１１２ 撮像制御部
１１３ 画像処理部
１１４ 画像符号化部
１１５ 画像表示部
１１６ モード切り替え制御部
１１７ 画像復号部
１１８ 表示モード判定部
１１９ 表示モード選択部
２０１〜２０６ 画像
２０７ 立体画像
２０８ パノラマ画像
２０９ 複数被写体画像
３０１ 主撮像部
３０２ （第一の）副撮像部
３０３ 画像表示部
３０４ 第二の副撮像部

Claims (13)

1. 個別に稼働／非稼動の状態に制御可能な複数の撮像手段と、前記複数の撮像手段を制御する撮像制御手段と、前記撮像手段の稼働状態によって複数の撮影モードの切り替え制御を行うモード切り替え制御手段と、を備え、
   前記複数の撮像手段のうち少なくとも１つの撮像手段は、他の撮像手段との距離を変更することが可能な構成で配置されることを特徴とする撮影装置。
2. 前記モード切り替え制御手段は、前記複数の撮像手段の内、単一の撮像手段のみ稼働させて撮影する場合には、撮影モードを通常撮影モードに切り替えることを特徴とする請求項１に記載の撮影装置。
3. 前記モード切り替え制御手段は、前記複数の撮像手段の内、あらかじめ所定の間隔を空けて配置されるか、もしくは少なくとも１つの撮像手段を移動して互いに所定の間隔になるように配置した少なくとも２つの撮像手段を、各撮像手段の光軸が同一平面上にあって互いに平行または該平面上の前方で交わるような状態で稼働させた場合には、撮影モードを立体撮影モードに切り替えることを特徴とする請求項１又は請求項２に記載の撮影装置。
4. 前記モード切り替え制御手段は、前記複数の撮像手段の内、少なくとも２つの撮像手段を、各撮像手段の光軸が同一平面上にあって該平面上の後方で互いに交わるような状態で稼働させた場合に、撮影モードをパノラマ撮影モードに切り替えることを特徴とする請求項１から請求項３のいずれか１項に記載の撮影装置。
5. 前記モード切り替え制御手段は、前記複数の撮像手段の内、少なくとも２つの撮像手段を、各撮像手段の光軸が同一平面上にないような状態で稼働させた場合に、撮影モードを複数被写体撮影モードに切り替えることを特徴とする請求項１から請求項４のいずれか１項に記載の撮影装置。
6. さらに、前記複数の撮像手段それぞれで撮像された画像データに関して、撮像手段間の特性の差を補正する画像処理手段を備えることを特徴とする請求項１から請求項５のいずれか１項に記載の撮影装置。
7. 前記複数の撮像手段のうち少なくとも二つの撮像手段は、撮影装置の形状に対して長手方向に所定の間隔を空けて並んで配置されることを特徴とする請求項１から請求項６のいずれか１項に記載の撮影装置。
8. 通常画像の表示の他に少なくとも立体画像の表示が可能な画像表示手段と、該画像表示手段が備える複数の表示モードの切り替え制御を行う表示モード切り替え制御手段と、を備え、
   前記表示モード切り替え制御手段は、表示しようとする画像データの形式を判定して、前記表示手段の表示モードを決定することを特徴とする表示装置。
9. さらに、装置の使用形態に応じて画像表示モードを決定する表示モード選択手段を備え、
   前記表示モード選択手段は、前記装置の使用形態に応じて、表示する画像の向きを決定することを特徴とする請求項８に記載の表示装置。
10. 前記表示モード選択手段は、ユーザーからの指定があった場合に、該ユーザーからの指定に従って、表示する画像の向きを決定することを特徴とする請求項９に記載の表示装置。
11. 前記表示モード切り替え制御手段は、表示する画像の表示範囲を制御し、表示しようとする画像の表示サイズを、前記表示手段の表示領域内に収まるように変更することを特徴とする請求項８から請求項１０のいずれか１項に記載の表示装置。
12. 前記表示モード切り替え制御手段は、前記表示手段の表示領域内に収まらない画像部分がある際に、ユーザーからの指定があった場合に、該ユーザーの指定に従って表示する画像の範囲を移動させることを特徴とする請求項８から請求項１１のいずれか１項に記載の表示装置。
13. 個別に稼働／非稼動の状態に制御可能な複数の撮像手段と、前記複数の撮像手段を制御する撮像制御手段と、前記撮像手段の稼働状態によって複数の撮影モードの切り替え制御を行うモード切り替え制御手段と、通常画像の表示と立体画像の表示が可能な表示手段を備え、
    前記モード切り替え制御手段は、前記撮影モードに応じて前記表示手段の表示モードを決定することを特徴とする撮影表示装置。

Images