JP2017060107A - カメラモジュール及び情報処理装置 - Google Patents

Abstract

【課題】１つの撮像素子で複数の撮像方向からの画像を実質的に同時に得ることができるカメラモジュール及び情報処理装置を提供すること。【解決手段】受光面１５ａに結像した光学像を電気信号に変換する撮像素子１５と、第１の撮像方向の光を前記受光面に導く第１の撮像光学系１２と、第２の撮像方向の光を前記受光面に導く第２の撮像光学系１３と、透過率の変更が可能な調光ミラー１４と、調光ミラー１４の透過率の変更を所定時間毎に繰り返し行い、撮像素子１５に対して第１の撮像光学系１２を介した第１の画像及び第２の撮像光学系１３を介した第２の画像を取得させるとともに、前記第１の画像及び前記第２の画像に対してそれぞれ第１の撮像光学系１２に対応する第１の識別情報及び第２の撮像光学系１３に対応する第２の識別情報を付加して出力する制御部１６と、を備える。【選択図】図２

Description

本発明は、１つの撮像素子で複数の撮像方向からの画像を実質的に同時に得ることができるカメラモジュール及び情報処理装置に関する。

従来から、携帯端末やタブレット端末などの携帯情報端末には撮像装置が組み込まれている。携帯情報端末は一般に操作者側に表示モニタをもつ板状構造である。携帯情報端末の操作者は、操作者に対向する被写体を操作者側の表示モニタを用いてモニタしつつ撮像したい場合があるとともに、操作者側の被写体を操作者側の表示モニタを用いてモニタしつつ撮像したい場合がある。したがって、近年の携帯情報端末は、操作者側の被写体を撮像する撮像装置と、操作者に対向する側の被写体を撮像する撮像装置との２つの撮像装置を備えるものが多い。

ここで、特許文献１には、２つの撮像光学系と１つの撮像素子とを有し、２つの撮像光学系を摺動可能にして１つの撮像素子を共有できるようにしている。

また、特許文献２には、現在の車両状態を検出し、その検出結果を用いて調光ミラーを透明状態と鏡状態とに変化させ、カメラの視線方向（撮像方向）を切り換える周辺監視装置が記載されている。

特開２００２−２７２９２号公報 特開２００６−２９８３１８号公報

ところで、特許文献１，２に記載された撮像装置は、撮像光学系が有する２つの撮像方向を切り換え、切り換えられた撮像方向からの画像を１つの撮像素子によって取得するものである。特許文献１に記載された撮像方向の切換は、２つの撮像光学系の摺動によって行われる。また、特許文献２に記載された撮像方向の切換は、車両状態の検出結果に対応して調光ミラーの透過率の変更を行うことによってなされる。

すなわち、従来の撮像装置は、１つの撮像素子に対する２つの撮像方向を、摺動操作や車両状態の検出結果などによって択一的に撮像方向を選択しているに過ぎない。したがって、いずれの場合も、１つの撮像素子によって２つの撮像方向に対する撮像を実質的に同時に得ることはできない。

本発明は、上記に鑑みてなされたものであって、１つの撮像素子で複数の撮像方向からの画像を実質的に同時に得ることができるカメラモジュール及び情報処理装置を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明にかかるカメラモジュールは、受光面に結像した光学像を電気信号に変換する撮像素子と、第１の撮像方向の第１の被写体からの光を前記受光面に導く第１の撮像光学系と、第２の撮像方向の第２の被写体からの光を前記受光面に導く第２の撮像光学系と、透過率の変更によって前記第１の撮像光学系からの光または前記第２の撮像光学系からの光を前記受光面に切換出力する切換ミラーと、前記切換ミラーによる切換を所定時間毎に繰り返し行い、前記撮像素子に対して前記第１の撮像光学系を介した第１の画像及び前記第２の撮像光学系を介した第２の画像を取得させるとともに、前記第１の画像及び前記第２の画像に対してそれぞれ前記第１の撮像光学系に対応する第１の識別情報及び前記第２の撮像光学系に対応する第２の識別情報を付加して前記第１の画像及び／または前記第２の画像を表示及び／または記憶させる連続撮像モードの処理を行う制御部と、を備えたことを特徴とする。

また、本発明にかかるカメラモジュールは、上記の発明において、前記切換ミラーは、透過率の変更によって切換出力する調光ミラーであることを特徴とする。

また、本発明にかかるカメラモジュールは、上記の発明において、前記第１の被写体及び前記第２の被写体は異なることを特徴とする。

また、本発明にかかるカメラモジュールは、上記の発明において、前記制御部は、前記第１の画像または前記第２の画像内に所定の認識画像情報が存在する場合、前記所定の認識画像情報が存在する前記第１の画像または前記第２の画像を選択して表示及び／または記憶させる選択撮像モードの処理を行うことを特徴とする。

また、本発明にかかるカメラモジュールは、上記の発明において、前記制御部は、前記第１の画像または前記第２の画像内に所定の認識画像情報が存在する場合、前記所定の認識画像情報が存在する前記第１の画像または前記第２の画像を選択して連続撮像するように、前記切換ミラーの切換出力を固定する選択固定撮像モードの処理を行うことを特徴とする。

また、本発明にかかるカメラモジュールは、上記の発明において、前記所定の認識画像情報は、顔認識情報、文字認識情報、識別画像認識情報、色認識情報、動き認識情報の１以上の組み合わせであることを特徴とする。

また、本発明にかかるカメラモジュールは、上記の発明において、前記制御部は、前記調光ミラーの透過率を調整してハーフミラーに設定し、前記撮像素子を介して前記第１の画像及び前記第２の画像が重畳した重畳画像を取得させ、該重畳画像に重畳画像を示す第３の識別情報を付加して表示及び／または記憶させるハーフミラーモードの処理を行うことを特徴とする。

また、本発明にかかるカメラモジュールは、上記の発明において、前記第１の被写体及び前記第２の被写体は同一であり、前記制御部は、前記第１の画像及び前記第２の画像をもとに３Ｄ表示処理または３Ｄ録画処理する３Ｄ撮像モードの処理を行うことを特徴とする。

また、本発明にかかる情報処理装置は、上記の発明のいずれか一つに記載のカメラモジュールを備えたことを特徴とする。

また、本発明にかかる情報処理装置は、上記の発明において、前記連続撮像モード、前記選択撮像モード、前記選択固定撮像モード、前記ハーフミラーモード、前記３Ｄ撮像モード、前記第１の画像または前記第２の画像のいずれかを選択する固定撮像モードのいずれかを選択するモード選択スイッチを有することを特徴とする。

また、本発明にかかる情報処理装置は、上記の発明において、前記モード選択スイッチは、前記選択撮像モード及び前記選択固定撮像モードにおける、顔認識情報、文字認識情報、識別画像認識情報、色認識情報、動き認識情報の１以上を組み合わせたサブモードを選択することを特徴とする。

本発明によれば、切換ミラーによる切換を所定時間毎に繰り返し行い、撮像素子を介して第１の撮像光学系を介した第１の画像及び第２の撮像光学系を介した第２の画像を取得させるとともに、前記第１の画像及び前記第２の画像に対してそれぞれ前記第１の撮像光学系に対応する第１の識別情報及び前記第２の撮像光学系に対応する第２の識別情報を付加して前記第１の画像及び／または前記第２の画像を表示及び／または記憶させるようにしている。これによって、１つの撮像素子で複数の撮像方向からの画像を実質的に同時に得ることができる。

図１は、本発明の実施の形態１であるカメラモジュールが搭載された携帯情報端末の外観構成を示す斜視図である。 図２は、主として図１に示したカメラモジュールの詳細配置構成を示す模式図である。 図３は、主として図１に示したカメラモジュールの制御系を示すブロック図である。 図４は、連続撮像モード制御部による連続撮像モード処理を説明する説明図である。 図５は、顔認識処理部によって検出された顔認識情報の一例を示す図である。 図６は、文字認識処理部によって検出された文字認識情報の一例を示す図である。 図７は、識別画像認識処理部によって検出された識別画像の一例を示す図である。 図８は、選択撮像モード制御部による選択撮像モード処理を説明する説明図である。 図９は、選択固定撮像モード制御部による選択固定撮像モード処理を説明する説明図である。 図１０は、主として実施の形態２のカメラモジュールの詳細配置構成を示す模式図である。 図１１は、主として実施の形態２のカメラモジュールの制御系を示すブロック図である。 図１２は、３Ｄ撮像モード制御部による３Ｄ撮像モード処理を説明する説明図である。 図１３は、３つの撮像光学系を有したカメラモジュールの構成の一例を示す模式図である。 図１４は、主として実施の形態３のカメラモジュールの詳細配置構成を示す模式図である。 図１５は、主として実施の形態３のカメラモジュールの制御系を示すブロック図である。 図１６は、色差撮像モード制御部による色差撮像モード処理を説明する説明図である。

（実施の形態１）
以下、添付図面を参照してこの発明を実施するための形態について説明する。図１は、本発明の実施の形態１であるカメラモジュール１０が搭載された携帯情報端末１の外観構成を示す斜視図である。また、図２は、主としてカメラモジュール１０の詳細配置構成を示す模式図である。また、図３は、主としてカメラモジュール１０の制御系を示すブロック図である。なお、携帯情報端末１は、携帯端末やタブレット端末などであるが、パーソナルコンピュータなどをも含めた情報処理装置の一例である。

図１に示すように、カメラモジュール１０は携帯情報端末１のＹ方向上端部中央に組み込まれる。携帯情報端末１は、操作者側の表面にはタッチパネル２が設けられている。図２に示すように、カメラモジュール１０は、１つの撮像素子１５と、第１の撮像光学系１２と、第２の撮像光学系１３と、調光ミラー１４と、制御部１６とを有する。撮像素子１５は、受光面１５ａに結像した光学像を電気信号に変換する。

第１の撮像光学系１２は、第１の撮像方向（−Ｚ方向）の第１の被写体からの光を受光面１５ａに導く。第１の撮像光学系１２は、レンズである撮像光学系２０と反射ミラー１１とを有する。第２の撮像光学系１３は、レンズによって実現され、第２の撮像方向（＋Ｚ方向）の第２の被写体からの光を、調光ミラー１４を介して受光面１５ａに導く。

調光ミラー１４は、透過率の変更によって第１の撮像光学系１２からの光または第２の撮像光学系１３からの光を受光面１５ａに切換出力する。

一般に調光ミラーには、水素と酸素とを含むガスを用いるガスクロミック方式と、電解質を用いて電気的にスイッチングするエレクトロクロミック方式との２種類がある。ガスクロミック方式は、スペーサを介したペアガラスの一方のガラス内面にマグネシウム・ニッケル合金薄膜が蒸着され、このペアガラス内部にアルゴンで１％程度に希薄した水素を導入すると水素化が生じ、透明状態（透過状態）となり、酸素を含むガスを導入すると、脱水素化が生じて鏡状態（反射状態）となる。一方、エレクトロクロミック方式は、例えば、ＮａＯＨなどを電解液として２枚のガラスの間に封入し、それぞれのガラスの表面に蒸着された導電膜に対して電圧を印加することにより透過率を変更する。電圧を印加した状態では、電気化学反応によって透明状態に変化する。また、電圧を印加しない状態では鏡状態となる。この実施の形態１の調光ミラー１４は、制御及び構成が容易なエレクトロクロミック方式の調光ミラーを用いている。なお、調光ミラー１４は、電圧の大きさを調整することによってハーフミラーとして機能させることができる。

携帯情報端末１の全面には液晶ディスプレイなどによって実現される表示部３が形成されている。また、表示部３の前面（＋Ｚ方向）には、操作入力部としてのタッチパネル２が形成されている。一方、表示部３の後面（−Ｚ方向）には、記憶部４、及び携帯情報端末１全体を制御する全体制御部５が配置されている。

制御部１６は、図３に示すように、調光ミラー１４、撮像素子１５、タッチパネル２、表示部３、記憶部４、及び全体制御部５に接続される。制御部１６は、連続撮像モード制御部２１、選択撮像モード制御部２２、選択固定撮像モード制御部２３、ハーフミラーモード制御部２４、固定撮像モード制御部２５、及び画像処理部３０を有する。なお、画像処理部３０は、顔認識処理部３１、文字認識処理部３２、識別画像認識処理部３３、色認識処理部３４、及び動き認識処理部３５を有する。

制御部１６は、モード選択スイッチ６によって選択されたモードに応じて、連続撮像モード制御部２１による連続撮像モード処理、選択撮像モード制御部２２による選択撮像モード処理、選択固定撮像モード制御部２３による選択固定撮像モード処理、ハーフミラーモード制御部２４によるハーフミラーモード処理、固定撮像モード制御部２５による固定撮像モード処理をそれぞれ実行する。なお、各モードの撮像は、図示しない撮像スイッチの押下等によって開始される。画像処理部３０は、撮像素子１５による撮像処理及び撮像された画像の画像処理を行う。制御部１６は、画像処理部３０によって処理された画像を表示部３及び／または記憶部４に出力する。

［連続撮像モード処理］
連続撮像モード制御部２１は、連続撮像モードが選択されると、調光ミラー１４の透過率の変更（透明状態と鏡状態）を所定時間毎に繰り返し行う。この所定時間は、数十ｍｓｅｃ程度が好ましいが、調光ミラー１４の応答性を考慮する必要がある。調光ミラー１４に電圧が印加されると透過率が大きくなり透明状態となる。この場合、撮像素子１５は第１の撮像光学系１２を介した第１の撮像方向Ａ１からの第１の画像を撮像する。一方、調光ミラー１４に電圧が印加されないと透過率が低くなり鏡状態となる。この場合、撮像素子１５は、第２の撮像光学系１３及び調光ミラー１４を介した第２の撮像方向Ａ２からの第２の画像を撮像する。

連続撮像モード制御部２１は、調光ミラー１４の制御に対応して、第１の撮像方向Ａ１からの第１の画像に、第１の撮像光学系１２を介して撮像された画像であることを示す第１の識別情報を付加し、第２の撮像方向Ａ２からの第２の画像に、第２の撮像光学系１３を介して撮像された画像であることを示す第２の識別情報を付加する。

例えば、図４に示すように、連続撮像モード制御部２１は、調光ミラー１４に対する電圧の印加と無印加とによって調光ミラー１４を所定時間Δｔ毎に透過（透明状態）と反射（鏡状態）とを連続して繰り返す。制御部１６内では、調光ミラー１４が透過時に撮像方向Ａ１の画像Ｐ１１，Ｐ１２が得られ、調光ミラー１４が反射時に撮像方向Ａ２の画像Ｐ２１，Ｐ２２が得られる。ここで、透過時の画像Ｐ１１，Ｐ１２には、撮像方向Ａ１の画像であることを示す識別情報Ｄ１が属性情報として付加される。また、反射時の画像Ｐ２１，Ｐ２２には、撮像方向Ａ２の画像であることを示す識別情報Ｄ２が属性情報として付加される。なお、属性情報には、通常の画像と同様に時間情報、画像サイズ情報等が含まれる。

連続撮像モード制御部２１は、画像Ｐ１１，Ｐ１２，Ｐ２１，Ｐ２２に付加された識別情報Ｄ１，Ｄ２を用いて、表示部３における第１の撮像方向Ａ１の画像を表示する表示領域Ｅ１に画像Ｐ１１，Ｐ１２を表示し、記憶部４における第１の撮像方向Ａ１の画像を記憶する記憶領域Ｅ１１に画像Ｐ１１，Ｐ１２を記憶する。また、連続撮像モード制御部２１は、画像Ｐ１１，Ｐ１２，Ｐ２１，Ｐ２２に付加された識別情報Ｄ１，Ｄ２を用いて、表示部３における第２の撮像方向Ａ２の画像を表示する表示領域Ｅ２に画像Ｐ２１，Ｐ２２を表示し、記憶部４における第２の撮像方向Ａ２の画像を記憶する記憶領域Ｅ１２に画像Ｐ２１，Ｐ２２を記憶する。

この連続撮像モード処理では、調光ミラー１４の透過、反射を数十ｍｓｅｃオーダーで切り換えることによって、異なる撮像光学系が高速切換されるため、各撮像光学系による撮像画像を実質的に同時に得ることができる。この場合、連続撮像モード制御部２１は、画像に付加された識別情報Ｄ１，Ｄ２によって、どの撮像光学系によって撮像された画像であるかを峻別して出力することができる。

［選択撮像モード処理］
選択撮像モード制御部２２は、選択撮像モード処理を行う。選択撮像モード処理では、取得した画像内に所定の認識画像情報が存在する場合、所定の認識画像情報が存在する画像のみを表示部３及び／または記憶部４に自動的に出力する。所定の認識画像情報は、顔認識情報、文字認識情報、識別画像認識情報、色認識情報、動き認識情報があり、選択撮像モードの選択時に、サブモードとして顔認識情報モード、文字認識情報モード、識別画像認識情報モード、色認識情報モード、動き認識情報モードが選択される。この選択では、１以上のサブモードの選択が可能である。

顔認識処理部３１は、取得された画像内で顔認識処理を行う。図５では、取得された画像Ｐ１１内に顔認識情報Ｄ１１が存在する状態を示している。

文字認識処理部３２は、取得された画像内で文字認識処理を行う。図６では、取得された画像Ｐ１１内に「山田」という文字認識情報Ｄ１２が存在する状態を示している。

識別画像認識処理部３３は、取得された画像内のバーコードやＱＲコード（登録商標）などの識別画像の認識処理を行う。図７では、取得された画像Ｐ１１内にバーコードの識別画像情報Ｄ１３が存在する状態を示している。

色認識処理部３４は、取得された画像内の色認識処理を行う。また、動き認識処理部３５は、取得された画像内での動きベクトルを求め、画像内に動きがあるか否かを認識する。

例えば、顔認識情報モードが選択された状態での選択撮像モード制御部２２は、顔認識処理部３１が、所定の認識画像情報である顔認識情報Ｄ１１を検出するまで、連続撮像モード制御部２１と同じ制御処理を行う。ここで、図８に示した画像Ｐ１１内で顔認識情報Ｄ１１が検出されると、図８に示すように、制御部１６内の選択撮像モード制御部２２は、撮像方向Ａ１の識別情報Ｄ１をもつ画像Ｐ１１，Ｐ１２のみを表示領域Ｅ１に表示し、記憶領域Ｅ１１に記憶する。

この選択撮像モード処理では、所定の認識画像情報が画像内に存在した場合、所定の認識画像情報を有した撮像方向のみの画像を自動的に表示出力、及び／または記憶出力するようにしているので、無駄な出力処理の実行を抑えるとともに、操作者の操作処理を軽減することができる。

［選択固定撮像モード処理］
選択固定撮像モード制御部２３は、選択固定撮像モード処理を行う。選択固定撮像モード処理では、画像内で所定の認識画像情報の存在を検出するまでの処理は、選択撮像モード処理と同じである。しかし、選択固定撮像モード制御部２３は、所定の認識画像情報の存在を検出した後は、撮像素子１５が所定の認識画像情報が存在した画像のみを連続して取得するように、調光ミラー１４の固定切換を行うとともに、取得された画像を、撮像方向に対応する表示領域及び／または記憶領域に出力するようにしている。

例えば、図９に示すように、画像Ｐ１２内で所定の認識画像情報の存在が検出された場合、選択固定撮像モード制御部２３は、画像Ｐ１２を取得した後、調光ミラー１４を透過状態に固定し、画像Ｐ１２以降の画像Ｐ１３，Ｐ１４は、すべて撮像方向Ａ１のみの画像となるようにしている。この結果、表示部３及び／または記憶部４に出力される画像は、自動的に撮像方向Ａ１のみの画像となる。この選択固定撮像モード制御部２３では、所定の認識画像情報が検出された場合、リアルタイムで所望の画像を連続撮像することができる。

［ハーフミラーモード処理］
ハーフミラーモード制御部２４は、ハーフミラーモード処理を行う。ハーフミラーモード制御部２４は、ハーフミラーモードが選択されると、調光ミラー１４に印加する電圧を中間値に設定し、例えば、透過と反射とがそれぞれ５０％程度となるようにする。

このハーフミラー処理では、１つの画像内に２つの撮像方向Ａ１，Ａ２の画像が重畳した重畳画像として得られ、この重畳画像を表示部３及び／または記憶部４に出力する。

［固定撮像モード処理］
固定撮像モード制御部２５は、固定撮像モード処理を行う。固定撮像モードの選択時に、所望の撮像方向を指示する。固定撮像モード制御部２５は、従来の撮像装置と同様に、指示された所望の撮像方向の画像が得られように、調光ミラー１４を制御する。この場合、所望の撮像方向の画像のみがリアルタイムで連続して得られる。

（実施の形態２）
上述した実施の形態１では、撮像方向Ａ１を−Ｚ方向とし、撮像方向Ａ２を＋Ｚ方向として、撮像方向Ａ１の被写体と撮像方向Ａ２の被写体とが異なるようにしていた。この実施の形態２では、撮像方向Ａ１の被写体と撮像方向Ａ２の被写体とが同一となるようにしている。

図１０は、主として実施の形態２のカメラモジュール４０の詳細配置構成を示す模式図である。また、図１１は、主として実施の形態２のカメラモジュール４０の制御系を示すブロック図である。

図１０に示すように、カメラモジュール４０は、実施の形態１のカメラモジュール１０内の第２の撮像光学系１３の撮像方向Ａ２を、第１の撮像光学系１２の撮像方向Ａ１とほぼ同一方向とする第２の撮像光学系４３として第１の撮像光学系１２の被写体と同じ被写体を撮像できるようにしている。図１０では、第１の撮像光学系１２の撮像方向Ａ１と第２の撮像光学系４３の撮像方向Ａ１´とがほぼ同じ撮像方向として示している。具体的には、同じ被写体で撮像方向Ａ１，Ａ１´が交わるようにしている。また、第２の撮像光学系４３の設置変更に伴って調光ミラー１４の反射面を第２の撮像光学系４３の撮像方向Ａ１´とした調光ミラー４４に変更している。この実施の形態２では、第１の撮像光学系１２と第２の撮像光学系４３とによって取得された画像をもとに３Ｄ画像を生成することができる。なお、カメラモジュール４０は、Ｙ方向が水平となるようにして撮像する。そして、第１の撮像光学系１２を介して取得された画像が左画像となり、第２の撮像光学系４３を介して取得された画像が右画像となる。

図１１に示すように、制御部１６は、３Ｄ撮像モード制御部４１を有する。３Ｄ撮像モード制御部４１は、モード選択スイッチ６が３Ｄ撮像モードを選択した場合に実行される。３Ｄ撮像モード制御部４１は、実施の形態１に示した連続撮像モード制御部２１による制御処理と同じように、調光ミラー４４の切換制御を行う。３Ｄ撮像モード制御部４１は、第１の撮像光学系１２を介して取得された左画像と、第２の撮像光学系４３を介して取得された右画像とをもとに３Ｄ画像を生成する処理を行う。

例えば、図１２に示すように、連続撮像モード制御部２１による制御処理と同じように、調光ミラー４４に対して所定時間Δｔ毎、透過と反射との切換制御を行う。そして、左画像Ｐ１１と右画像Ｐ２１とは３Ｄ画像を生成するペア画像として、表示部３の表示領域Ｅ４及び／または記憶部４の記憶領域Ｅ４１に出力される。ペア画像を形成する左画像の取得期間と右画像の取得期間とは、厳密には異なるが、左画像と右画像とは、連続して隣接する所定時間Δｔの２倍の期間で取得されたものであり、しかも、所定時間Δｔは数十ｍｓｅｃオーダーであるため、同一期間に取得された画像として取り扱っても問題ない。この際、左画像には、第１の撮像光学系１２によって取得された画像を示す識別情報Ｄ１が付加され、右画像には、第２の撮像光学系４３によって取得された画像を示す識別情報Ｄ２が付加される。

なお、上述した実施の形態１，２では、複数の撮像光学系の一例として、いずれも２つの撮像光学系を示していたが、例えば、図１３に示すように、３つの撮像光学系１２，１３，５２を設け、調光ミラー１４，５１の透過率の変更切換制御によって、３つの撮像光学系１２，１３，５２を介した画像を実質的に同時に取得することができる。

例えば、図１３に示すように、第１の撮像光学系１２による撮像方向Ａ１の画像を取得する場合、調光ミラー５１を反射状態にし、調光ミラー１４を透過状態にする。第２の撮像光学系１３による撮像方向Ａ２の画像を取得する場合、調光ミラー１４を反射状態にする。第３の撮像光学系５２による撮像方向Ａ０の画像を取得する場合、調光ミラー１４，５１を透過状態にする。そして、制御部１６は、上述した調光ミラー１４，５１に対する３つの切換制御を連続して繰り返せばよい。また、制御部１６は、撮像方向Ａ１，Ａ２，Ａ０に対応する識別情報Ｄ１，Ｄ２，Ｄ３をそれぞれ付加して各画像を峻別できるようにする。

なお、ハーフミラーモードの場合、制御部１６は、調光ミラー５１の透過率を５０％程度とし、調光ミラー１４の透過率を６７％程度とすることが好ましい。この透過率の設定によって、撮像方向Ａ１，Ａ２，Ａ０の各画像は、同じ透過率の減衰となって重畳される。もちろん、制御部１６は、調光ミラー１４，５１の透過率を任意に設定してもよい。

（実施の形態３）
上述した実施の形態１，２では、調光ミラーの透過率を所定時間Δｔ毎の時間差で切り換えて各撮像方向の画像を時間差で取得し、実質的に各撮像方向の画像を同時に撮像できるものであった。この実施の形態３では、所定時間Δｔ毎に各撮像方向の色差画像を同時に取得できるようにしている。

図１４は、主として実施の形態３のカメラモジュール１０の詳細配置構成を示す模式図である。また、図１５は、主として実施の形態３のカメラモジュール１０の制御系を示すブロック図である。

図１４に示すように、カメラモジュール１０は、実施の形態１のカメラモジュール１０の第１の撮像光学系１２にカラーフィルタ６１をさらに設け、第２の撮像光学系１３にカラーフィルタ６２をさらに設けている。カラーフィルタ６１，６２は、制御部１６によって、透過する波長域を変更することができる。カラーフィルタ６１，６２は、例えば、Ｒ（赤色波長帯），Ｇ（緑色波長帯），Ｂ（青色波長帯）を透過波長域として切り替えられる。また、カラーフィルタ６１，６２の透過波長帯は、排他的であり、異なる波長帯を透過する。

図１５に示すように、制御部１６は、色差撮像モード制御部６０を有する。色差撮像モード制御部６０は、モード選択スイッチ６が色差撮像モードを選択した場合に実行される。色差撮像モード制御部６０は、実施の形態１に示した連続撮像モード制御部２１による制御処理と同じように、調光ミラー６４の切換制御を行う。また、色差撮像モード制御部６０は、所定時間Δｔ毎に、それぞれのカラーフィルタ６１，６２の透過波長域を所定順序で繰り返し変更するとともに、カラーフィルタ６１，６２の透過波長域が異なるようにカラーフィルタ６１，６２を制御する。具体的に、色差撮像モード制御部６０は、所定時間Δｔ毎に、カラーフィルタ６１の透過波長域をＲ，Ｇ，Ｂの順序で繰り返し変更し、カラーフィルタ６２の透過波長域をＲ，Ｇ，Ｂの順序をシフトして繰り返し変更する。

また、制御部１６は、調光ミラー１４に対応する調光ミラー６４の透過率を５０％程度に固定してハーフミラーとして機能させる。これによって、撮像方向Ａ１からの透過波長帯の画像と、撮像方向Ａ２からの透過波長の画像とを所定時間Δｔ内で同時に得ることができる。

さらに、色差撮像モード制御部６０は、撮像方向Ａ１，Ａ２の重畳画像に対して、カラーフィルタ６１，６２に対する切換制御に対応した透過波長帯毎の画像に分離する。したがって、撮像素子１５は、少なくともカラー画像を撮像できるものでなければならない。

例えば、図１６に示すように、色差撮像モード制御部６０は、カラーフィルタ６１，６２に対して、所定時間Δｔ毎にＲ，Ｇ，Ｂの透過波長帯の光を順次繰り返して透過させる。ただし、カラーフィルタ６１，６２の透過波長帯は、所定時間Δｔシフトしている。具体的には、図１６に示すように、色差撮像モード制御部６０は、カラーフィルタ６１に対してＲ，Ｇ，Ｂ，Ｒ，…の順序で透過波長帯を順次繰り返すとともに、カラーフィルタ６２に対してＧ，Ｂ，Ｒ，Ｇ，…の１つシフトした順序で透過波長帯を順次繰り返す。

そして、制御部１６は、同一の所定時間Δｔ内で得られた重畳画像に対して、カラーフィルタ６１，６２に対して切り換えた透過波長帯毎の画像に分離する。図１６では、最初の所定時間Δｔ内の重畳画像に対して、撮像方向Ａ１に対してはＲを透過波長帯としているため、Ｒの波長帯の画像Ｒ１に分離し、この画像Ｒ１に対して撮像方向Ａ１の画像であることを示す識別情報Ｄ１を付加する。一方、撮像方向Ａ２に対してはＧを透過波長帯としているため、Ｇの波長の画像Ｇ１に分離し、この画像Ｇ１に対して撮像方向Ａ２の画像であることを示す識別情報Ｄ２を付加する。

そして、制御部１６は、この分離した画像をそれぞれ撮像方向に対応して表示及び／または記憶する。したがって、この実施の形態３では、単色画像ではあるが、各撮像方向Ａ１，Ａ２に対する画像を所定時間Δｔ毎にリアルタイムで撮像できることになる。

また、制御部１６は、隣接するＲ，Ｇ，Ｂの分離した画像を識別情報Ｄ１，Ｄ２をもとに各撮像方向Ａ１，Ａ２毎に合成することによって各撮像方向Ａ１，Ａ２に対するカラー画像Ｐ１１（Ｒ１，Ｇ２，Ｂ３）及びカラー画像Ｐ１２（Ｒ３，Ｇ１，Ｂ２）を得ることができる。

上述した分離画像あるいは合成したカラー画像は、各撮像方向Ａ１，Ａ２に対応した表示領域Ｅ５，Ｅ６及び／または記憶領域Ｅ５１，Ｅ５２に出力される。

なお、図１３に示した３つの撮像光学系を有するカメラモジュール１０に対しても、カラーフィルタ６１，６２に対応した３つのカラーフィルタを設けることによって、上述した色差撮像モード処理は適用できる。

また、上述した実施の形態１〜３では、調光ミラーを用いて撮像方向を切換出力していたが、これに限らず、ハーフミラーモード以外は、反射面が機械的に可動するポリゴンミラーなどの可動ミラーによって撮像方向を切換出力してもよい。この調光ミラーおよび可動ミラーを総称して切換ミラーと称する。

１ 携帯情報端末
２ タッチパネル
３ 表示部
４ 記憶部
５ 全体制御部
６ モード選択スイッチ
１０，４０ カメラモジュール
１１ 反射ミラー
１２ 第１の撮像光学系
１３，４３ 第２の撮像光学系
１４，４４，５１，６４ 調光ミラー
１５ 撮像素子
１５ａ 受光面
１６ 制御部
２０ 撮像光学系
２１ 連続撮像モード制御部
２２ 選択撮像モード制御部
２３ 選択固定撮像モード制御部
２４ ハーフミラーモード制御部
２５ 固定撮像モード制御部
３０ 画像処理部
３１ 顔認識処理部
３２ 文字認識処理部
３３ 識別画像認識処理部
３４ 色認識処理部
３５ 動き認識処理部
４１ ３Ｄ撮像モード制御部
５２ 第３の撮像光学系
６０ 色差撮像モード制御部
６１，６２ カラーフィルタ
Ａ０，Ａ１，Ａ２ 撮像方向
Ｄ１，Ｄ２，Ｄ３ 識別情報
Ｄ１１ 顔認識情報
Ｄ１２ 文字認識情報
Ｄ１３ 識別画像情報
Δｔ 所定時間

Claims (11)

1. 受光面に結像した光学像を電気信号に変換する撮像素子と、
   第１の撮像方向の第１の被写体からの光を前記受光面に導く第１の撮像光学系と、
   第２の撮像方向の第２の被写体からの光を前記受光面に導く第２の撮像光学系と、
   透過率の変更によって前記第１の撮像光学系からの光または前記第２の撮像光学系からの光を前記受光面に切換出力する切換ミラーと、
   前記切換ミラーによる切換を所定時間毎に繰り返し行い、前記撮像素子に対して前記第１の撮像光学系を介した第１の画像及び前記第２の撮像光学系を介した第２の画像を取得させるとともに、前記第１の画像及び前記第２の画像に対してそれぞれ前記第１の撮像光学系に対応する第１の識別情報及び前記第２の撮像光学系に対応する第２の識別情報を付加して前記第１の画像及び／または前記第２の画像を表示及び／または記憶させる連続撮像モードの処理を行う制御部と、
   を備えたことを特徴とするカメラモジュール。
2. 前記切換ミラーは、透過率の変更によって切換出力する調光ミラーであることを特徴とする請求項１に記載のカメラモジュール。
3. 前記第１の被写体及び前記第２の被写体は異なることを特徴とする請求項１または２に記載のカメラモジュール。
4. 前記制御部は、前記第１の画像または前記第２の画像内に所定の認識画像情報が存在する場合、前記所定の認識画像情報が存在する前記第１の画像または前記第２の画像を選択して表示及び／または記憶させる選択撮像モードの処理を行うことを特徴とする請求項１〜３のいずれか一つに記載のカメラモジュール。
5. 前記制御部は、前記第１の画像または前記第２の画像内に所定の認識画像情報が存在する場合、前記所定の認識画像情報が存在する前記第１の画像または前記第２の画像を選択して連続撮像するように、前記切換ミラーの切換出力を固定する選択固定撮像モードの処理を行うことを特徴とする請求項４に記載のカメラモジュール。
6. 前記所定の認識画像情報は、顔認識情報、文字認識情報、識別画像認識情報、色認識情報、動き認識情報の１以上の組み合わせであることを特徴とする請求項４または５に記載のカメラモジュール。
7. 前記制御部は、前記調光ミラーの透過率を調整してハーフミラーに設定し、前記撮像素子を介して前記第１の画像及び前記第２の画像が重畳した重畳画像を取得させ、該重畳画像に重畳画像を示す第３の識別情報を付加して表示及び／または記憶させるハーフミラーモードの処理を行うことを特徴とする請求項２に記載のカメラモジュール。
8. 前記第１の被写体及び前記第２の被写体は同一であり、
   前記制御部は、前記第１の画像及び前記第２の画像をもとに３Ｄ表示処理または３Ｄ録画処理する３Ｄ撮像モードの処理を行うことを特徴とする請求項１または２に記載のカメラモジュール。
9. 請求項１〜８のいずれか一つに記載のカメラモジュールを備えたことを特徴とする情報処理装置。
10. 前記連続撮像モード、前記選択撮像モード、前記選択固定撮像モード、前記ハーフミラーモード、前記３Ｄ撮像モード、前記第１の画像または前記第２の画像のいずれかを選択する固定撮像モードのいずれかを選択するモード選択スイッチを有することを特徴とする請求項９に記載の情報処理装置。
11. 前記モード選択スイッチは、前記選択撮像モード及び前記選択固定撮像モードにおける、顔認識情報、文字認識情報、識別画像認識情報、色認識情報、動き認識情報の１以上を組み合わせたサブモードを選択することを特徴とする請求項１０に記載の情報処理装置。

Images