JP2004200885A - 電子機器搭載型撮像装置 - Google Patents
電子機器搭載型撮像装置 Download PDFInfo
- Publication number
- JP2004200885A JP2004200885A JP2002365307A JP2002365307A JP2004200885A JP 2004200885 A JP2004200885 A JP 2004200885A JP 2002365307 A JP2002365307 A JP 2002365307A JP 2002365307 A JP2002365307 A JP 2002365307A JP 2004200885 A JP2004200885 A JP 2004200885A
- Authority
- JP
- Japan
- Prior art keywords
- image
- imaging
- flicker
- unit
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Color Television Image Signal Generators (AREA)
- Studio Devices (AREA)
Abstract
【課題】撮像画像の上下反転処理の演算を行うことなく表示部に正立状態で表示でき、しかも、搭載する電子機器の小型化、薄型化を低コストで実現する。
【解決手段】画像信号出力状態とハイインピーダンス出力状態とを切り換え選択可能で且つ異なる方向を向いて電子機器に搭載された複数の撮像素子１３ｂ、１４ｂと、複数の撮像素子１３ｂ、１４ｂの出力信号線が共通の１つの入力端子に共通接続された映像信号処理手段１７と、複数の撮像素子１３ｂ、１４ｂのいずれか１つが選択され前記画像信号出力状態となった撮像素子が撮像画像信号を映像信号処理手段１７に出力するとき複数の撮像素子の他の撮像素子の出力を前記ハイインピーダンス出力状態とする選択手段１６とを備える。複数の撮像素子を搭載するため撮像素子を回転させる機構が不要となる。
【選択図】 図２
【解決手段】画像信号出力状態とハイインピーダンス出力状態とを切り換え選択可能で且つ異なる方向を向いて電子機器に搭載された複数の撮像素子１３ｂ、１４ｂと、複数の撮像素子１３ｂ、１４ｂの出力信号線が共通の１つの入力端子に共通接続された映像信号処理手段１７と、複数の撮像素子１３ｂ、１４ｂのいずれか１つが選択され前記画像信号出力状態となった撮像素子が撮像画像信号を映像信号処理手段１７に出力するとき複数の撮像素子の他の撮像素子の出力を前記ハイインピーダンス出力状態とする選択手段１６とを備える。複数の撮像素子を搭載するため撮像素子を回転させる機構が不要となる。
【選択図】 図２
Description
【０００１】
【発明の属する技術分野】
本発明は、携帯電話機やノートパソコン等の携帯可能な電子機器に搭載される撮像装置に関するものである。
【０００２】
【従来の技術】
携帯電話機等の小型機器やノートパソコン等の機器に撮像装置を搭載するものが増えてきている。例えば特許文献１に記載の携帯電話機には電子スチルカメラが搭載され、この電子スチルカメラによって撮影された画像を電話回線を介して他所設置の大型記憶装置に伝送し記憶する様になっている。
【０００３】
撮像装置を電子機器に搭載する場合、電子機器を把持している自分自身を被写体とするのか、それとも電子機器を間に挟んだ向こう側を被写体とするのかによって、撮像装置のレンズの向きを変更する必要がある。このため、従来は、図９に示す様に、携帯電話機１に搭載する撮像装置２を、回転軸３を中心に双頭矢印Ａ方向に１８０度回転可能に取り付け、携帯電話機１の手前側に居る被写体４を撮影するときは撮像装置２の向きを図９に図示する状態にして撮影している。
【０００４】
そして、図１０に示す様に、携帯電話機１の向こう側に居る被写体５を撮影するときは、矢印Ｂに示す様に撮像装置２の向きを１８０度回転させて撮像装置２を状態２ａとし、一台の撮像装置２で携帯電話機１の手前側と向こう側の両方を撮影できるようにしている。
【０００５】
【特許文献１】
特開平６―１３３０８１号公報
【０００６】
【発明が解決しようとする課題】
しかしながら、上記従来の技術に係る携帯電話機１では、図１１に示す様に、撮像装置２を回転軸３を中心に矢印Ｂ方向に回転させて点線で図示する状態２ａとするため、回転機構が必要になると共に、回転のために携帯電話機１の奥行きｄが或る程度必要となり、携帯電話機１の小型化と薄型化がこの奥行きｄのために困難になるという問題がある。
【０００７】
また、撮像装置２を１８０度回転させる構成のため、手前側の被写体４の画像と向こう側の被写体５の画像は上下逆さまになってしまうので、手前側の被写体４の画像を表示部７に正立状態で表示させる機種では、撮像装置２が回転されたことをスイッチ等で検出し、向こう側の被写体５を撮像するときには撮像画像を上下反転処理してから表示部７に表示させる機能を設ける必要があり、演算処理装置の処理負荷が高くなるという問題がある。
【０００８】
本発明は、上記の従来の問題を解決するもので、撮像画像の上下反転処理を行うことなく手前側の被写体画像と向こう側の被写体画像をどちらも正立状態で表示部に表示でき、しかも小型化と薄型化を低コストで実現することができる電子機器搭載型撮像装置を提供することを目的とする。
【０００９】
【課題を解決するための手段】
上記目的を達成する電子機器搭載型撮像装置は、画像信号出力状態とハイインピーダンス出力状態とを切り換え選択可能で且つ異なる方向を向いて電子機器に搭載された複数の撮像素子と、前記複数の撮像素子の出力信号線が共通の１つの入力端子に共通接続された映像信号処理手段と、前記複数の撮像素子のいずれか１つが選択され前記画像信号出力状態となった前記撮像素子が撮像画像信号を前記映像信号処理手段に出力するとき前記複数の撮像素子のうちの他の撮像素子の出力を前記ハイインピーダンス出力状態とする選択手段とを備えたことを特徴とする。
【００１０】
この構成により、撮像画像の上下反転処理の演算を行うことなく各撮像素子による撮像画像を表示部に正立状態で表示可能となり、また、撮像装置に回転機構が不要となるため電子機器の小型化、薄型化を低コストで実現でき、しかも、映像信号処理手段が１つで済むため一層の低コストが図れる。
【００１１】
上記目的を達成する電子機器搭載型撮像装置は、異なる方向を向いて電子機器に搭載された複数の撮像素子と、前記撮像素子の各々の撮像画像信号を取り込み前記撮像素子毎且つ色フィルタ毎の平均値を求める手段と、いずれか一つの前記撮像素子で被写体画像を撮像して得られた前記色フィルタ毎の平均値が閾値範囲より外れ且つ他の前記撮像素子の撮像画像信号の前記色フィルタ毎の平均値が前記閾値範囲以内のときは前記被写体画像の撮像画像信号を前記他の撮像素子の撮像画像信号から求めたホワイトバランスゲインにて補正する手段とを備えたことを特徴とする。
【００１２】
この構成により、撮像画像の上下反転処理の演算を行うことなく各撮像素子による撮像画像を表示部に正立状態で表示可能となり、また、撮像装置に回転機構が不要となるため電子機器の小型化、薄型化を低コストで実現でき、しかも、被写体画像が或る特定色に偏っている場合でも適正なホワイトバランス補正が可能となって良好な画像を得ることが可能となる。
【００１３】
上記目的を達成する電子機器搭載型撮像装置は、異なる方向を向いて電子機器に搭載された複数のＣＭＯＳ型撮像素子と、前記各ＣＭＯＳ型撮像素子から出力される撮像画像信号のフレームあるいはフィールド間の相関を用い照明光のフリッカの有無及びフリッカ周波数成分を抽出する手段と、前記各ＣＭＯＳ型撮像素子の撮像画像信号から求めたフリッカの有無及びフリッカ周波数が一致しているとき前記フリッカを無くす適正露光量に電子シャッタスピードと前記撮像画像信号のゲイン量とを調整する露光制御手段とを備えたことを特徴とする。
【００１４】
この構成により、、撮像画像の上下反転処理の演算を行うことなく各撮像素子による撮像画像を表示部に正立状態で表示可能となり、また、撮像装置に回転機構が不要となるため電子機器の小型化、薄型化を低コストで実現でき、しかも、フリッカの有無及びフリッカ周波数を複数の撮像素子の各撮像画像信号から求めるため精度の高いフリッカレス制御が可能となる。
【００１５】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照して説明する。
【００１６】
（第１の実施の形態）
図１は、本発明の第１の実施の形態に係る電子機器の要部構成図である。この電子機器１０には、表示部１１の近傍に、撮像装置１２が搭載されている。撮像装置１２は、電子機器１０の手前側被写体を撮像する第１撮像部１３と、向こう側被写体を撮像する第２撮像部１４とから成る。このように本実施の形態に係る電子機器１０では、第１撮像部１３及び第２撮像部１４を併設し従来の様な回転機構を設けずに手前側及び向こう側の両方を撮像する構成としたため、電子機器１０の奥行きｄを薄くすることが可能となる。また、第１撮像部１３の撮像画像の正立像が表示部１１に表示され、第２撮像部１４の撮像画像の正立像が表示部１１に表示される様に設定しておくことで、撮像画像の上下反転処理が不要となり、演算処理負荷も軽減される。
【００１７】
図２は、撮像装置１２の機能ブロック図である。撮像装置１２は、前述した第１撮像部１３及び第２撮像部１４と、第１撮像部１３に直接接続され、第２撮像部１４とはインバータ１５を介して接続された選択部１６と、第１撮像部１３及び第２撮像部１４のうち選択部１６によって選択された側の撮像部の出力信号を取り込んで画像処理し表示部１１に画像を表示する映像信号処理部１７とを備える。
【００１８】
第１撮像部１３は、電子機器１０の手前側に向くレンズ系１３ａ及びこのレンズ系１３ａを通して結像した光画像を電気信号に変換する撮像素子１３ｂを備える。同様に、第２撮像部１４は、電子機器１０の向こう側に向くレンズ系１４ａ及びこのレンズ系１４ａを通して結像した光画像を電気信号に変換する撮像素子１４ｂを備える。
【００１９】
各撮像素子１３ｂ、１４ｂは出力端に夫々バッファ１３ｃ、１４ｃを備え、各バッファ１３ｃ、１４ｃは、選択制御信号によって出力制御を行う。この例では、各バッファ１３ｃ、１４ｃは、選択制御信号がローレベル信号のとき入力信号である撮像素子１３ｂ、１４ｂのデジタルの画像出力信号をそのまま出力し、選択制御信号がハイレベル信号のとき入力信号に関わらず出力を常にハイインピーダンス状態にするようになっている。
【００２０】
即ち、本実施の形態に係る撮像素子１３ｂ、１４ｂの出力は、デジタルの画像出力信号を出力するハイレベル状態及びローレベル状態と、ハイインピーダンス状態の３つの状態をとる構成となっている。
【００２１】
各撮像素子１３ｂ、１４ｂの出力すなわちバッファ１３ｃ及びバッファ１４ｃの出力は、共に、映像信号処理部１７の共通の信号入力端子に接続される。この様に、映像信号処理部１７の信号入力端子が１ポートで済むのは、選択部１６によって選択されていない撮像素子１３ｂ、１４ｂの出力がハイインピーダンス状態となるため、ワイヤードオア接続が可能なためである。このため、映像信号処理部１７として低コストな映像信号処理装置を使用可能となる。
【００２２】
次に、以上のように構成された撮像装置１２の動作を図３のタイミングチャートを用いて説明する。
【００２３】
選択部１６が第１撮像部１３を選択するローレベル信号を出力すると、このローレベル信号はそのままバッファ１３ｃに選択制御信号として入力され、インバータ１５で反転されたハイレベル信号がバッファ１４ｃに選択制御信号として入力される。
【００２４】
ローレベル信号が選択制御信号として印加されたバッファ１３ｃは、撮像素子１３ｂのデジタル画像出力信号をそのまま出力する。一方、インバータ１５によってハイレベル信号に変換されこのハイレベル信号が選択制御信号として印加されたバッファ１４ｃは、撮像素子１４ｂのデジタル画像出力信号に関わらず出力をハイインピーダンス（図３では「Ｈｉ―Ｚ」と標記）とする。これにより、バッファ１３ｃから出力されたデジタル画像出力信号は第２撮像部１４側に流れ込むことはなく、映像信号処理部１７に入力される。
【００２５】
ここで、電子機器の操作部から入力されたユーザ指示信号によって選択部１６が切り換えられ、第２撮像部１４を選択するハイレベル信号を選択部１６が出力すると、バッファ１３ｃの出力はハイインピーダンス状態となって第１撮像部１３のデジタル画像出力信号の出力は遮断される。同時に、インバータ１５によってローレベル信号に変換されこのローレベル信号が選択制御信号として印加されたバッファ１４ｃは、撮像素子１４ｂのデジタル画像出力信号を出力する。このデジタル画像出力信号は、出力がハイインピーダンス状態となった第１撮像部１３に流れ込むことはなく、映像信号処理部１７に入力される。
【００２６】
以上のように、本実施の形態によれば、１つの映像信号処理部に複数の撮像素子を接続することができ、信号線数を増やすことなく、低コストで複数の撮像素子による撮像画像の画像処理を行うことが可能となる。また、各撮像素子の上下方向は固定設置のため、撮像画像の上下反転処理の演算は不要となり、演算処理負荷も軽減する。
【００２７】
（第２の実施の形態）
図４は、本発明の第２の実施の形態に係る撮像装置の機能ブロック図である。本実施の形態に係る撮像装置２０も、第１の実施の形態と同様に、第１撮像部２１と第２撮像部２２とが併設される。第１撮像部２１はレンズ系２１ａ及び撮像素子２１ｂを備え、第２撮像部２２もレンズ系２２ａ及び撮像素子２２ｂを備える。
【００２８】
撮像装置２０は更に、色信号処理部２３ａ及び輝度信号処理部２３ｂを有する映像信号処理部２３と、第１撮像部２１及び第２撮像部２２のいずれか一方の画像出力信号を選択して映像信号処理部２３に入力させる切り換えスイッチ２４と、この切り換えスイッチ２４に切り換え制御信号を出力する選択部２５と、第１映像部２１及び第２映像部２２の画像出力信号を並行して取り込み詳細は後述するようにしてホワイトバランスゲインを演算して求め映像信号処理部２３の色信号処理部２３ａにホワイトバランスゲインを指示するオートホワイトバランス制御部２６とを備える。
【００２９】
オートホワイトバランス制御部２６は、撮像素子２１ｂから出力される画像出力信号を取り込み各画素表面に貼られた色フィルタ単位で（原色フィルタではあれば、Ｒ（レッド）、Ｇ（グリーン）、Ｂ（ブルー））１フィールドまたは１フレーム毎に平均値を算出する平均値算出手段２６ａと、同様に撮像素子２２ｂから出力される画像出力信号を取り込み平均値を算出する平均値算出手段２６ｂと、平均値算出手段２６ａ、２６ｂの夫々で算出された一画面全面の各色フィルタ毎の平均値より有彩色の判定および色温度を判定する判定手段２６ｃと、判定手段２６ｃの判定結果を基に各平均値算出手段２６ａ、２６ｂのいずれか一方の平均値算出結果を選択するセレクタ２６ｄと、セレクタ２６ｄで選択された平均値算出結果を取り込みホワイトバランスを算出して色信号処理部２３ａに出力するホワイトバランスゲイン演算手段２６ｅとを備える。
【００３０】
次に、本実施の形態における撮像装置の動作を説明する前に、ホワイトバランス制御について説明する。
【００３１】
撮像素子では１画素毎に原色または補色のカラーフィルタが貼り付けられており、撮像素子の出力は、輝度信号に変調された色信号が重畳された出力となっている。原色のカラーフィルタＲ、Ｇ、Ｂを例に説明すると、一枚の撮像画像中の各画素の色を混合した場合、その混合色はグレーになるという仮定すなわち全画面で、「Ｒの平均値＝Ｇの平均値＝Ｂの平均値」になるという仮定がある。そのため、これらの平均値が異なっていた場合、全画面の平均値が等しくなるようにカラーフィルタＲ、Ｇ、Ｂ毎のゲインを算出し、各ゲインを撮像素子の画像出力信号の該当する色信号に乗算する処理を行う。これにより、撮影光源が太陽光であっても蛍光灯であっても、白色が白色として表示される様になる。
【００３２】
このようなホワイトバランス制御において、例えばある特定色のみの被写体を拡大して撮像した場合や、屋外の晴天下で撮像し画面半分以上が青空になった場合等、撮像素子の撮像画像出力が特定色に偏っていた場合に、上述したホワイトバランス制御を行って全画面の各色の平均値が等しくなるようにしてしまうと、結果として、１つの偏った特定色が本来の色に比べて白っぽくなってしまい、逆に、本来は白であるべき被写体に不自然な色が着いてしまうという不具合が生じる。
【００３３】
そこで、本実施の形態に係るホワイトバランス制御部２６は、撮像素子が２つ存在し別々の方向を向いていることを利用して、間違ったホワイトバランス制御が実行されないようにする。例えば、第１撮像部２１が真っ赤なバラの拡大シーンを撮像していた場合、この第１撮像部２１の撮像画像の各色の平均値が等しくなるようホワイトバランスを制御するのではなく、バラの拡大シーンを撮像していない第２撮像部２２の撮像画像の各色の平均値が等しくなるようにホワイトバランスゲインを求めることとする。
【００３４】
次に、本発明の第２の実施の形態に係る撮像装置の動作を説明する。照明条件は同じであるが、異なる方向を向いた撮像素子が共に動作している状態において、外部より第１撮像部２１または第２撮像部２２のどちらを使用して被写体を撮像するかの情報がシリアル信号等で選択部２５に入力され、その情報を基に選択信号が切り換えスイッチ２４に出力される。これにより、例えば第１撮像部２１の画像出力信号が映像信号処理部２３に入力され、ビデオ信号に変換される。
【００３５】
ホワイトバランス制御部２６では、第１撮像部２１からの画像出力信号が平均値算出手段２６ａに取り込まれて各色毎の平均値が算出され、これと並行して第２撮像部２２からの画像出力信号が平均値算出手段２６ｂに取り込まれて各色毎の平均値が算出される。算出された平均値のうち、平均値算出手段２６ａの計算結果を、Ｒave(1)、Ｇave(1)、Ｂave(1)、平均値算出手段２６ｂの計算結果を、Ｒave(2)、Ｇave(2)、Ｂave(2)とする。
【００３６】
これらの計算結果は判定手段２６ｃに入力され、この判定手段２６ｃにより、Ｒave(1)／Ｇave(1)、Ｂave(1)／Ｇave(1)、Ｒave(2)／Ｇave(2)、Ｂave(2)／Ｇave(2)が算出される。そして、算出された結果と閾値Ｒthmin、Ｒthmax、Ｂthmin、Ｂthmaxとを比較し、図５に示す様に、各撮像部２１、２２が撮像している被写体の有彩色、無彩色の判定と、色温度とを判定し、ホワイトバランス処理を行なうにあたり、第１撮像部２１または第２撮像部２２のどちらの出力を使用したらよいかを判断する。
【００３７】
第１撮像部２１で撮像している状態において、平均値算出手段２６ａの算出結果Ｒave(1)／Ｇave(1)とＢave(1)／Ｇave(1)が、閾値範囲以内（Ｒthmin ＜（Ｒave(1)／Ｇave(1)＜Ｒthmax、 Ｂthmin＜ （Ｂave(1)／Ｇave(1)）＜ Ｂthmax）であれば、平均値算出手段２６ａの算出結果をそのままホワイトバランス演算に用いる。
【００３８】
もしも、Ｒave(1)／Ｇave(1)と、Ｂave(1)／Ｇave(1)のどちらかが閾値の範囲内に入らず、もう一方のＲave(2)／Ｇave(2)と、Ｂave(2)／Ｇave(2)のどちらも閾値の範囲以内に入っている場合、例えば第１撮像部２１が真っ赤な被写体を画面一杯に撮像しているような場合、閾値との比較結果は（Ｒave(1)／Ｇave(1)）＞Ｒthmaxとなる。この場合、第１撮像部２１から出力される画像出力信号を用いるとホワイトバランス演算は正常に行えないと判定され、セレクタ２６ｄにより平均値算出手段２６ｂの算出結果が選択されてホワイトバランスゲイン演算手段２６ｅに入力される。
【００３９】
以上のように、本実施の形態によれば、複数の撮像素子を用いた撮像装置において、実際に使用している側の撮像素子からの結果では正常なホワイトバランス制御が行えない場合でも、もう一方の撮像素子からの出力より正常なホワイトバランス制御が可能となり、良好な画像データを得ることが可能となる。
【００４０】
（第３の実施の形態）
図６は、本発明の第３の実施の形態に係る撮像装置の機能ブロック図である。本実施の形態に係る撮像装置３０も、第２の実施の形態と同様に、第１撮像部３１と第２撮像部３２とが併設される。第１撮像部３１はレンズ系３１ａ及び撮像素子３１ｂを備え、第２撮像部３２もレンズ系３２ａ及び撮像素子３２ｂを備え、これらの撮像素子３１ｂ、３２ｂは撮像素子駆動部３７により駆動されるが、本実施の形態に係る撮像素子３１ｂ、３２ｂはＣＭＯＳ型である。
【００４１】
撮像装置３０は更に、色信号処理部３３ａ及び輝度信号処理部３３ｂを有する映像信号処理部３３と、第１撮像部３１及び第２撮像部３２のいずれか一方の画像出力信号を選択して映像信号処理部３３に入力させる切り換えスイッチ３４と、この切り換えスイッチ３４に切り換え制御信号を出力すると共に駆動する撮像素子を選択する選択信号を撮像素子駆動部３７に出力する選択部３５と、第１撮像部３１及び第２撮像部３２の画像出力信号を取り込み詳細は後述するようにしてフリッカを検出するフリッカ検出部３６と、このフリッカ検出部３６の検出結果に応じて露光制御を行い撮像素子駆動部３７と輝度信号処理部３３ｂを制御する露光制御部３８とを備える。
【００４２】
フリッカ検出部３６は、ＣＭＯＳ型撮像素子３１ｂから出力される画像出力信号を取り込みフリッカ成分を抽出するフリッカ成分抽出手段３６ａと、ＣＭＯＳ型撮像素子３２ｂから出力される画像出力信号を取り込みフリッカ成分を抽出するフリッカ成分抽出手段３６ｂと、両フリッカ成分抽出手段３６ａ、３６ｂの抽出結果を取り込みフリッカの有無等を判定する判定部３６ｃと、この判定部３６ｃの判定結果によってフリッカ成分抽出手段３６ａ、３６ｂのいずれか一方を選択し、この選択したフリッカ成分抽出手段の抽出結果を露光制御部３８に出力し、露光制御部３８にフリッカレスで且つ適正な露光量制御を行なわせるセレクタ３６ｄとを備える。
【００４３】
フリッカ成分抽出手段３６ａ、３６ｂは、対応する撮像素子３１ｂ、３２ｂからの画像出力信号を取り込み、フレームあるいはフィールド間の相関を用い、撮像装置３０自体が動いていないことを前提にして、現フレームあるいはフィールドの或る１ラインの積算値と過去のフレームあるいはフィールドの同一ラインの積算値とを比較し、フリッカ成分のみを抽出する。
【００４４】
判定部３６ｃは、フリッカ成分抽出手段３６ａ、３６ｂから出力されるフリッカ成分を取り込み、電源周波数の２倍の周波数（電源周波数が５０Ｈｚの場合は１００Ｈｚ、電源周波数が６０Ｈｚの場合は１２０Ｈｚ）で離散フーリエ変換を行い、フリッカの有無や、そのフリッカ周波数の検出を行う。
【００４５】
ＣＭＯＳ型撮像素子の場合、ＣＣＤ型撮像素子と異なり、画素毎に光電変換された電荷を１フレームあるいは１フィールドの間保持することができないために、露光後ただちに蓄積電荷を読み出す必要がある。従って、垂直方向において１ライン毎に露光タイミングが異なってくる。
【００４６】
このようなＣＭＯＳ型撮像素子で蛍光灯フリッカのような周期的に光量が変化する照明環境下において被写体を撮像した場合、撮像素子が垂直方向において露光時間が異なるために画像が垂直方向に濃淡となって現れ、またその垂直方向の濃淡はフレームあるいはフィールド間で位相が異なるために、垂直方向に流れて見える。
【００４７】
垂直方向の濃淡や流れる画像とフレームあるいはフィールドとの相関をみながら、蛍光灯フリッカのみを抽出してフリッカの有無あるいはその周波数を判断するが、撮像した被写体の動きが、垂直方向にフリッカの現象によく似た流れるような動きであったり、被写体が、垂直方向の白黒のパターンのようなフリッカ現象によく似た被写体であったりすると、それをフリッカと誤検出してしまい、露光制御部３８は誤ったフリッカ制御を行うことがある。
【００４８】
本実施の形態では、例えば第１撮像部２１でフリッカ現象と間違える動きやパターンの被写体を撮像しているとき、第１撮像部２１と同じ照明下で第２撮像部２２が別の被写体を撮像しているため、この第２撮像部２２の撮像画像信号も用いて蛍光灯フリッカの有無や周波数を高精度に判定することを特徴とする。
【００４９】
即ち、本実施の形態では、選択部３５が選択した撮像部からの画像出力信号のうち輝度信号を露光制御部３８が輝度信号処理部３３ａから取り込んで１画面の平均値を算出し、設定した閾値との大小比較により撮像している被写体の明るさを判断し、設定した閾値と等しくなるように電子シャッタとゲインの制御を行なう。
【００５０】
（画面の平均値）＜ 閾値 → 暗い ⇒露光量UP
（画面の平均値）＞ 閾値 → 明るい ⇒露光量Doｗｎ
ただし、電子シャッタについてはフリッカが現れないようにするために、フリッカ周波数の整数倍で且つ撮像装置３０の垂直周波数以内にあたるシャッタ値に設定する。
【００５１】
例えば、撮像装置３０の垂直周波数が３０Ｈｚのとき、電源周波数が５０Ｈｚ（フリッカ周波数＝１００Ｈｚ)、６０Ｈｚ（フリッカ周波数＝１２０Ｈｚ）それぞれについて取り得るシャッタ値は次のようになる。
【００５２】
フリッカ周波数＝１００Ｈｚ：1/100s、2/100s、3/100s
フリッカ周波数＝１２０Ｈｚ：1/120s、2/120s、3/120s、4/120s
ただし、上記の離散的なシャッタ値をのみで露光制御を行なった場合、制御ステップが粗くなりスムースな制御が行えない。そこで、図７に示す様に、映像信号のゲイン制御を併用させることにより、離散的なシャッタ時間を補間させる。例えば、シャッタ値を2/100sから1/100sへ変化させる場合、そのままでは露光量が１／２に変化してしまうので、映像信号のゲインを２倍に上げることによりトータルな露光をスムースに変化させる。
【００５３】
撮像素子駆動部３７は、露光制御部３８による算出結果を基に、実際に撮像素子３１ｂ、３２ｂに対してシャッターパルスを出力し、電子シャッタ制御を行い、輝度信号処理部３３ａは、露光制御部３８による算出結果を基に、ゲイン調整を行う。
【００５４】
次に、本実施の形態に係る撮像装置３０の動作について説明する。夫々が別々の方向を向いた複数の撮像素子３１ｂ、３２ｂが共に動作している状態で、撮像素子３１ｂまたは撮像素子３２ｂのどちらの撮像素子を使用するかの選択情報がシリアル信号等で選択部３５に入力される。外部インターフェース部である選択部３５は、その選択情報を基に撮像素子３１ｂ、３２ｂの出力のどちらを選択するかの１ビット信号をスイッチ３４に出力し、スイッチ３４の極性にて撮像素子の選択が行われ、選択された撮像素子からの画像出力信号が映像信号処理部３３に取り込まれ、輝度信号処理部３３ａ、色信号処理部３３ｂにてビデオ信号に変換される。
【００５５】
フリッカ検出部３６においては、それぞれ別々の方向を向いた撮像素子３１ｂ、３２ｂからの画像出力信号がフリッカ成分抽出手段３６ａ、３６ｂに入力される。各フリッカ成分抽出手段３６ａ、３６ｂは、ライン毎にフレームあるいはフィールド相関を見るために、過去のフレームまたはフィールドのライン積算値の平均値を求め、その平均値と現フレームまたは現フィールドとを比較して、フリッカ成分のみを抽出する。そして次に、１００Ｈｚあるいは１２０Ｈｚのフリッカ周波数で離散フーリエ変換をかけることによりフリッカ判断を行う。
【００５６】
フリッカ成分抽出手段３６ａ、３６ｂそれぞれの抽出結果ＦＬ(1)、ＦＬ(2)は、判定部３８に入力される。判定部３８では、図８に示す様に、フリッカ成分抽出手段３６ａ、３６ｂの抽出結果ＦＬ(1)、ＦＬ(2)が共に同じ周波数のフリッカ成分であると判断した場合、それを露光制御部３８に伝え、そのフリッカ周波数に合わせたフリッカ補正制御を露光制御部３８に行わせる。
【００５７】
判定部３８は、２つのフリッカ成分抽出手段３６ａ、３６ｂの抽出結果から同じ周波数のフリッカ成分であると判断できない場合はその判定結果を破棄し、前の状態を保つこととする。また共にフリッカ無しと判断した場合のみフリッカ無しとし、いずれか一方のみがフリッカ無しと判断した場合には、前の状態を保つこととする。
【００５８】
例えば、５０Ｈｚの蛍光灯下で撮像素子３１ｂを使用して被写体の撮像を行っているとする。フリッカ成分抽出手段３６ａの抽出結果ＦＬ(1)が実際に今現在撮像している状態での結果となるが、フリッカ成分抽出手段３６ａの抽出結果ＦＬ(1)が被写体の動きによる影響あるいはフリッカ現象によく似た被写体を撮像したためにフリッカ無し或いは６０Ｈｚのフリッカであると判定してしまっても、もう一方のフリッカ成分抽出手段３６ｂが他方の撮像素子３２ｂの撮像画像信号からの抽出結果ＦＬ(2)を用いてフリッカを５０Ｈｚと判断していれば、露光制御部３８の誤動作を防ぐことができ、良好な画像データを得ることが可能となる。
【００５９】
【発明の効果】
本発明によれば、撮像画像の上下反転処理を行うことなく手前側の被写体画像と向こう側の被写体画像をどちらも正立状態で表示部に表示でき、しかも小型化と薄型化を低コストで実現した電子機器を提供することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態に係る電子機器の要部構成図
【図２】本発明の第１の実施の形態に係る撮像装置の機能ブロック図
【図３】本発明の第１の実施の形態に係る撮像装置の動作タイミングチャート
【図４】本発明の第２の実施の形態に係る撮像装置の機能ブロック図
【図５】本発明の第２の実施の形態に係る撮像装置の判定条件を示す図
【図６】本発明の第３の実施の形態に係る撮像装置の機能ブロック図
【図７】本発明の第３の実施の形態に係る電子シャッタとゲインの連動によるフリッカ補正の動作を説明するタイミングチャート
【図８】本発明の第３の実施の形態に係る撮像装置における判定結果を示す図
【図９】従来の携帯電話機の外観図
【図１０】従来の携帯電話機で撮像装置を回転させた状態を示す外観図
【図１１】従来の携帯電話機で撮像装置を回転させたときの携帯電話機の奥行きを示す図
【符号の説明】
１１ 表示部
１２、２０、３０ 撮像装置
１３、２１、３１ 第１撮像部
１３ａ、１４ａ、２１ａ、２２ａ、３１ａ、３２ａ レンズ系
１３ｂ、１４ｂ、２１ｂ、２２ｂ、３１ｂ、３２ｂ 撮像素子
１３ｃ、１４ｃ バッファ
１４、２２、３２ 第２撮像部
１５ インバータ
１６、２５、３５ 選択部
１７、２３、３３ 映像信号処理部
２４、３４ 切り換えスイッチ
２６ オートホワイトバランス制御部
２６ａ、２６ｂ 平均値算出手段
２６ｃ、３６ｃ 判定部
２６ｄ セレクタ
２６ｅ ホワイトバランスゲイン演算手段
３６ フリッカ検出部
３６ａ、３６ｂ フリッカ成分抽出手段
３７ 撮像素子駆動部
３８ 露光制御部
【発明の属する技術分野】
本発明は、携帯電話機やノートパソコン等の携帯可能な電子機器に搭載される撮像装置に関するものである。
【０００２】
【従来の技術】
携帯電話機等の小型機器やノートパソコン等の機器に撮像装置を搭載するものが増えてきている。例えば特許文献１に記載の携帯電話機には電子スチルカメラが搭載され、この電子スチルカメラによって撮影された画像を電話回線を介して他所設置の大型記憶装置に伝送し記憶する様になっている。
【０００３】
撮像装置を電子機器に搭載する場合、電子機器を把持している自分自身を被写体とするのか、それとも電子機器を間に挟んだ向こう側を被写体とするのかによって、撮像装置のレンズの向きを変更する必要がある。このため、従来は、図９に示す様に、携帯電話機１に搭載する撮像装置２を、回転軸３を中心に双頭矢印Ａ方向に１８０度回転可能に取り付け、携帯電話機１の手前側に居る被写体４を撮影するときは撮像装置２の向きを図９に図示する状態にして撮影している。
【０００４】
そして、図１０に示す様に、携帯電話機１の向こう側に居る被写体５を撮影するときは、矢印Ｂに示す様に撮像装置２の向きを１８０度回転させて撮像装置２を状態２ａとし、一台の撮像装置２で携帯電話機１の手前側と向こう側の両方を撮影できるようにしている。
【０００５】
【特許文献１】
特開平６―１３３０８１号公報
【０００６】
【発明が解決しようとする課題】
しかしながら、上記従来の技術に係る携帯電話機１では、図１１に示す様に、撮像装置２を回転軸３を中心に矢印Ｂ方向に回転させて点線で図示する状態２ａとするため、回転機構が必要になると共に、回転のために携帯電話機１の奥行きｄが或る程度必要となり、携帯電話機１の小型化と薄型化がこの奥行きｄのために困難になるという問題がある。
【０００７】
また、撮像装置２を１８０度回転させる構成のため、手前側の被写体４の画像と向こう側の被写体５の画像は上下逆さまになってしまうので、手前側の被写体４の画像を表示部７に正立状態で表示させる機種では、撮像装置２が回転されたことをスイッチ等で検出し、向こう側の被写体５を撮像するときには撮像画像を上下反転処理してから表示部７に表示させる機能を設ける必要があり、演算処理装置の処理負荷が高くなるという問題がある。
【０００８】
本発明は、上記の従来の問題を解決するもので、撮像画像の上下反転処理を行うことなく手前側の被写体画像と向こう側の被写体画像をどちらも正立状態で表示部に表示でき、しかも小型化と薄型化を低コストで実現することができる電子機器搭載型撮像装置を提供することを目的とする。
【０００９】
【課題を解決するための手段】
上記目的を達成する電子機器搭載型撮像装置は、画像信号出力状態とハイインピーダンス出力状態とを切り換え選択可能で且つ異なる方向を向いて電子機器に搭載された複数の撮像素子と、前記複数の撮像素子の出力信号線が共通の１つの入力端子に共通接続された映像信号処理手段と、前記複数の撮像素子のいずれか１つが選択され前記画像信号出力状態となった前記撮像素子が撮像画像信号を前記映像信号処理手段に出力するとき前記複数の撮像素子のうちの他の撮像素子の出力を前記ハイインピーダンス出力状態とする選択手段とを備えたことを特徴とする。
【００１０】
この構成により、撮像画像の上下反転処理の演算を行うことなく各撮像素子による撮像画像を表示部に正立状態で表示可能となり、また、撮像装置に回転機構が不要となるため電子機器の小型化、薄型化を低コストで実現でき、しかも、映像信号処理手段が１つで済むため一層の低コストが図れる。
【００１１】
上記目的を達成する電子機器搭載型撮像装置は、異なる方向を向いて電子機器に搭載された複数の撮像素子と、前記撮像素子の各々の撮像画像信号を取り込み前記撮像素子毎且つ色フィルタ毎の平均値を求める手段と、いずれか一つの前記撮像素子で被写体画像を撮像して得られた前記色フィルタ毎の平均値が閾値範囲より外れ且つ他の前記撮像素子の撮像画像信号の前記色フィルタ毎の平均値が前記閾値範囲以内のときは前記被写体画像の撮像画像信号を前記他の撮像素子の撮像画像信号から求めたホワイトバランスゲインにて補正する手段とを備えたことを特徴とする。
【００１２】
この構成により、撮像画像の上下反転処理の演算を行うことなく各撮像素子による撮像画像を表示部に正立状態で表示可能となり、また、撮像装置に回転機構が不要となるため電子機器の小型化、薄型化を低コストで実現でき、しかも、被写体画像が或る特定色に偏っている場合でも適正なホワイトバランス補正が可能となって良好な画像を得ることが可能となる。
【００１３】
上記目的を達成する電子機器搭載型撮像装置は、異なる方向を向いて電子機器に搭載された複数のＣＭＯＳ型撮像素子と、前記各ＣＭＯＳ型撮像素子から出力される撮像画像信号のフレームあるいはフィールド間の相関を用い照明光のフリッカの有無及びフリッカ周波数成分を抽出する手段と、前記各ＣＭＯＳ型撮像素子の撮像画像信号から求めたフリッカの有無及びフリッカ周波数が一致しているとき前記フリッカを無くす適正露光量に電子シャッタスピードと前記撮像画像信号のゲイン量とを調整する露光制御手段とを備えたことを特徴とする。
【００１４】
この構成により、、撮像画像の上下反転処理の演算を行うことなく各撮像素子による撮像画像を表示部に正立状態で表示可能となり、また、撮像装置に回転機構が不要となるため電子機器の小型化、薄型化を低コストで実現でき、しかも、フリッカの有無及びフリッカ周波数を複数の撮像素子の各撮像画像信号から求めるため精度の高いフリッカレス制御が可能となる。
【００１５】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照して説明する。
【００１６】
（第１の実施の形態）
図１は、本発明の第１の実施の形態に係る電子機器の要部構成図である。この電子機器１０には、表示部１１の近傍に、撮像装置１２が搭載されている。撮像装置１２は、電子機器１０の手前側被写体を撮像する第１撮像部１３と、向こう側被写体を撮像する第２撮像部１４とから成る。このように本実施の形態に係る電子機器１０では、第１撮像部１３及び第２撮像部１４を併設し従来の様な回転機構を設けずに手前側及び向こう側の両方を撮像する構成としたため、電子機器１０の奥行きｄを薄くすることが可能となる。また、第１撮像部１３の撮像画像の正立像が表示部１１に表示され、第２撮像部１４の撮像画像の正立像が表示部１１に表示される様に設定しておくことで、撮像画像の上下反転処理が不要となり、演算処理負荷も軽減される。
【００１７】
図２は、撮像装置１２の機能ブロック図である。撮像装置１２は、前述した第１撮像部１３及び第２撮像部１４と、第１撮像部１３に直接接続され、第２撮像部１４とはインバータ１５を介して接続された選択部１６と、第１撮像部１３及び第２撮像部１４のうち選択部１６によって選択された側の撮像部の出力信号を取り込んで画像処理し表示部１１に画像を表示する映像信号処理部１７とを備える。
【００１８】
第１撮像部１３は、電子機器１０の手前側に向くレンズ系１３ａ及びこのレンズ系１３ａを通して結像した光画像を電気信号に変換する撮像素子１３ｂを備える。同様に、第２撮像部１４は、電子機器１０の向こう側に向くレンズ系１４ａ及びこのレンズ系１４ａを通して結像した光画像を電気信号に変換する撮像素子１４ｂを備える。
【００１９】
各撮像素子１３ｂ、１４ｂは出力端に夫々バッファ１３ｃ、１４ｃを備え、各バッファ１３ｃ、１４ｃは、選択制御信号によって出力制御を行う。この例では、各バッファ１３ｃ、１４ｃは、選択制御信号がローレベル信号のとき入力信号である撮像素子１３ｂ、１４ｂのデジタルの画像出力信号をそのまま出力し、選択制御信号がハイレベル信号のとき入力信号に関わらず出力を常にハイインピーダンス状態にするようになっている。
【００２０】
即ち、本実施の形態に係る撮像素子１３ｂ、１４ｂの出力は、デジタルの画像出力信号を出力するハイレベル状態及びローレベル状態と、ハイインピーダンス状態の３つの状態をとる構成となっている。
【００２１】
各撮像素子１３ｂ、１４ｂの出力すなわちバッファ１３ｃ及びバッファ１４ｃの出力は、共に、映像信号処理部１７の共通の信号入力端子に接続される。この様に、映像信号処理部１７の信号入力端子が１ポートで済むのは、選択部１６によって選択されていない撮像素子１３ｂ、１４ｂの出力がハイインピーダンス状態となるため、ワイヤードオア接続が可能なためである。このため、映像信号処理部１７として低コストな映像信号処理装置を使用可能となる。
【００２２】
次に、以上のように構成された撮像装置１２の動作を図３のタイミングチャートを用いて説明する。
【００２３】
選択部１６が第１撮像部１３を選択するローレベル信号を出力すると、このローレベル信号はそのままバッファ１３ｃに選択制御信号として入力され、インバータ１５で反転されたハイレベル信号がバッファ１４ｃに選択制御信号として入力される。
【００２４】
ローレベル信号が選択制御信号として印加されたバッファ１３ｃは、撮像素子１３ｂのデジタル画像出力信号をそのまま出力する。一方、インバータ１５によってハイレベル信号に変換されこのハイレベル信号が選択制御信号として印加されたバッファ１４ｃは、撮像素子１４ｂのデジタル画像出力信号に関わらず出力をハイインピーダンス（図３では「Ｈｉ―Ｚ」と標記）とする。これにより、バッファ１３ｃから出力されたデジタル画像出力信号は第２撮像部１４側に流れ込むことはなく、映像信号処理部１７に入力される。
【００２５】
ここで、電子機器の操作部から入力されたユーザ指示信号によって選択部１６が切り換えられ、第２撮像部１４を選択するハイレベル信号を選択部１６が出力すると、バッファ１３ｃの出力はハイインピーダンス状態となって第１撮像部１３のデジタル画像出力信号の出力は遮断される。同時に、インバータ１５によってローレベル信号に変換されこのローレベル信号が選択制御信号として印加されたバッファ１４ｃは、撮像素子１４ｂのデジタル画像出力信号を出力する。このデジタル画像出力信号は、出力がハイインピーダンス状態となった第１撮像部１３に流れ込むことはなく、映像信号処理部１７に入力される。
【００２６】
以上のように、本実施の形態によれば、１つの映像信号処理部に複数の撮像素子を接続することができ、信号線数を増やすことなく、低コストで複数の撮像素子による撮像画像の画像処理を行うことが可能となる。また、各撮像素子の上下方向は固定設置のため、撮像画像の上下反転処理の演算は不要となり、演算処理負荷も軽減する。
【００２７】
（第２の実施の形態）
図４は、本発明の第２の実施の形態に係る撮像装置の機能ブロック図である。本実施の形態に係る撮像装置２０も、第１の実施の形態と同様に、第１撮像部２１と第２撮像部２２とが併設される。第１撮像部２１はレンズ系２１ａ及び撮像素子２１ｂを備え、第２撮像部２２もレンズ系２２ａ及び撮像素子２２ｂを備える。
【００２８】
撮像装置２０は更に、色信号処理部２３ａ及び輝度信号処理部２３ｂを有する映像信号処理部２３と、第１撮像部２１及び第２撮像部２２のいずれか一方の画像出力信号を選択して映像信号処理部２３に入力させる切り換えスイッチ２４と、この切り換えスイッチ２４に切り換え制御信号を出力する選択部２５と、第１映像部２１及び第２映像部２２の画像出力信号を並行して取り込み詳細は後述するようにしてホワイトバランスゲインを演算して求め映像信号処理部２３の色信号処理部２３ａにホワイトバランスゲインを指示するオートホワイトバランス制御部２６とを備える。
【００２９】
オートホワイトバランス制御部２６は、撮像素子２１ｂから出力される画像出力信号を取り込み各画素表面に貼られた色フィルタ単位で（原色フィルタではあれば、Ｒ（レッド）、Ｇ（グリーン）、Ｂ（ブルー））１フィールドまたは１フレーム毎に平均値を算出する平均値算出手段２６ａと、同様に撮像素子２２ｂから出力される画像出力信号を取り込み平均値を算出する平均値算出手段２６ｂと、平均値算出手段２６ａ、２６ｂの夫々で算出された一画面全面の各色フィルタ毎の平均値より有彩色の判定および色温度を判定する判定手段２６ｃと、判定手段２６ｃの判定結果を基に各平均値算出手段２６ａ、２６ｂのいずれか一方の平均値算出結果を選択するセレクタ２６ｄと、セレクタ２６ｄで選択された平均値算出結果を取り込みホワイトバランスを算出して色信号処理部２３ａに出力するホワイトバランスゲイン演算手段２６ｅとを備える。
【００３０】
次に、本実施の形態における撮像装置の動作を説明する前に、ホワイトバランス制御について説明する。
【００３１】
撮像素子では１画素毎に原色または補色のカラーフィルタが貼り付けられており、撮像素子の出力は、輝度信号に変調された色信号が重畳された出力となっている。原色のカラーフィルタＲ、Ｇ、Ｂを例に説明すると、一枚の撮像画像中の各画素の色を混合した場合、その混合色はグレーになるという仮定すなわち全画面で、「Ｒの平均値＝Ｇの平均値＝Ｂの平均値」になるという仮定がある。そのため、これらの平均値が異なっていた場合、全画面の平均値が等しくなるようにカラーフィルタＲ、Ｇ、Ｂ毎のゲインを算出し、各ゲインを撮像素子の画像出力信号の該当する色信号に乗算する処理を行う。これにより、撮影光源が太陽光であっても蛍光灯であっても、白色が白色として表示される様になる。
【００３２】
このようなホワイトバランス制御において、例えばある特定色のみの被写体を拡大して撮像した場合や、屋外の晴天下で撮像し画面半分以上が青空になった場合等、撮像素子の撮像画像出力が特定色に偏っていた場合に、上述したホワイトバランス制御を行って全画面の各色の平均値が等しくなるようにしてしまうと、結果として、１つの偏った特定色が本来の色に比べて白っぽくなってしまい、逆に、本来は白であるべき被写体に不自然な色が着いてしまうという不具合が生じる。
【００３３】
そこで、本実施の形態に係るホワイトバランス制御部２６は、撮像素子が２つ存在し別々の方向を向いていることを利用して、間違ったホワイトバランス制御が実行されないようにする。例えば、第１撮像部２１が真っ赤なバラの拡大シーンを撮像していた場合、この第１撮像部２１の撮像画像の各色の平均値が等しくなるようホワイトバランスを制御するのではなく、バラの拡大シーンを撮像していない第２撮像部２２の撮像画像の各色の平均値が等しくなるようにホワイトバランスゲインを求めることとする。
【００３４】
次に、本発明の第２の実施の形態に係る撮像装置の動作を説明する。照明条件は同じであるが、異なる方向を向いた撮像素子が共に動作している状態において、外部より第１撮像部２１または第２撮像部２２のどちらを使用して被写体を撮像するかの情報がシリアル信号等で選択部２５に入力され、その情報を基に選択信号が切り換えスイッチ２４に出力される。これにより、例えば第１撮像部２１の画像出力信号が映像信号処理部２３に入力され、ビデオ信号に変換される。
【００３５】
ホワイトバランス制御部２６では、第１撮像部２１からの画像出力信号が平均値算出手段２６ａに取り込まれて各色毎の平均値が算出され、これと並行して第２撮像部２２からの画像出力信号が平均値算出手段２６ｂに取り込まれて各色毎の平均値が算出される。算出された平均値のうち、平均値算出手段２６ａの計算結果を、Ｒave(1)、Ｇave(1)、Ｂave(1)、平均値算出手段２６ｂの計算結果を、Ｒave(2)、Ｇave(2)、Ｂave(2)とする。
【００３６】
これらの計算結果は判定手段２６ｃに入力され、この判定手段２６ｃにより、Ｒave(1)／Ｇave(1)、Ｂave(1)／Ｇave(1)、Ｒave(2)／Ｇave(2)、Ｂave(2)／Ｇave(2)が算出される。そして、算出された結果と閾値Ｒthmin、Ｒthmax、Ｂthmin、Ｂthmaxとを比較し、図５に示す様に、各撮像部２１、２２が撮像している被写体の有彩色、無彩色の判定と、色温度とを判定し、ホワイトバランス処理を行なうにあたり、第１撮像部２１または第２撮像部２２のどちらの出力を使用したらよいかを判断する。
【００３７】
第１撮像部２１で撮像している状態において、平均値算出手段２６ａの算出結果Ｒave(1)／Ｇave(1)とＢave(1)／Ｇave(1)が、閾値範囲以内（Ｒthmin ＜（Ｒave(1)／Ｇave(1)＜Ｒthmax、 Ｂthmin＜ （Ｂave(1)／Ｇave(1)）＜ Ｂthmax）であれば、平均値算出手段２６ａの算出結果をそのままホワイトバランス演算に用いる。
【００３８】
もしも、Ｒave(1)／Ｇave(1)と、Ｂave(1)／Ｇave(1)のどちらかが閾値の範囲内に入らず、もう一方のＲave(2)／Ｇave(2)と、Ｂave(2)／Ｇave(2)のどちらも閾値の範囲以内に入っている場合、例えば第１撮像部２１が真っ赤な被写体を画面一杯に撮像しているような場合、閾値との比較結果は（Ｒave(1)／Ｇave(1)）＞Ｒthmaxとなる。この場合、第１撮像部２１から出力される画像出力信号を用いるとホワイトバランス演算は正常に行えないと判定され、セレクタ２６ｄにより平均値算出手段２６ｂの算出結果が選択されてホワイトバランスゲイン演算手段２６ｅに入力される。
【００３９】
以上のように、本実施の形態によれば、複数の撮像素子を用いた撮像装置において、実際に使用している側の撮像素子からの結果では正常なホワイトバランス制御が行えない場合でも、もう一方の撮像素子からの出力より正常なホワイトバランス制御が可能となり、良好な画像データを得ることが可能となる。
【００４０】
（第３の実施の形態）
図６は、本発明の第３の実施の形態に係る撮像装置の機能ブロック図である。本実施の形態に係る撮像装置３０も、第２の実施の形態と同様に、第１撮像部３１と第２撮像部３２とが併設される。第１撮像部３１はレンズ系３１ａ及び撮像素子３１ｂを備え、第２撮像部３２もレンズ系３２ａ及び撮像素子３２ｂを備え、これらの撮像素子３１ｂ、３２ｂは撮像素子駆動部３７により駆動されるが、本実施の形態に係る撮像素子３１ｂ、３２ｂはＣＭＯＳ型である。
【００４１】
撮像装置３０は更に、色信号処理部３３ａ及び輝度信号処理部３３ｂを有する映像信号処理部３３と、第１撮像部３１及び第２撮像部３２のいずれか一方の画像出力信号を選択して映像信号処理部３３に入力させる切り換えスイッチ３４と、この切り換えスイッチ３４に切り換え制御信号を出力すると共に駆動する撮像素子を選択する選択信号を撮像素子駆動部３７に出力する選択部３５と、第１撮像部３１及び第２撮像部３２の画像出力信号を取り込み詳細は後述するようにしてフリッカを検出するフリッカ検出部３６と、このフリッカ検出部３６の検出結果に応じて露光制御を行い撮像素子駆動部３７と輝度信号処理部３３ｂを制御する露光制御部３８とを備える。
【００４２】
フリッカ検出部３６は、ＣＭＯＳ型撮像素子３１ｂから出力される画像出力信号を取り込みフリッカ成分を抽出するフリッカ成分抽出手段３６ａと、ＣＭＯＳ型撮像素子３２ｂから出力される画像出力信号を取り込みフリッカ成分を抽出するフリッカ成分抽出手段３６ｂと、両フリッカ成分抽出手段３６ａ、３６ｂの抽出結果を取り込みフリッカの有無等を判定する判定部３６ｃと、この判定部３６ｃの判定結果によってフリッカ成分抽出手段３６ａ、３６ｂのいずれか一方を選択し、この選択したフリッカ成分抽出手段の抽出結果を露光制御部３８に出力し、露光制御部３８にフリッカレスで且つ適正な露光量制御を行なわせるセレクタ３６ｄとを備える。
【００４３】
フリッカ成分抽出手段３６ａ、３６ｂは、対応する撮像素子３１ｂ、３２ｂからの画像出力信号を取り込み、フレームあるいはフィールド間の相関を用い、撮像装置３０自体が動いていないことを前提にして、現フレームあるいはフィールドの或る１ラインの積算値と過去のフレームあるいはフィールドの同一ラインの積算値とを比較し、フリッカ成分のみを抽出する。
【００４４】
判定部３６ｃは、フリッカ成分抽出手段３６ａ、３６ｂから出力されるフリッカ成分を取り込み、電源周波数の２倍の周波数（電源周波数が５０Ｈｚの場合は１００Ｈｚ、電源周波数が６０Ｈｚの場合は１２０Ｈｚ）で離散フーリエ変換を行い、フリッカの有無や、そのフリッカ周波数の検出を行う。
【００４５】
ＣＭＯＳ型撮像素子の場合、ＣＣＤ型撮像素子と異なり、画素毎に光電変換された電荷を１フレームあるいは１フィールドの間保持することができないために、露光後ただちに蓄積電荷を読み出す必要がある。従って、垂直方向において１ライン毎に露光タイミングが異なってくる。
【００４６】
このようなＣＭＯＳ型撮像素子で蛍光灯フリッカのような周期的に光量が変化する照明環境下において被写体を撮像した場合、撮像素子が垂直方向において露光時間が異なるために画像が垂直方向に濃淡となって現れ、またその垂直方向の濃淡はフレームあるいはフィールド間で位相が異なるために、垂直方向に流れて見える。
【００４７】
垂直方向の濃淡や流れる画像とフレームあるいはフィールドとの相関をみながら、蛍光灯フリッカのみを抽出してフリッカの有無あるいはその周波数を判断するが、撮像した被写体の動きが、垂直方向にフリッカの現象によく似た流れるような動きであったり、被写体が、垂直方向の白黒のパターンのようなフリッカ現象によく似た被写体であったりすると、それをフリッカと誤検出してしまい、露光制御部３８は誤ったフリッカ制御を行うことがある。
【００４８】
本実施の形態では、例えば第１撮像部２１でフリッカ現象と間違える動きやパターンの被写体を撮像しているとき、第１撮像部２１と同じ照明下で第２撮像部２２が別の被写体を撮像しているため、この第２撮像部２２の撮像画像信号も用いて蛍光灯フリッカの有無や周波数を高精度に判定することを特徴とする。
【００４９】
即ち、本実施の形態では、選択部３５が選択した撮像部からの画像出力信号のうち輝度信号を露光制御部３８が輝度信号処理部３３ａから取り込んで１画面の平均値を算出し、設定した閾値との大小比較により撮像している被写体の明るさを判断し、設定した閾値と等しくなるように電子シャッタとゲインの制御を行なう。
【００５０】
（画面の平均値）＜ 閾値 → 暗い ⇒露光量UP
（画面の平均値）＞ 閾値 → 明るい ⇒露光量Doｗｎ
ただし、電子シャッタについてはフリッカが現れないようにするために、フリッカ周波数の整数倍で且つ撮像装置３０の垂直周波数以内にあたるシャッタ値に設定する。
【００５１】
例えば、撮像装置３０の垂直周波数が３０Ｈｚのとき、電源周波数が５０Ｈｚ（フリッカ周波数＝１００Ｈｚ)、６０Ｈｚ（フリッカ周波数＝１２０Ｈｚ）それぞれについて取り得るシャッタ値は次のようになる。
【００５２】
フリッカ周波数＝１００Ｈｚ：1/100s、2/100s、3/100s
フリッカ周波数＝１２０Ｈｚ：1/120s、2/120s、3/120s、4/120s
ただし、上記の離散的なシャッタ値をのみで露光制御を行なった場合、制御ステップが粗くなりスムースな制御が行えない。そこで、図７に示す様に、映像信号のゲイン制御を併用させることにより、離散的なシャッタ時間を補間させる。例えば、シャッタ値を2/100sから1/100sへ変化させる場合、そのままでは露光量が１／２に変化してしまうので、映像信号のゲインを２倍に上げることによりトータルな露光をスムースに変化させる。
【００５３】
撮像素子駆動部３７は、露光制御部３８による算出結果を基に、実際に撮像素子３１ｂ、３２ｂに対してシャッターパルスを出力し、電子シャッタ制御を行い、輝度信号処理部３３ａは、露光制御部３８による算出結果を基に、ゲイン調整を行う。
【００５４】
次に、本実施の形態に係る撮像装置３０の動作について説明する。夫々が別々の方向を向いた複数の撮像素子３１ｂ、３２ｂが共に動作している状態で、撮像素子３１ｂまたは撮像素子３２ｂのどちらの撮像素子を使用するかの選択情報がシリアル信号等で選択部３５に入力される。外部インターフェース部である選択部３５は、その選択情報を基に撮像素子３１ｂ、３２ｂの出力のどちらを選択するかの１ビット信号をスイッチ３４に出力し、スイッチ３４の極性にて撮像素子の選択が行われ、選択された撮像素子からの画像出力信号が映像信号処理部３３に取り込まれ、輝度信号処理部３３ａ、色信号処理部３３ｂにてビデオ信号に変換される。
【００５５】
フリッカ検出部３６においては、それぞれ別々の方向を向いた撮像素子３１ｂ、３２ｂからの画像出力信号がフリッカ成分抽出手段３６ａ、３６ｂに入力される。各フリッカ成分抽出手段３６ａ、３６ｂは、ライン毎にフレームあるいはフィールド相関を見るために、過去のフレームまたはフィールドのライン積算値の平均値を求め、その平均値と現フレームまたは現フィールドとを比較して、フリッカ成分のみを抽出する。そして次に、１００Ｈｚあるいは１２０Ｈｚのフリッカ周波数で離散フーリエ変換をかけることによりフリッカ判断を行う。
【００５６】
フリッカ成分抽出手段３６ａ、３６ｂそれぞれの抽出結果ＦＬ(1)、ＦＬ(2)は、判定部３８に入力される。判定部３８では、図８に示す様に、フリッカ成分抽出手段３６ａ、３６ｂの抽出結果ＦＬ(1)、ＦＬ(2)が共に同じ周波数のフリッカ成分であると判断した場合、それを露光制御部３８に伝え、そのフリッカ周波数に合わせたフリッカ補正制御を露光制御部３８に行わせる。
【００５７】
判定部３８は、２つのフリッカ成分抽出手段３６ａ、３６ｂの抽出結果から同じ周波数のフリッカ成分であると判断できない場合はその判定結果を破棄し、前の状態を保つこととする。また共にフリッカ無しと判断した場合のみフリッカ無しとし、いずれか一方のみがフリッカ無しと判断した場合には、前の状態を保つこととする。
【００５８】
例えば、５０Ｈｚの蛍光灯下で撮像素子３１ｂを使用して被写体の撮像を行っているとする。フリッカ成分抽出手段３６ａの抽出結果ＦＬ(1)が実際に今現在撮像している状態での結果となるが、フリッカ成分抽出手段３６ａの抽出結果ＦＬ(1)が被写体の動きによる影響あるいはフリッカ現象によく似た被写体を撮像したためにフリッカ無し或いは６０Ｈｚのフリッカであると判定してしまっても、もう一方のフリッカ成分抽出手段３６ｂが他方の撮像素子３２ｂの撮像画像信号からの抽出結果ＦＬ(2)を用いてフリッカを５０Ｈｚと判断していれば、露光制御部３８の誤動作を防ぐことができ、良好な画像データを得ることが可能となる。
【００５９】
【発明の効果】
本発明によれば、撮像画像の上下反転処理を行うことなく手前側の被写体画像と向こう側の被写体画像をどちらも正立状態で表示部に表示でき、しかも小型化と薄型化を低コストで実現した電子機器を提供することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態に係る電子機器の要部構成図
【図２】本発明の第１の実施の形態に係る撮像装置の機能ブロック図
【図３】本発明の第１の実施の形態に係る撮像装置の動作タイミングチャート
【図４】本発明の第２の実施の形態に係る撮像装置の機能ブロック図
【図５】本発明の第２の実施の形態に係る撮像装置の判定条件を示す図
【図６】本発明の第３の実施の形態に係る撮像装置の機能ブロック図
【図７】本発明の第３の実施の形態に係る電子シャッタとゲインの連動によるフリッカ補正の動作を説明するタイミングチャート
【図８】本発明の第３の実施の形態に係る撮像装置における判定結果を示す図
【図９】従来の携帯電話機の外観図
【図１０】従来の携帯電話機で撮像装置を回転させた状態を示す外観図
【図１１】従来の携帯電話機で撮像装置を回転させたときの携帯電話機の奥行きを示す図
【符号の説明】
１１ 表示部
１２、２０、３０ 撮像装置
１３、２１、３１ 第１撮像部
１３ａ、１４ａ、２１ａ、２２ａ、３１ａ、３２ａ レンズ系
１３ｂ、１４ｂ、２１ｂ、２２ｂ、３１ｂ、３２ｂ 撮像素子
１３ｃ、１４ｃ バッファ
１４、２２、３２ 第２撮像部
１５ インバータ
１６、２５、３５ 選択部
１７、２３、３３ 映像信号処理部
２４、３４ 切り換えスイッチ
２６ オートホワイトバランス制御部
２６ａ、２６ｂ 平均値算出手段
２６ｃ、３６ｃ 判定部
２６ｄ セレクタ
２６ｅ ホワイトバランスゲイン演算手段
３６ フリッカ検出部
３６ａ、３６ｂ フリッカ成分抽出手段
３７ 撮像素子駆動部
３８ 露光制御部
Claims (3)
- 画像信号出力状態とハイインピーダンス出力状態とを切り換え選択可能で且つ異なる方向を向いて電子機器に搭載された複数の撮像素子と、前記複数の撮像素子の出力信号線が共通の１つの入力端子に共通接続された映像信号処理手段と、前記複数の撮像素子のいずれか１つが選択され前記画像信号出力状態となった前記撮像素子が撮像画像信号を前記映像信号処理手段に出力するとき前記複数の撮像素子のうちの他の撮像素子の出力を前記ハイインピーダンス出力状態とする選択手段とを備えたことを特徴とする電子機器搭載型撮像装置。
- 異なる方向を向いて電子機器に搭載された複数の撮像素子と、前記撮像素子の各々の撮像画像信号を取り込み前記撮像素子毎且つ色フィルタ毎の平均値を求める手段と、いずれか一つの前記撮像素子で被写体画像を撮像して得られた前記色フィルタ毎の平均値が閾値範囲より外れ且つ他の前記撮像素子の撮像画像信号の前記色フィルタ毎の平均値が前記閾値範囲以内のときは前記被写体画像の撮像画像信号を前記他の撮像素子の撮像画像信号から求めたホワイトバランスゲインにて補正する手段とを備えたことを特徴とする電子機器搭載型撮像装置。
- 異なる方向を向いて電子機器に搭載された複数のＣＭＯＳ型撮像素子と、前記各ＣＭＯＳ型撮像素子から出力される撮像画像信号のフレームあるいはフィールド間の相関を用い照明光のフリッカの有無及びフリッカ周波数成分を抽出する手段と、前記各ＣＭＯＳ型撮像素子の撮像画像信号から求めたフリッカの有無及びフリッカ周波数が一致しているとき前記フリッカを無くす適正露光量に電子シャッタスピードと前記撮像画像信号のゲイン量とを調整する露光制御手段とを備えたことを特徴とする電子機器搭載型撮像装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002365307A JP2004200885A (ja) | 2002-12-17 | 2002-12-17 | 電子機器搭載型撮像装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002365307A JP2004200885A (ja) | 2002-12-17 | 2002-12-17 | 電子機器搭載型撮像装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004200885A true JP2004200885A (ja) | 2004-07-15 |
Family
ID=32762898
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002365307A Pending JP2004200885A (ja) | 2002-12-17 | 2002-12-17 | 電子機器搭載型撮像装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004200885A (ja) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2006090744A1 (ja) * | 2005-02-23 | 2006-08-31 | Matsushita Electric Industrial Co., Ltd. | カメラ付き通信端末装置 |
| JP2006238085A (ja) * | 2005-02-25 | 2006-09-07 | Casio Comput Co Ltd | デジタルカメラ及びプログラム |
| JP2011066662A (ja) * | 2009-09-17 | 2011-03-31 | Fujifilm Corp | 固体電子撮像装置の白バランス調整システムおよびその動作制御方法 |
| EP2348703A1 (en) * | 2010-01-22 | 2011-07-27 | Samsung Electronics Co., Ltd. | Circuit device for preventing radiation emission in portable terminal with two cameras |
| JP2013042428A (ja) * | 2011-08-18 | 2013-02-28 | Fujifilm Corp | 撮像装置及び画像処理方法 |
| WO2018051615A1 (ja) * | 2016-09-14 | 2018-03-22 | ソニー株式会社 | 撮像制御装置および撮像制御方法 |
-
2002
- 2002-12-17 JP JP2002365307A patent/JP2004200885A/ja active Pending
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2006090744A1 (ja) * | 2005-02-23 | 2006-08-31 | Matsushita Electric Industrial Co., Ltd. | カメラ付き通信端末装置 |
| JP2006238085A (ja) * | 2005-02-25 | 2006-09-07 | Casio Comput Co Ltd | デジタルカメラ及びプログラム |
| JP4710351B2 (ja) * | 2005-02-25 | 2011-06-29 | カシオ計算機株式会社 | デジタルカメラ及びプログラム |
| JP2011066662A (ja) * | 2009-09-17 | 2011-03-31 | Fujifilm Corp | 固体電子撮像装置の白バランス調整システムおよびその動作制御方法 |
| US8421878B2 (en) | 2009-09-17 | 2013-04-16 | Fujifilm Corporation | White balance adjustment system for solid-state electronic image sensing device, and method of controlling operation of same |
| EP2348703A1 (en) * | 2010-01-22 | 2011-07-27 | Samsung Electronics Co., Ltd. | Circuit device for preventing radiation emission in portable terminal with two cameras |
| US8711237B2 (en) | 2010-01-22 | 2014-04-29 | Samsung Electronics Co., Ltd. | Circuit device for preventing radiation emission in portable terminal with two cameras |
| KR101607918B1 (ko) | 2010-01-22 | 2016-04-12 | 삼성전자주식회사 | 듀얼 카메라를 구비한 휴대용 단말기에서 방사 방지 회로 장치 |
| JP2013042428A (ja) * | 2011-08-18 | 2013-02-28 | Fujifilm Corp | 撮像装置及び画像処理方法 |
| WO2018051615A1 (ja) * | 2016-09-14 | 2018-03-22 | ソニー株式会社 | 撮像制御装置および撮像制御方法 |
| US10972677B2 (en) | 2016-09-14 | 2021-04-06 | Sony Corporation | Imaging control apparatus and imaging control method |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6445219B2 (ja) | デジタルカメラ及びデジタルカメラの表示方法 | |
| CN101009760B (zh) | 曝光控制方法,曝光控制装置和图像拾取装置 | |
| US7973848B2 (en) | Method and apparatus for providing composition information in digital image processing device | |
| KR101437849B1 (ko) | 휴대 단말기 및 그의 촬영 모드 수행 방법 | |
| JP3995595B2 (ja) | 携帯電話用の最適化されたカメラセンサ構造 | |
| US20050157198A1 (en) | Method and apparatus for continuous focus and exposure in a digital imaging device | |
| EP2074816B1 (en) | Imaging apparatus | |
| KR20070117644A (ko) | 촬상 장치, 데이터 추출 방법 및 데이터 추출 프로그램 기록매체 | |
| JP4865587B2 (ja) | 設置型撮像装置 | |
| JP2010273021A (ja) | 画像表示装置、画像表示方法 | |
| US20240056685A1 (en) | Image photographing method, device, storage medium, and program product | |
| JP2004200885A (ja) | 電子機器搭載型撮像装置 | |
| JP4176328B2 (ja) | 撮像装置、画像処理装置、画像処理方法、及びプログラム | |
| US20020171744A1 (en) | Capturing apparatus, image processing apparatus, image processing method, and computer readable medium recording program | |
| CN110266965A (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| US20030222989A1 (en) | Image pickup apparatus and image pickup display system | |
| KR101510105B1 (ko) | 디지털 영상 촬영 장치 | |
| KR100652705B1 (ko) | 이동 통신 단말기의 영상 화질 개선 장치 및 그 방법 | |
| JPH1079881A (ja) | 撮像装置 | |
| JP2001057676A (ja) | 車載カメラ装置 | |
| US20060072031A1 (en) | Mobile communication terminal equipped with digital image capturing module and method of capturing digital image | |
| KR20120004092A (ko) | 카메라 모듈 및 그의 노출 제어 방법 | |
| US20220201208A1 (en) | Camera sensor changes in multi-sensor device | |
| JPH0591395A (ja) | 映像信号処理装置 | |
| JP2001255468A (ja) | 顕微鏡自動認識機能付き撮像装置及びその制御方法 |