JP2015136096A - 撮像装置 - Google Patents

Abstract

【課題】撮像部であるカメラユニットが本体に対して軸回りに回転可能な撮像装置において、カメラユニットの撮影方向に応じて異なる画像処理を行うことができる撮像装置を提供する。
【解決手段】上記課題を解決するために、本開示に係る撮像装置は、軸周りに回転可能な撮像部と、撮像部の撮影方向を検出する検出部と、撮像部で生成された画像データに画像処理を施す処理部と、検出部で検出された撮影方向に応じて処理部で画像データに与える画像処理パラメータの設定方法を変更する制御部と、を有する。
【選択図】図４

Description

本開示は撮像装置に関する。

特許文献１に示すようなデジタルカメラは、静止画或いは動画という形式により、撮影者が見た情景を撮影することができる。近年、デジタルカメラは様々な進化を遂げており、ユーザの満足度も益々高くなっている。

特開２０１０−１５４４２６号公報

従来のデジタルカメラから進化したカメラ形態の一例として、撮像部であるカメラユニットが本体に対して軸回りに回転可能なカメラ形態が考えられる。カメラユニットが本体に対して軸回りに回転することで、撮影方向の自由度は、従来のデジタルカメラよりも広がる。一方、撮影にあたっては、シーンに応じた好適な画質で画像が撮影できることが望まれている。従って、撮影方向の自由度の広がりに見合って、画質面でも対応する必要性が発生した。

上記課題を解決するために、本開示に係る撮像装置は、軸周りに回転可能な撮像部と、撮像部の撮影方向を検出する検出部と、撮像部で生成された画像データに画像処理を施す処理部と、検出部で検出された撮影方向に応じて処理部で画像データに与える画像処理パラメータの設定方法を変更する制御部と、を有する。

また、本開示に係る撮像装置は、被写体を撮像し、第１画像データを生成する第１の撮像部を有する。撮像装置は、第１撮像部に対して撮影方向を回転可能に取り付け、第１画像データとは異なる被写体の第２画像データを生成する第２の撮像部を有する。撮像装置は、第２の撮像部の撮影方向を検出する検出部と、第１及び第２の撮像部で生成された第１画像データと第２画像データそれぞれに画像処理を施す処理部と、を有する。検出部で検出された撮影方向に応じて処理部で第２画像データに与える画像処理パラメータの設定方法を変更する制御部を有する。

本開示は、回動可能な撮像部により撮影された被写体に対し、好適な画像処理を行うことができる撮像装置を提供する。

（ａ）、（ｂ）実施の形態に係る撮像装置の概要を示すための斜視図 （ａ）、（ｂ）実施の形態に係る撮像装置の使用例を示す図 （ａ）、（ｂ）実施の形態に係る撮像装置の表示部に表示される画像例を示す図 実施の形態に係る撮像装置の電気的構成を示す図 （ａ）、（ｂ）実施の形態に係る撮像装置の撮影動作を示すフローチャート （ａ）〜（ｃ）実施の形態に係る撮像装置の画像処理動作を示すフローチャート （ａ）、（ｂ）実施の形態に係る撮像装置のホワイトバランス補正の概要を示す図 （ａ）、（ｂ）実施の形態に係る撮像装置の露出補正の概要を示す図

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

なお、発明者らは、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって請求の範囲に記載の主題を限定することを意図するものではない。

〔実施の形態１〕
〔１．概要〕
まず、撮像装置１０の概要について図を用いて説明する。図１（ａ）及び（ｂ）は、撮像装置１０の概要を説明するための斜視図である。図２（ａ）及び（ｂ）は、撮像装置１０の使用例を示す図である。図３（ａ）及び（ｂ）は、撮像装置１０の表示部２２０に表示される画像例を示す図である。図１（ａ）、図２（ａ）及び図３（ａ）はサブカメラ３００が状態１であるときに対応した図を示し、図１（ｂ）、図２（ｂ）及び図３（ｂ）はサブカメラ３００が状態２であるときに対応した図を示す。

図１（ａ）（ｂ）及び図２（ａ）（ｂ）に示すように、撮像装置１０は、メインカメラ１００、表示部２２０、サブカメラ３００を有する。メインカメラ１００は、撮像装置１０の本体に配置される。表示部２２０は、撮像装置１０の本体に対し、ヒンジ部で２軸回転可能に接合される。サブカメラ３００は、表示部２２０上に軸回転可能に取り付けられる。メインカメラ１００は、撮影者が主に撮影したい被写体を撮像する。サブカメラ３００は、メインカメラ１００に対して回動可能であるため、メインカメラ１００とは異なる撮影方向の被写体を撮像できる。表示部２２０は、図３（ａ）（ｂ）に示すように、メインカメラ１００で撮像された画像に対して、サブカメラ３００で撮像された画像が重畳されたＰｉｎＰ（Ｐｉｃｔｕｒｅ ｉｎ Ｐｉｃｔｕｒｅ）画像を表示する。以下では、説明の便宜のため、メインカメラ１００で撮影された画像をメイン画像２２２と称し、サブカメラ３００で撮影された画像をサブ画像２２１と称する。メインカメラ１００及びサブカメラ３００は撮像部の一例である。

次に、図２を用いて、撮像装置１０の使用例を説明する。図２に示すように、通常の使用時においては、撮影者は、メインカメラ１００の撮影方向が撮影者の正面方向を向くようにして撮像装置１０を使用する。このとき、撮影者は、表示部２２０を回動して、表示部２２０に表示される画像を確認できる状態にする。サブカメラ３００は、軸回りに回動することにより、図２（ａ）に示すような、撮影方向が撮影者側を向いている状態（状態１）を実現することができる。又、サブカメラ３００は、軸回りに回動することにより、図２（ｂ）に示すような、撮影方向が撮影者側を向いていない状態（状態２）を実現することができる。

なお、サブカメラ３００の撮影方向が表示部２２０を向いているときのサブカメラ３００の状態を、サブカメラ３００が収納されている状態（以下、収納状態）であるとする。

本実施の形態ではサブカメラ３００が状態１にあるとき、サブカメラ３００は撮影者を撮影する。これに対し、本実施の形態ではサブカメラ３００が状態２にあるとき、サブカメラ３００はメインカメラ１００と同様の被写体を撮影する。撮像装置１０は、サブカメラ３００の状態１と状態２とで被写体が異なることに応じて、状態１と状態２とで異なる画像処理を行う。

〔２．電気的構成〕
続いて、撮像装置１０の、メインカメラ１００及びサブカメラ３００の電気的構成、制御系統、画像処理について、図４を用いて説明する。

〔２−１．メインカメラの電気的構成〕
まず、図４を用いて、メインカメラ１００の電気的構成について説明する。メインカメラ１００は、１又は複数のレンズからなるメイン光学系１１０により形成された被写体像をＣＭＯＳイメージセンサ１４０で撮像する。ＣＭＯＳイメージセンサ１４０で生成された画像データは、Ａ／Ｄコンバータ（ＡＤＣ）１５０でデジタル信号に変換された後、メイン画像処理部１６０で各種処理が施され、メモリカード２００に格納される、或いは、表示部２２０に表示される。

メイン光学系１１０は、ズームレンズ１１１、手振れ補正レンズ１１２、フォーカスレンズ１１３、絞り１１４等により構成される。ズームレンズ１１１は光軸に沿って移動されることにより、被写体像の拡大、縮小を可能にする。また、フォーカスレンズ１１３は光軸に沿って移動されることにより、被写体像のピントの調整を可能にする。また、手振れ補正レンズ１１２は、メイン光学系１１０の光軸に垂直な面内で移動可能である。撮像装置１０のブレを打ち消す方向に手振れ補正レンズ１１２を移動することで、撮像装置１０のブレが撮像画像に与える影響を低減できる。また、絞り１１４は、使用者の設定に応じて若しくは自動で、開口部の大きさを調整し、透過する光の量を調整する。

メインレンズ駆動部１２０は、ズームレンズ１１１や、手振れ補正レンズ１１２、フォーカスレンズ１１３、絞り１１４をそれぞれ駆動させるアクチュエータを含む。そして、メインレンズ駆動部１２０は、例えば、各アクチュエータを制御する。

ＣＭＯＳイメージセンサ１４０は、メイン光学系１１０で形成された被写体像を撮像して、画像データを生成する。ＣＭＯＳイメージセンサ１４０は、露光、転送、電子シャッタなどの各種動作を行う。

Ａ／Ｄコンバータ１５０は、ＣＭＯＳイメージセンサ１４０で生成されたアナログ画像データをデジタル画像データに変換する。

メイン画像処理部１６０は、ＣＭＯＳイメージセンサ１４０で生成された画像データに対して各種処理を施し、表示部２２０に表示するための画像データを生成する。又、メイン画像処理部１６０はメモリカード２００に格納するための画像データを生成する。例えば、メイン画像処理部１６０は、ＣＭＯＳイメージセンサ１４０で生成された画像データに対して、ガンマ補正、ホワイトバランス（ＷＢ）補正、シャープネス補正、傷補正などの各種処理を行う。また、メイン画像処理部１６０は、ＣＭＯＳイメージセンサ１４０で生成された画像データを、Ｈ．２６４規格やＭＰＥＧ２規格に準拠した圧縮形式等により圧縮する。

本実施の形態では、メイン画像処理部１６０にＰｉｎＰ処理部３９０が内蔵されている。図３（ａ）（ｂ）は、ＰｉｎＰ処理部３９０で重畳処理され、表示部２２０に表示される画像の一例である。ＰｉｎＰ処理部３９０は、メイン画像２２２にサブ画像２２１を重畳処理（ＰｉｎＰ処理）する。ＰｉｎＰ処理されたサブ画像２２１は、表示部２２０に表示されるスルー画像において、位置や大きさを変えることができる。このとき、メイン画像２２２がサブ画像２２１より大きくなるようにＰｉｎＰ処理されることが望ましい。

〔２−２．サブカメラの電気的構成〕
次に、図４を用いて、サブカメラ３００の電気的構成について説明する。サブカメラ３００は、１又は複数のレンズからなるサブ光学系３１０により形成された被写体像をＣＭＯＳイメージセンサ３４０で撮像する。ＣＭＯＳイメージセンサ３４０で生成された画像データは、Ａ／Ｄコンバータ（ＡＤＣ）３５０でデジタル信号に変換された後、サブ画像処理部３６０で各種処理が施され、メモリカード２００に格納される、或いは、表示部２２０に表示される。

サブ光学系３１０は、フォーカスレンズ３１３、絞り３１４等により構成される。各要素の構成はメインカメラ１００に備えられたものと同じであるとして、詳細な説明を省略する。なお、サブカメラ３００のサブ光学系３１０を構成する要素の種類はフォーカスレンズ３１３や絞り３１４に限られたものではなく、ズームレンズや手振れ補正レンズ等を有していてもよい。

サブカメラ３００が有するサブレンズ駆動部３２０、ＣＭＯＳイメージセンサ３４０、Ａ／Ｄコンバータ３５０、サブ画像処理部３６０の主な構成は、メインカメラ１００が有するメインレンズ駆動部１２０、ＣＭＯＳイメージセンサ１４０、Ａ／Ｄコンバータ１５０、メイン画像処理部１６０の主な構成と同様であるとして、詳細な説明を省略する。なお、サブカメラ３００のサブ光学系３１０として固定焦点の光学系を用いる場合は、サブレンズ駆動部３２０が存在しなくてもよい。

〔２−３．制御系統〕
サブ画像処理部３６０は、各種処理が施された画像データを、ＰｉｎＰ処理部３９０へと送る。そして、ＰｉｎＰ処理された画像データはメモリカード２００に格納される。或いは、ＰｉｎＰ処理された画像データは、表示部２２０に表示される。

画像処理やＰｉｎＰ処理された画像データは、コントローラ１８０へ送られる。コントローラ１８０は、撮像装置１０全体を制御する制御手段である。コントローラ１８０は、半導体素子などで実現できる。コントローラ１８０は、ハードウェアのみで構成してもよいし、ハードウェアとソフトウェアとを組み合わせることにより実現してもよい。コントローラ１８０は、マイコンなどで実現できる。

向きセンサ３８０は、サブカメラ３００の撮影方向を検出する。このとき、向きセンサ３８０は少なくともサブカメラ３００が状態１にあるか状態２にあるかを検出する。向きセンサ３８０が検出した結果はコントローラ１８０に通知される。これにより、コントローラ１８０は、サブカメラ３００が軸回りに回動したときの撮影方向（状態１、状態２）を把握できる。向きセンサ３８０は、スイッチング機構やマグネット、可変抵抗などを用いて実現できる。

バッファ１７０、３７０は、メイン画像処理部１６０、サブ画像処理部３６０及びコントローラ１８０のワークメモリとして機能する。バッファ１７０、３７０は、例えば、ＤＲＡＭ、強誘電体メモリなどで実現できる。

カードスロット１９０は、メモリカード２００を着脱可能である。カードスロット１９０は、機械的及び電気的にメモリカード２００と接続可能である。メモリカード２００は、フラッシュメモリや強誘電体メモリなどを内部に含み、メイン画像処理部１６０、サブ画像処理部３６０で生成された画像ファイル等のデータを格納できる。

内部メモリ２４０は、フラッシュメモリや強誘電体メモリなどで構成される。内部メモリ２４０は、撮像装置１０全体を制御するための制御プログラム等を記憶する。

操作部材２１０は、使用者からの操作を受け付けるユーザーインターフェースの総称である。操作部材２１０には、例えば、使用者からの操作を受け付ける十字キーや決定釦等が挙げられる。また、操作部材２１０は動画記録釦や、動画再生釦なども有する。動画記録釦は、ユーザによる動画記録開始／停止の指示を受け付ける。動画再生釦は、ユーザによる動画像データの再生開始／再生停止の指示を受け付ける。動画記録釦は、動画非記録時における動画記録開始指示と、動画記録時における動画記録停止指示とを兼用する釦として以下説明するが、これに限定されない。動画記録開始釦とは別途、動画記録停止釦を備えていてもよい。動画記録釦などは、撮像装置１０の外装に備わるハードキーでもよい。又、動画記録釦などは表示部２２０に表示された釦アイコンを、タッチパネルを介して操作させるソフトキーであってもよい。

表示部２２０は、ＣＭＯＳイメージセンサ１４０で生成された画像データが示す画像や、ＰｉｎＰ処理部３９０が重畳処理を行った画像や、メモリカード２００から読み出された画像データが示す画像を表示できる。また、表示部２２０は、撮像装置１０の各種設定を行うための各種メニュー画面等も表示できる。

なお、図４では、ＰｉｎＰ処理部３９０は、メイン画像処理部１６０に内蔵されるように示しているが、本開示はこれに限定されるものではない。ＰｉｎＰ処理部３９０は、サブ画像処理部３６０に内蔵されていてもよいし、独立して存在してもよい。

また、サブ画像処理部３６０からＰｉｎＰ処理部３９０へ送られる画像データは、バッファ３７０を介してもよい。これにより、サブ画像２２１の画像データはバッファ３７０に一時保存されるので、メイン画像２２２の画像データとサブ画像２２１の画像データとが、同じタイミングでコントローラ１８０に送られることが可能となる。

また、メインカメラ１００のワークメモリとして機能するバッファ１７０と、サブカメラ３００のワークメモリとして機能するバッファ３７０の二つが存在するとしているが、本開示はこれに限定されるものではない。バッファは一つであってもよいし、３つ以上あってもよい。

〔２−４．画像処理〕
続いて、メイン画像処理部１６０やサブ画像処理部３６０で行われる画像処理の内、ホワイトバランス補正、露出補正、シャープネス補正を例に挙げて説明する。

〔２−４−１．ホワイトバランス補正〕
まず、メイン画像処理部１６０やサブ画像処理部３６０で行われるホワイトバランス補正について説明する。メインカメラ１００とサブカメラ３００の各画像処理部は、画像の色味を調整することで画像データのホワイトバランスを補正する。コントローラ１８０は、画像データから光源を推定する。例えば、図７（ａ）に示すように、ＲデータとＢデータの座標上において、複数の光源推定範囲が設定されている。図７（ａ）に示す例では、白熱灯、蛍光灯、晴天及び日陰の４つの光源推定範囲Ａ１〜Ａ４が設定されている。コントローラ１８０の光源推定部は、画像データの入力データが、いずれの光源推定範囲に分布しているかに基づいて、ホワイトバランス補正のために基準とする光源を推定できる。メイン画像処理部１６０やサブ画像処理部３６０は、光源推定部により推定された光源に基づいて、ホワイトバランス補正の追従範囲を制御する。このとき、光源推定範囲内に追従範囲が含まれることが望ましい。各画像処理部は、ホワイトバランス補正の追従範囲内でＲゲイン、Ｂゲイン、Ｇゲインを調整することにより、画像の色味を調整する。例えば、画像が赤み掛かっているときは、各画像処理部はＲゲインを下げてＢゲインやＧゲインを上げるなどの補正を行う。なお、図７（ａ）（ｂ）に示すＷＢ補正の詳細は後述する。

〔２−４−２．露出補正〕
次に、メイン画像処理部１６０やサブ画像処理部３６０で行われる露出補正について説明する。各画像処理部は、画像の明るさを調整することで画像データの露出を補正する。コントローラ１８０は、画像データの輝度情報に基づき、画像の明るさを判断する。このとき、図示しない測光計を用いてもよいし、得られた画像データを解析してもよい。画像データから得られた輝度情報に応じて、各画像処理部は、画像が適正露出の基準値よりも明るすぎる場合（露出オーバー）は露出をマイナスに補正する。又、各画像処理部は、画像が適正露出の基準値よりも暗すぎる場合（露出アンダー）は露出をプラスに補正する。このような補正により、画像の露出を適正露出にする。露出を補正する方法としては、絞り１１４，３１４を調整する方法や、メイン画像処理部１６０、サブ画像処理部３６０でコントラスト値を調整する方法などが挙げられる。また、後述するように、適正露出を判断する際に、ユーザの設定により画像の一部に重みを付けてもよいし、画像全体を平均的に扱ってもよい。

〔２−４−３．シャープネス補正〕
最後に、メイン画像処理部１６０やサブ画像処理部３６０で行われるシャープネス補正について説明する。各画像処理部は、画像のコントラストを調整することで画像データのシャープネス（鮮明さ）を補正する。コントローラ１８０は、画像データの各画素の輝度差を解析する。各画像処理部は、画像を鋭くする場合は画像データの各画素間の輝度差を強調する。また、各画像処理部は、画像を柔らかくする場合は画像データの各画素間の輝度差を低減させる。風景などを撮像する場合は、画像の色を際立たせるために、画像データの各画素間の輝度差を強調することが望ましい。また、人物を撮像する場合は、顔の影や皺を目立たなくするために、画像データの各画素間の輝度差を低減させることが望ましい。

〔３．動作〕
続いて、撮像装置１０の動作を説明する。図５（ａ）はメインカメラ１００の撮影動作を示すフローチャートであり、図５（ｂ）はサブカメラ３００の撮影動作を示すフローチャートである。

〔３−１．メインカメラの動作〕
まずメインカメラ１００の動作を、図５（ａ）を用いて説明する。なお、簡単のため、撮像装置１０は撮影モードに設定されているとする。

撮像装置１０の電源がオン（ＯＮ）される（ステップＳ１００）と、コントローラ１８０は、撮像装置１０を構成する各部に必要な電力を供給する（ステップＳ１０１）。電力が供給されると、メインレンズ駆動部１２０やＣＭＯＳイメージセンサ１４０は動作可能な状態へ初期設定を行う（ステップＳ１０２）。初期設定が完了すると、ＣＭＯＳイメージセンサ１４０は被写体の撮像を開始する（ステップＳ１０３）。ＣＭＯＳイメージセンサ１４０により撮像された画像データは、メイン画像処理部１６０に送られる（ステップＳ１０４）。

ここで、コントローラ１８０は、サブ画像２２１が存在するか否かを検知する（ステップＳ１０５）。サブ画像２２１がない場合（ステップＳ１０５におけるＮｏ）には、表示部２２０はＣＭＯＳイメージセンサ１４０が生成した画像データに基づくスルー画像の表示を開始する（ステップＳ１０７）。このとき、表示部２２０にはメイン画像２２２のスルー画像が表示されている。ユーザは、表示部２２０に表示されるスルー画像を見ながら、画角等を判断し、動画記録の開始に好適なタイミングで操作部材２１０の動画記録釦を押下する。サブ画像２２１がある場合（ステップＳ１０５におけるＹｅｓ）には、ＰｉｎＰ処理を行った（ステップＳ１０６）後、図３（ａ）（ｂ）に示すＰｉｎＰ処理されたスルー画像が表示部２２０に表示される（ステップＳ１０７）。詳細は、サブカメラ３００の動作と併せて後述する。

コントローラ１８０は、動画記録釦が押下されたか否かを監視している（ステップＳ１０８）。動画記録釦が押下されるまで、コントローラ１８０はＳ１０８の状態で待機する。動画記録釦が押下されると（ステップＳ１０８におけるＹｅｓ）、コントローラ１８０は、ＣＭＯＳイメージセンサ１４０の撮像画像に基づく動画像データのメモリカード２００への記録を開始する（ステップＳ１０９）。メモリカード２００に動画像データを書き込む前に、一旦、動画像データを、バッファ１７０に蓄積しておいてもよい。このとき、バッファ１７０に蓄積された動画像データのデータ量が一定量を越えたときに、コントローラ１８０は、この一定量を超えたデータ量の動画像データをメモリカード２００に書き込みにいくようにしてもよい。

コントローラ１８０は、ここでもまた動画記録釦が押下されたか否かを監視している（ステップＳ１１０）。動画記録釦が押下されるまで、コントローラ１８０はステップＳ１１０の状態で動画像データの記録を継続する。再度動画記録釦が押下されると（ステップＳ１１０におけるＹｅｓ）、コントローラ１８０は動画像データの記録を終了する。そして、ステップＳ１０３に戻り、再度、ＣＭＯＳイメージセンサ１４０は被写体像の撮像を行う。

〔３−２．サブカメラの動作〕
次に、サブカメラ３００の基本動作および、画像処理の詳細動作について説明する。

〔３−２−１．基本動作〕
まず、サブカメラ３００の基本動作を、図５（ｂ）を用いて説明する。なお、ここで簡単のため、撮像装置１０は撮影モードにすでに設定されているとして説明する。

撮像装置１０の電源がオン（ＯＮ）され（ステップＳ２００）、コントローラ１８０に電力が供給されると、コントローラ１８０はサブカメラ３００が起動しているかどうかを常に監視する（ステップＳ２０１）。ユーザがサブカメラ３００を起動させる（ステップＳ２０１におけるＹｅｓ）と、サブカメラ３００を構成する各部に必要な電力が供給される（ステップＳ２０２）。このとき、向きセンサ３８０がサブカメラ３００の収納状態からの回動を検知するとサブカメラ３００が起動する。なお、サブカメラ３００を起動させる起動釦が存在し、その起動釦をＯＮすることでサブカメラ３００が起動するようにしてもよい。電力が供給されると、サブレンズ駆動部３２０やＣＭＯＳイメージセンサ３４０は動作可能な状態へ初期設定を行う（ステップＳ２０３）。初期設定が完了すると、ＣＭＯＳイメージセンサ３４０は被写体の撮像を開始する（ステップＳ２０４）。ＣＭＯＳイメージセンサ３４０により撮像された画像データは、サブ画像処理部３６０に送られ、画像処理が行われる（ステップＳ２０５）。

サブカメラ３００において上述した動作が行われると、図５（ａ）のステップＳ１０５で、サブ画像２２１が存在すると判断される（Ｓ１０５におけるＹｅｓ）。サブ画像２２１は、サブ画像処理部３６０で各種処理された後、ＰｉｎＰ処理部３９０にてＰｉｎＰ処理が行われる（ステップＳ１０６）。ＰｉｎＰ処理された画像は、図３（ａ）及び（ｂ）に示すようにメイン画像２２２とサブ画像２２１とが重畳された状態で、表示部２２０にスルー画像として表示される（ステップＳ１０７）。その後、記録動作（ステップＳ１０８〜ステップＳ１１１）が行われる。

記録動作の際には、重畳された各画像は別のデータとして個別に圧縮されて記録されても構わない。又は、各画像は一つのデータとして圧縮されて記録されても構わない。

サブカメラ３００は、前述したように、回動することによってメインカメラ１００とは異なった被写体を撮像できる。即ちサブカメラ３００は、撮影者を撮像する可能性の高い状態１と、撮影者を撮像する可能性の低い状態２の２つの状態を少なくとも有する。本実施の形態における撮像装置１０は、状態１、状態２のそれぞれに応じて、サブカメラ３００で撮像された画像に対し異なった画像処理パラメータの設定方法を用いる。

具体的には、状態１ではサブカメラ３００は撮影者を近距離で撮像している可能性が高い。そのため、サブ画像処理部３６０はメインカメラ１００で撮像している被写体とは異なる画像処理パラメータの設定方法を用いる。一方、状態２ではサブカメラ３００はメインカメラ１００と近い状態の被写体を撮像している可能性が高い。そのため、サブ画像処理部３６０はメインカメラ１００と同様の画像処理パラメータの設定方法を用いる。以下で、各状態における画像処理（ホワイトバランス補正、露出補正、シャープネス補正）について説明する。

〔３−２−２．ホワイトバランス補正〕
まず、ホワイトバランス補正について説明する。撮像装置１０では、サブ画像２２１に対して、サブカメラ３００の状態に応じて異なるホワイトバランス補正を行うことができる。図６（ａ）を用いて以下で詳細を説明する。

図６（ａ）は、図５（ｂ）に示すステップＳ２０５におけるホワイトバランス補正の画像処理動作を示すフローチャートである。図６（ａ）のステップＳ１１において、図５（ｂ）のステップＳ２０４と同様に、ＣＭＯＳイメージセンサ３４０は被写体像を撮像する。同時に、サブ画像処理部３６０はサブカメラ３００の状態を検知する（ステップＳ１２）。本実施の形態では、状態の検知に関して、向きセンサ３８０の検出値を、コントローラ１８０を介してサブ画像処理部３６０が受け取るように構成されているが、コントローラ１８０を介さずに直接、サブ画像処理部３６０が受け取るようにしてもよい。サブカメラ３００の状態を検知した結果、サブカメラ３００が状態１であるとき（ステップＳ１２におけるＹｅｓ）は、サブ画像処理部３６０は画像データに対してＷＢ補正１を行う（ステップＳ１３）。上述のように、状態１ではサブカメラ３００は撮影者を近距離で撮像している可能性が高いので、ＷＢ補正１としては、人物の顔に適した、すなわち肌色が退色しないようなＷＢ補正を行う。サブカメラ３００が状態２であるとき（ステップＳ１２におけるＮｏ）は、サブ画像処理部３６０は、サブカメラ３００により生成された画像データに対して、メインカメラ１００により生成された画像データに対するＷＢ補正と対応したＷＢ補正２を行う（ステップＳ１４）。ここで、メインカメラ１００により生成された画像データに対するＷＢ補正と対応したＷＢ補正２とは、メインカメラ１００により生成された画像データに対するＷＢ補正のパラメータと同一のパラメータによる補正であってもよい。或いは、メインカメラ１００により生成された画像データに対するＷＢ補正のパラメータに所定の係数を乗じたパラメータによる補正であってもよい。

ここで、ＷＢ補正１について詳細に説明する。図７（ａ）は、ＷＢ補正の概要を示す図であり、主な光源である白熱灯、蛍光灯、晴天、日陰の４つの光源にそれぞれ対応する光源推定範囲Ａ１、Ａ２、Ａ３、Ａ４を示している。図７（ｂ）は図７（ａ）における光源推定範囲Ａ１の近傍の拡大図である。

ＷＢ補正１においては、サブ画像処理部３６０は、メイン画像処理部１６０とは独立して動作する。コントローラ１８０は、サブカメラ３００から得られた画像データに基づいて光源を推定し、サブ画像処理部３６０にＷＢ補正の追従範囲を通知する。このとき、サブカメラ３００が撮影者を撮像していると、撮影者の肌を多量に検知して、光源として白熱灯を推定する可能性が高い。光源として白熱灯が推定されると、図７（ａ）に示す光源推定範囲Ａ１の範囲内においてＷＢ補正がされる。そうすると、ＷＢ補正によって、サブ画像２２１は、撮影者の肌の赤みを打ち消すような青白い画像、所謂青かぶり画像となる場合がある。即ち、この場合、サブ画像２２１は、撮影者の肌色が退色した画像となる。しかし、そのような画像では撮影者の肌色を適切に表現できず、撮影者が不満に感じる、ということが考えられる。

そこで本実施の形態に係る撮像装置１０では、サブカメラ３００が状態１であるとき、撮影者の肌を適切に再現するために、図７（ａ）及び（ｂ）に示すように、サブ画像処理部３６０がＷＢ補正を行う範囲に対して制限を掛ける。即ち、サブ画像処理部３６０が行うＷＢ補正の範囲を追従範囲Ｂに制限することにより、ＷＢ補正がより低色温度側に追従しないように制限を掛ける（ＷＢ補正１）。この制限により、撮像装置１０は、サブ画像処理部３６０が光源として白熱灯の場合のような低色温度範囲を推定しても、撮影者の肌が退色した画像を生成することを防ぐことが可能となる。

なお、ＷＢ補正に制限を掛ける方法は、低色温度側の追従範囲に対して制御を掛ける方法に限るものではない。撮像画像に対して、撮影者の顔が写っている可能性の低い画像周辺部に重みを付けて光源推定をしても構わないし、サブ画像処理部３６０が生成した画像データを解析する際に、低色温度側のデータを意図的に参照せずに光源推定をしても構わない。そうすることにより、サブ画像処理部３６０が低色温度側の光源を推定することを抑制することができる。また、低色温度側だけでなく、高色温度側にもＷＢ補正の追従範囲に制限を設けて、画像に赤かぶりが発生することを防ぐようにすることもできる。

次に、ＷＢ補正２について説明する。ＷＢ補正２において、サブ画像処理部３６０はメイン画像処理部１６０と連動して動作する。コントローラ１８０は、メインカメラ１００から得られた画像データに基づいて光源を推定し、推定された光源に基づき、サブ画像処理部３６０に対しＷＢ補正を行う範囲を通知する。例えば、光源として白熱灯を推定した場合、図７（ｂ）に示すように、コントローラ１８０は、メイン画像処理部１６０がＷＢ補正を行う範囲である追従範囲Ｃ１をサブ画像処理部３６０に対し通知する。メイン画像処理部１６０がその追従範囲Ｃ１内でＷＢ補正を行う際、サブ画像処理部３６０も同じ範囲である追従範囲Ｃ２内でＷＢ補正を行う。この制限により、本実施の形態に係る撮像装置１０は、メイン画像処理部１６０から得られた画像とサブ画像処理部３６０から得られた画像とで同様のＷＢ補正を行うことができる。従ってＰｉｎＰ処理した際に、色味の異なる画像が重畳表示されるような違和感のある画像が生成されることを抑制できる。

〔３−２−３．露出補正〕
次に、露出補正について説明する。撮像装置１０では、サブ画像２２１に、サブカメラ３００の状態に応じて異なる自動露出（ＡＥ）補正を行うことができる。図８はＡＥ補正の際、画像の測光箇所に重みづけを設定した図である。図８において、数字が小さくなるほど強い重みがつけられている。図６（ｂ）、図８を用いて以下で詳細を説明する。

図６（ｂ）において、ステップＳ２２までは図６（ａ）のステップＳ１２までと同様である。撮影方向を検知した結果、サブカメラ３００が状態１であるとき（ステップＳ２２におけるＹｅｓ）は、サブ画像処理部３６０は画像データに対して人物の顔に適した、撮影者の顔が適切な明るさになるようなＡＥ補正１を行う（ステップＳ２３）。サブカメラ３００が状態２であるとき（ステップＳ２２におけるＮｏ）は、サブ画像処理部３６０は、サブカメラ３００で生成された画像データに対して、メインカメラ１００で生成された画像データに対して与えた画像処理パラメータに対応したＡＥ補正２を行う（ステップＳ２４）。ここで、メインカメラ１００により生成された画像データに対するＡＥ補正に対応したＡＥ補正２とは、メインカメラ１００により生成された画像データに対するＡＥ補正のパラメータと同一のパラメータによる補正であってもよい。或いは、メインカメラ１００により生成された画像データに対するＡＥ補正のパラメータに所定の係数を乗じたパラメータによる補正であってもよい。

ここで、ＡＥ補正１について詳細に説明する。コントローラ１８０は、画像データの輝度情報を検出してＡＥ補正を行う。サブカメラ３００が状態１にあるとき、サブカメラ３００は撮影者を撮像している可能性が高い。従って、撮影者の顔が撮像されていないと考えられる画像の周辺部の輝度情報を過度に参照すると、背景の明るさに応じて撮影者の顔が明るくなり過ぎることや暗くなり過ぎることが考えられる。しかし、そのような画像では撮影者の顔を適切に表現できず、撮影者が不満に感じる可能性が高い。

そこで、本実施の形態に係る撮像装置１０では、サブカメラ３００が状態１であるとき、撮影者の顔の明るさを適切に表現するために、図８（ａ）に示すように、測光範囲の中心部により強い重みづけをする。この重みづけにより、サブ画像処理部３６０が画像の中心部を重点的に測光するので、撮影者の顔に適した明るさの画像とすることができる。

次に、ＡＥ補正２について説明する。ＡＥ補正２において、サブ画像処理部３６０はメイン画像処理部１６０と連動して動作する。ユーザの設定により、メイン画像２２２に対して測光に重みづけがされていない場合、メイン画像処理部１６０及びサブ画像処理部３６０は共に、図８（ｂ）に示すように、画像の特定の箇所に重みを付けずに測光を行う。これにより、本実施の形態に係る撮像装置１０は、メイン画像処理部１６０から得られた画像とサブ画像処理部３６０から得られた画像とに対応した同様のＡＥ補正を行うことができる。従ってＰｉｎＰ処理した際に、明るさの異なる画像が重畳表示されるような違和感のある画像が生成されることを抑制できる。

なお、ＡＥ補正２の際に、メイン画像２２２に対して測光に重みづけがされている場合、サブ画像２２１に対しては図８（ｂ）に示すように重みを付けずに測光してもよい。また、サブ画像２２１に対してもメイン画像２２２と同様に、あるいは独立して重みを付けて測光してもよい。

〔３−２−４．シャープネス補正〕
最後に、シャープネス補正について説明する。撮像装置１０は、サブ画像２２１に対して、サブカメラ３００の状態に応じて異なるシャープネス（ＳＰ）補正を行うことができる。図６（ｃ）を用いて以下で詳細を説明する。

図６（ｃ）のステップＳ３２までは図６（ａ）のＳ１２までと同様である。撮影方向を検知した結果、サブカメラ３００が状態１であるとき（ステップＳ３２におけるＹｅｓ）は、サブ画像処理部３６０は画像データに対して人物の顔に適した、輪郭や影を強調しすぎないようなＳＰ補正１を行う（ステップＳ３３）。サブカメラ３００が状態２であるとき（ステップＳ３２におけるＮｏ）は、サブ画像処理部３６０は画像データに対してメインカメラ１００と対応したＳＰ補正２を行う（ステップＳ３４）。

ＳＰ補正１及びＳＰ補正２について説明する。コントローラ１８０は、画像データの各画素の輝度差を解析する。ＳＰ補正１については、撮影者の顔の輪郭や影を強調しすぎないよう、各画素間の輝度差を低減させる。これにより、撮影者の顔を自然に表現することができる。ＳＰ補正２については、ユーザの設定に応じて、メイン画像処理部１６０に対応したＳＰ補正をサブ画像処理部３６０でも行う。ここで、メインカメラ１００により生成された画像データに対するＳＰ補正に対応したＳＰ補正２とは、メインカメラ１００により生成された画像データに対するＳＰ補正のパラメータと同一のパラメータによる補正であってもよい。或いは、メインカメラ１００により生成された画像データに対するＳＰ補正のパラメータに所定の係数を乗じたパラメータによる補正であってもよい。これにより、撮像装置１０は、メイン画像処理部１６０から得られた画像とサブ画像処理部３６０から得られた画像とで同様のＳＰ補正を行うことができる。従って、ＰｉｎＰ処理した際に、鮮明さの異なる画像が重畳表示されるような違和感のある画像が生成されることを抑制できる。

〔４．総括〕
本実施の形態では、メインカメラ１００に対して回動可能なサブカメラ３００を設けた撮像装置について、サブカメラ３００の撮影方向に応じて、最適な画像処理を施すことで、例えば、撮影者の顔を適切に表現することや、ＰｉｎＰ処理した際に違和感のない画像の撮影を可能にする。

〔５．他の実施の形態〕
なお、本実施の形態では、サブカメラ３００は表示部に取付けられているが、本開示はこれに限定するものではない。軸回りに回動可能であれば、撮像装置において、表示部以外の場所に取り付けられていてもよい。

また、本実施の形態では、状態１ではサブカメラ３００は撮影者を撮影し、状態２ではサブカメラ３００はメインカメラ１００と同様の被写体を撮影するとしたが、本開示はこれに限定するものではない。状態２でサブカメラ３００が撮影者を撮影しているような状態を検知し、人物の顔に適した画像処理を行うようにしてもよい。また、状態１でサブカメラ３００は撮影者を撮影せず、人物の顔に適した画像処理を行わないようにしてもよい。

また、本実施の形態ではサブカメラ３００が状態１、状態２の２つの状態を有するものとしたが、本開示はこれに限定されるものではない。例えば、メインカメラ１００の撮影方向と、サブカメラ３００の撮影方向とが垂直になった状態を状態３として、３つの状態を有してもよい。そして、各画像処理部は、状態１から状態３の各状態に応じた画像処理パラメータの設定方法を用いるようにすればよい。

また、本実施の形態ではサブカメラ３００が１軸回りに回転するものとしたが、本開示はこれに限定されるものではない。サブカメラ３００が２軸以上の軸回りに回転してもよい。これにより、表示部の回動状況によらずにサブカメラ３００は撮影者又はメインカメラ１００と同様の被写体を撮像することができる。

また、本実施の形態では撮影された画像データはメモリカード２００に保存されるとしたが、本開示はこれに限定されるものではない。内部メモリなどの異なる記録媒体に保存されるようにしてもよい。

また、本実施の形態では、メイン画像処理部１６０と、サブ画像処理部３６０とが別体であるとして説明したが、本開示はこれに限定されない。メイン画像処理部１６０の機能とサブ画像処理部３６０の機能とを備えた一体の画像処理部により実現してもよい。

また、ホワイトバランス補正、露出補正、シャープネス補正の詳細は、本実施の形態に限定されるものではない。サブカメラ３００の撮影方向に応じて異なる画像処理パラメータの設定方法を変更するのであれば、他の画像処理であっても適用することができる。

以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。

したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。

また、上述の実施の形態は、本開示における技術を例示するためのものであるから、請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。

本開示は、ビデオカメラやデジタルカメラ、携帯電話などに適用可能である。

１０ 撮像装置
１００ メインカメラ
１１０ メイン光学系
１１１ ズームレンズ
１１２ 手振れ補正レンズ
１１３ フォーカスレンズ
１１４ 絞り
１２０ メインレンズ駆動部
１４０、３４０ ＣＭＯＳイメージセンサ
１５０、３５０ Ａ／Ｄコンバータ
１６０ メイン画像処理部
１７０、３７０ バッファ
１８０ コントローラ
１９０ カードスロット
２００ メモリカード
２１０ 操作部材
２２０ 表示部
２２１ サブ画像
２２２ メイン画像
２４０ 内部メモリ
３００ サブカメラ
３１０ サブ光学系
３１３ フォーカスレンズ
３１４ 絞り
３２０ サブレンズ駆動部
３６０ サブ画像処理部
３８０ 向きセンサ
３９０ ＰｉｎＰ処理部

Claims (15)

1. 軸周りに回転可能な撮像部と、
   前記撮像部の撮影方向を検出する検出部と、
   前記撮像部で生成された画像データに画像処理を施す処理部と、
   前記検出部で検出された撮影方向に応じて前記処理部で画像データに与える画像処理パラメータの設定方法を変更する制御部と、
   を有する、撮像装置。
2. 前記検出部は、少なくとも第１の撮影方向と第２の撮影方向とを検出し、
   前記第２の撮影方向は前記第１の撮影方向に比べて撮影者側に近く、
   前記制御部は、前記検出部で検出された撮影方向が、前記第１の撮影方向と、前記第２の撮影方向のいずれであるかに応じて、前記処理部で画像データに与える画像処理パラメータの設定方法を変更する、
   請求項１に記載の撮像装置。
3. 前記制御部は、前記検出部で検出された撮影方向が前記第２の撮影方向であるときは、人物の顔に対応した画像処理パラメータの設定方法を用いる、
   請求項２に記載の撮像装置。
4. 前記制御部は、前記検出部で検出された撮影方向が前記第２の撮影方向であるときは、前記処理部がホワイトバランス補正を行う際に低色温度側の追従範囲に制限を設ける画像処理パラメータの設定方法を用いる、
   請求項３に記載の撮像装置。
5. 前記制御部は、前記検出部で検出された撮影方向が前記第２の撮影方向であるときは、前記処理部が露出補正を行う際に画像の中心部を重点的に測光する画像処理パラメータの設定方法を用いる、
   請求項３に記載の撮像装置。
6. 前記制御部は、前記検出部で検出された撮影方向が前記第２の撮影方向であるときは、前記画像データの画素間の輝度差を低減させた画像処理パラメータの設定方法を用いる、
   請求項３に記載の撮像装置。
7. 被写体を撮像し、第１画像データを生成する第１撮像部と、
   前記第１撮像部に対して撮影方向を回転可能に取り付け、第２画像データを生成する第２撮像部と、
   前記第２撮像部の撮影方向を検出する検出部と、
   前記第１撮像部及び前記第２撮像部で生成された第１画像データと第２画像データそれぞれに画像処理を施す処理部と、
   前記検出部で検出された撮影方向に応じて前記処理部で第２画像データに与える画像処理パラメータの設定方法を変更する制御部と、
   を有する、撮像装置。
8. 前記検出部は、少なくとも第１の撮影方向と第２の撮影方向とを検出し、
   前記第１の撮影方向は第１撮像部の撮影方向に近く、
   前記第２の撮影方向は前記第１の撮影方向に比べて撮影者側に近く、
   前記制御部は、前記検出部で検出された撮影方向が、前記第１の撮影方向と、前記第２の撮影方向のいずれであるかに応じて、前記処理部で画像データに与える画像処理パラメータの設定方法を変更する、
   
   請求項７に記載の撮像装置。
9. 前記制御部は、前記検出部で検出された撮影方向が前記第１の撮影方向であるときは、前記第２撮像部で生成された第２画像データに与える画像処理パラメータの設定方法として、前記第１撮像部で生成された第１画像データに与える画像処理パラメータの設定方法と対応する設定方法を用いる、
   請求項８に記載の撮像装置。
10. 前記制御部は、前記検出部で検出された撮影方向が前記第２の撮影方向であるときは、人物の顔に対応した画像処理パラメータの設定方法を用いる、
    請求項８に記載の撮像装置。
11. 前記制御部は、前記検出部で検出された撮影方向が前記第２の撮影方向であるときは、前記処理部がホワイトバランス補正を行う際に低色温度側追従範囲に制限を設けた画像処理パラメータの設定方法を用いる、
    請求項１０に記載の撮像装置。
12. 前記制御部は、前記検出部で検出された撮影方向が前記第２の撮影方向であるときは、前記処理部が露出補正を行う際に画像の中心部を重点的に測光する画像処理パラメータの設定方法を用いる、
    請求項１０に記載の撮像装置。
13. 前記制御部は、前記検出部で検出された撮影方向が前記第２の撮影方向であるときは、前記画像データの画素間の輝度差を低減させた画像処理パラメータの設定方法を用いる、
    請求項１０に記載の撮像装置。
14. 更に表示部を備え、
    前記表示部は、前記第１画像データと前記第２画像データを重畳して共に表示する、
    請求項７に記載の撮像装置。
15. 前記処理部は、前記第１画像データに対する画像処理を行う第１処理部と、前記第２画像データに画像処理を行う第２処理部とで構成される、
    請求項７に記載の撮像装置。

Images