JP2012124798A - 撮像装置 - Google Patents

Abstract

【課題】 複数コアで分割処理するシステムにおいて、撮影時の状況に応じて最適な被写体検出を行う。
【解決手段】 撮像素子と、前記撮像素子から読み出される画像信号を複数の領域に分割する画像分割手段と、分割された画像を並列に処理する複数のカメラ信号処理手段を備え、前記画像分割手段は、前記カメラ信号処理手段の処理結果に応じて分割方法を制御する
ことを特徴とする撮像装置。
【選択図】 図１

Description

本発明は撮像装置に関し、特に撮像素子から読み出した画像を複数領域に分割し、並列処理する際の画像分割方法に関する。

近年、予め特定の人物の顔情報を登録しておき、入力画像より顔を検出／認識することで特定の人物に合わせて自動でホワイトバランスやフォーカス制御を行う撮像装置が提案されている。また、半導体技術の進歩により、デジタルスチルカメラやビデオカメラで用いられる撮像素子の多画素化が急速に進んでいる。これに対して、動画記録のフレームレートは規格で定められており、所定期間で１つのフレーム画像を処理する必要がある。このため、特許文献１では、１つのフレーム画像を分割し、撮影信号処理を並列処理することで多画素を処理する方法が提案されている。ここでは、分割時に担当領域に隣接する一部の領域を重複させることで、画像を繋げた場合に繋ぎ目部分に画像破綻を発生させない方法が提案されている。

特開2004−289631号公報

一般的に、顔の検出／認識の精度は処理する画像に含まれる顔の状態(例えば顔の領域)に依存する。また、顔の検出／認識の処理時間は処理内容(例えば検出可能な上限値)によって変動する。しかしながら、前記特許文献１に記載の撮像装置では、必要な重複領域が変動した場合について考慮されていない。このため、図２（ａ）に示すように人物の顔が複数の領域に分割された場合に、重複領域を超えて顔が分割された場合に顔の検出／認識精度が低下する。また、顔の検出／認識の処理時間が動画のフレームレートを超える場合は、複数のフレームに1度の周期で動かすことになる。図３（ａ）に画像を分割して並列処理した場合の動作タイミングを示す。図３において、「白塗りの三角形」にて顔の検出／認識処理の開始位置、「黒塗りの三角形」にて処理の終了位置を示している。ここで、前記特許文献１に記載の撮像装置では顔の検出／認識の結果が得られる周期は、並列に構成される個々の処理手段の処理能力に依存するため、検出精度を保ったまま結果が得られる周期を短くすることができない。

本出願に係る第１の発明は、撮像素子と、
撮像素子から読み出される画像信号を複数の領域に分割する画像分割手段と、
分割された画像を並列に処理する複数のカメラ信号処理手段を備え、
前記画像分割手段は、前記画像処理手段の処理結果に応じて分割方法を制御する
ことを特徴とする。
本出願に係る第２の発明は、前記カメラ信号処理手段は、
第１の周期で動作する第１の信号処理手段と、
第２の周期で動作する第２の信号処理手段とで構成され、
第１の信号処理手段は複数のカメラ信号処理手段を同期させて動作させ、
第２の信号処理手段は複数のカメラ信号処理手段を非同期に動作させる
ことを特徴とする。
本出願に係る第３の発明は、前記第１の信号処理手段は、入力画像を記録または表示するための現像処理を行い、前記第２の信号処理手段は入力画像に含まれる被写体を検出及び認識する処理を行うことを特徴とする。

本発明によれば、顔の検出／認識結果に基づき画像の分割方法を制御することで、顔が分割されて処理することが防止でき、検出／認識精度を向上することができる。また、画像の分割方法と複数の顔検出／認識手段の起動タイミングを制御することで、検出／認識結果の取得周期を短くすることができる。

実施例１の構成図である。 画像の分割方法の説明図である。 動作タイミングの説明図である。 実施例２の構成図である。

以下、図面を参照しながら本発明の好適な実施の形態を説明する。

［実施例１］
図１は、本発明の撮像装置における第１の実施形態の構成を示す図である。撮像素子101は被写体像を撮像面上に結像し、光電変換する。画像分割手段102は撮像素子101から出力された画像信号を第１のカメラ信号処理手段103と第２のカメラ信号処理手段104に分割して出力する。第１のカメラ信号処理手段103と第２のカメラ信号処理手段104は、入力された画像に対してアパーチャ補正、ガンマ補正、及びホワイトバランス補正などの現像処理を並列に処理しメモリ105に記録する。また、それぞれの入力画像に含まれる人物の顔を検出／認識し、検出結果をＣＰＵ109に出力する。符号化手段106は画像分割手段102で分割された画像が１つに戻るようにメモリ105より画像を読み出し、ＭＰＥＧ符号化規格等に符号化して記録手段107に出力する。記録手段107はＦＬＡＳＨメモリ等の記録媒体に記録する。表示手段108は、分割された画像が１つに戻るようにメモリ105より画像を読み出し、液晶モニタ等に表示する。ＣＰＵ109は２つの顔検出結果に応じて画像分割の位置を決定し、画像分割手段102へ出力する。

図２（ｂ）は実施例１の画像の分割方法の説明図である。

図１、２より実施例１の画像分割の制御方法を説明する。ここで、図２のなかの領域Ａを第１のカメラ信号処理手段103、領域Ｂを第２のカメラ信号処理手段104で処理するものとする。図２（ａ）では、第１のカメラ信号処理手段103では画面右側に顔が検出され、第２のカメラ信号処理手段104では、画面の左側に顔が検出される。しかし、どちらも顔全体の半分しか含まれないので、検出精度は低くなる。そこで、２つの検出結果より画像分割の分割方法を制御する。図２（ｂ）では、図２（ａ）の検出結果を元に画像の分割方法を変えている。この結果、領域Ａ内に顔の全体が含まれるため顔の検出精度を向上することができる。

［実施例２］
次に、第２の実施形態について説明する。

一般的に顔の検出／認識に必要な画像の範囲は、特定の人物の認識前後で変化する。例えば、特定の人物の認識前は画面全体から顔を検出／認識する必要がある。これに対して、特定の人物の認識後は特定の人物の周辺領域を検出／認識し、人物の位置の変化に応じて検出／認識する領域を変化させればよい。第１の実施例の方法では、特定の人物の認識後に必要になる領域が分割後の画像領域内に収まる場合は、特定の人物が含まれない領域では顔の検出／認識をする必要がなくなる。そこで、第２の実施例では特定の人物を認識した後に複数の顔検出／認識手段の開始タイミングを非同期に制御することで顔の検出／認識結果の取得周期を短くすることを目的とする。

図４は、本発明の撮像装置における第２の実施形態の構成を示す図である。図４において、前記第１の実施形態を示す図１と同一の構成要素には、同一の符号が付されている。

図４では、図１で示したカメラ信号処理手段を、入力された画像に対してアパーチャ補正、ガンマ補正、及びホワイトバランス補正などを行う現像手段と入力画像に含まれる人物の顔を検出／認識する顔検出／認識手段に分離している。

図３（ｂ）に本実施例の動作タイミングを示す。図３、図４より本実施例の画像分割及び顔の検出／認識の制御方法について説明する。ＣＰＵ109は顔の検出／認識結果に応じて領域Ａに顔が含まれるように画像分割手段102を制御し、読み出し周期毎に領域Ａ画像と領域Ｂ画像を入れ替えて２つのカメラ信号処理手段103、104に出力する。また、ＣＰＵ109は、顔が含まれる画像が入力されるタイミングで顔の検出／認識を開始するように２つの顔検出／認識手段103B、104Bの動作タイミングを制御する。符号化手段106と表示手段107は分割された画像が１つに戻るようにメモリ105より画像を読み出すことで、記録画像や表示画像は実施例１と同じフレームレートで処理される。これに対して、顔の検出／認識結果は２つの顔検出／認識手段より交互に毎フレーム取得することができ、顔の検出／認識の結果の取得周期を短くすることができる。

101 撮像素子
102 画像分割手段
103 第１のカメラ信号処理手段
103A 第１の現像処理手段
103B 第１の顔検出／認識手段
104 第２のカメラ信号処理手段
104A 第２の現像処理手段
104B 第２の顔検出／認識手段
105 メモリ
106 符号化手段
107 記録手段
108 表示手段
109 CPU

Claims (3)

1. 撮像素子と、
   前記撮像素子から読み出される画像信号を複数の領域に分割する画像分割手段と、
   分割された画像を並列に処理する複数のカメラ信号処理手段を備え、
   前記画像分割手段は、前記カメラ信号処理手段の処理結果に応じて分割方法を制御する
   ことを特徴とする撮像装置。
2. 前記カメラ信号処理手段は、
   第１の周期で動作する第１の信号処理手段と、
   第２の周期で動作する第２の信号処理手段とで構成され、
   第１の信号処理手段は複数のカメラ信号処理手段を同期させて動作させ、
   第２の信号処理手段は複数のカメラ信号処理手段を非同期に動作させる
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記第１の信号処理手段は入力画像を記録または表示するための現像処理を行い
   前記第２の信号処理手段は入力画像に含まれる被写体を検出及び認識する処理を行う
   ことを特徴とする請求項２に記載の撮像装置。