JP2017034389A - 撮像装置、イメージセンサ、および画像処理装置 - Google Patents

撮像装置、イメージセンサ、および画像処理装置 Download PDF

Info

Publication number
JP2017034389A
JP2017034389A JP2015150805A JP2015150805A JP2017034389A JP 2017034389 A JP2017034389 A JP 2017034389A JP 2015150805 A JP2015150805 A JP 2015150805A JP 2015150805 A JP2015150805 A JP 2015150805A JP 2017034389 A JP2017034389 A JP 2017034389A
Authority
JP
Japan
Prior art keywords
image
image processing
area
support information
image sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015150805A
Other languages
English (en)
Inventor
大森　士郎
Shiro Omori
士郎 大森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2015150805A priority Critical patent/JP2017034389A/ja
Priority to PCT/JP2016/071057 priority patent/WO2017018260A1/ja
Priority to US15/746,620 priority patent/US10306153B2/en
Publication of JP2017034389A publication Critical patent/JP2017034389A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/643—Hue control means, e.g. flesh tone control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/73—Colour balance circuits, e.g. white balance circuits or colour temperature control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/167—Detection; Localisation; Normalisation using comparisons between temporally consecutive images

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Studio Devices (AREA)
  • Camera Data Copying Or Recording (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Image Analysis (AREA)

Abstract

【課題】顔検出機能などの画像認識機能を有するカメラで、画像処理部の負荷を軽減する撮像装置、イメージセンサ、および画像処理装置を提供する。【解決手段】撮像装置１０は、撮像面に縦横に配置されている光電変換素子によって入射光に応じて生成された画素信号からなる画像データを出力するとともに、撮像面を複数のエリアに区分し、エリア毎にエリアに属する光電変換素子により生成された画素信号に基づいて画像認識支援情報を生成するイメージセンサ１３と、イメージセンサから出力された画像データに対し、イメージセンサから出力された画像処理支援情報を用いて所定の画像処理を行う画像処理部１４とを備える。【選択図】図１

Description

本開示は、撮像装置、イメージセンサ、および画像処理装置に関し、特に、画像上の顔などを検出する場合に用いて好適な撮像装置、イメージセンサ、および画像処理装置に関する。
従来、デジタルカメラやデジタルビデオカメラなどの撮像装置では、画像上から人の顔や手を検出し、検出した顔を追尾してフォーカスを合わせたり、検出した手の動きに応じて所定の処理を実行したりするものが提案されている（例えば、特許文献１参照）。
このような撮像装置は、動画像を撮像して画像データを出力するイメージセンサと、イメージセンサからの画像データに対して画像認識処理を行う画像処理部を備えている。この画像処理部は、画像信号処理プロセッサ(DSP)等からなるハードウェアであったり、またはコンピュータがソフトウェアを実行することによって実現されたりする。
一般に、画像認識処理ではイメージセンサから出力される画像の全体を探索範囲として、認識対象物（人の顔や手など）を検出する。
また、画像認識処理では、画面上の認識対象物が急激に離れた場所に移動することは稀であるのを根拠として、あるフレーム上で認識対象物を検出すると、次のフレーム以降では、前のフレームで認識対象物を検出した位置の近傍のみを認識対象物の探索範囲として、再び認識対象物の検出を試みる。これにより、一旦、検出された認識対象物を連続して追尾することができる。
さらに、画像認識処理では、検出済みの認識対象物以外の認識対象物が画面内に入ってきたのを検出できるように、周期的に画像全体を探索範囲とするようになされている。
特開２０１３−１４８９１５号公報
上述したように、画像認識処理を行う撮像装置において、イメージセンサは撮像した画像データを後段の画像処理部に出力するだけであり、画像処理部が画像認識処理を担っている。したがって、画像処理部は、イメージセンサに比較して、画像認識処理に関する負荷が大きく、このために回路規模が大きくなったり、高速動作を要求されたり、高消費電力化を招く要因となっていた。
本開示はこのような状況に鑑みてなされたものであり、イメージセンサから画像データのみならず、画像認識処理に役立つ画像認識支援情報を出力させることにより、画像認識処理に関する画像処理部の負荷を軽減できるようにするものである。
本開示の第１の側面である撮像装置は、撮像面に縦横に配置されている光電変換素子によって入射光に応じて生成された画素信号からなる画像データを出力するとともに、前記撮像面を複数のエリアに区分し、前記エリア毎に前記エリアに属する前記光電変換素子により生成された前記画素信号に基づいて画像認識支援情報を生成するイメージセンサと、前記イメージセンサから出力された前記画像データに対し、前記イメージセンサから出力された前記画像処理支援情報を用いて所定の画像処理を行う画像処理部とを備える。
前記イメージセンサは、前記エリア毎に前記画像処理支援情報に対する閾値を設定し、算出した前記画像処理支援情報が前記閾値を超えた場合、算出した前記画像処理支援情報にフラグを立てて出力することができる。
前記イメージセンサは、前記エリア毎に前記エリアに属する前記光電変換素子により生成された前記画素信号を統計的に演算して前記画像処理支援情報を算出することができる。
前記イメージセンサは、前記画像処理支援情報として、前記エリア毎に前記エリアに属する前記光電変換素子により生成された前記画素信号を重み付け平均して分割照度データを算出することができる。
前記イメージセンサは、前記画像処理支援情報として、前記エリア毎の温度、距離、位相差、または色相のうちの少なくとも一つを出力することができる。
前記イメージセンサは、前記エリア毎に算出した前記画像処理支援情報に基づいて前記閾値を設定することができる。
前記画像処理部は、前記エリア毎の前記画像処理支援情報に対する前記フラグの有無に応じて、前記所定の画像処理の対象領域を制限することができる。
前記画像処理部は、前記イメージセンサから出力された前記画像データのうち、前記フラグが立てられている前記画像処理支援情報に対応する前記エリアを前記所定の画像処理の対象とすることができる。
前記画像処理部は、前記所定の画像処理として画像認識処理を行い、前記イメージセンサから出力された前記画像データのうち、前のフレームの画像データに対する前記画像認識処理で認識対象物が検出された領域を含む近傍領域を、前記画像認識処理の探索領域とすることができる。
前記イメージセンサは、前記画像データと、前記エリア毎の前記画像処理支援情報をそれぞれ異なるI/Fから出力することができる。
本開示の第１の側面においては、イメージセンサにより、撮像面に縦横に配置されている光電変換素子によって入射光に応じて生成された画素信号からなる画像データが出力されるとともに、前記撮像面が複数のエリアに区分され、前記エリア毎に前記エリアに属する前記光電変換素子により生成された前記画素信号に基づいて画像認識支援情報が算出されて出力され、画像処理部により、前記イメージセンサから出力された前記画像データに対し、前記イメージセンサから出力された前記画像処理支援情報を用いて所定の画像処理が行われる。
本開示の第２の側面であるイメージセンサは、撮像面に縦横に配置されている光電変換素子によって入射光に応じて生成された画素信号からなる画像データを出力するとともに、前記撮像面を複数のエリアに区分し、前記エリア毎に前記エリアに属する前記光電変換素子により生成された前記画素信号に基づいて画像認識支援情報を生成する。
本開示の第２の側面においては、撮像面に縦横に配置されている光電変換素子によって入射光に応じて生成された画素信号からなる画像データが出力されるとともに、前記撮像面が複数のエリアに区分され、前記エリア毎に前記エリアに属する前記光電変換素子により生成された前記画素信号に基づいて画像認識支援情報が算出されて出力される。
本開示の第３の側面である画像処理装置は、撮像面に縦横に配置されている光電変換素子によって入射光に応じて生成された画素信号からなる画像データを出力するとともに、前記撮像面を複数のエリアに区分し、前記エリア毎に前記エリアに属する前記光電変換素子により生成された前記画素信号に基づいて画像認識支援情報を生成するイメージセンサから出力された前記画像データに対し、前記イメージセンサから出力された前記画像処理支援情報を用いて所定の画像処理を行う。
本開示の第３の側面においては、イメージセンサから出力された画像データに対し、前記イメージセンサから出力された画像処理支援情報を用いて所定の画像処理が行われる。
本開示の第１の側面によれば、画像処理部の負荷を軽減させることができる。
本開示の第２の側面によれば、画像認識処理などの所定の画像処理に役立つ画像処理支援情報を出力することができる。
本開示の第３の側面によれば、イメージセンサからの画像処理支援情報に基づき、所定の画像処理を効率的に行うことができる。
本開示を適用した撮像装置の構成例を示すブロック図である。 イメージセンサの出力を説明する図である。 顔検出処理を説明するフローチャートである。 第１の検出処理（サブルーチン）を説明するフローチャートである。 顔検出処理を具体的に説明するための図である。 第２の検出処理（サブルーチン）を説明するフローチャートである。 顔検出処理を具体的に説明するための図である。 顔検出処理を具体的に説明するための図である。
以下、本開示を実施するための最良の形態（以下、実施の形態と称する）について、図面を参照しながら詳細に説明する。
＜本開示の実施の形態である撮像装置の構成例＞
図１は、本開示の実施の形態である撮像装置の構成例を示している。この撮像装置１０は、制御部１１、レンズ１２、イメージセンサ１３、画像処理部１４、フラッシュメモリ１５、DRAM１６、ROM１７、ディスプレイ１８、およびタッチパネル１９を有する。
制御部１１は、撮像装置１０の全体を制御する。レンズ１２は、被写体の光学像をイメージセンサ１３に入射させる。
イメージセンサ１３は、その撮像面に多数の光電変換素子が縦横に配置されており、入射光に応じた光電変換処理を行い、その結果得られるフレーム単位の画像データ（RAWデータ）を、MIPI I/F１３ａを介して画像処理部１４に出力する。
また、イメージセンサ１３は、その撮像面を所定サイズに区分したALS(Ambient Light Sensor)エリア毎に画像認識支援情報として分割照度データを算出し、各ALSエリアに対応する分割照度データを、I2C I/F１３ｂを介してイメージセンサ１３に出力する。なお、ALSエリア、および画像認識支援情報として分割照度データの詳細については後述する。
画像処理部１４は、例えば、DSPなどから成り、イメージセンサ１３からフレーム単位で供給される画像データ（RAWデータ）にデモザイク処理を行ってYUV信号に変換する。また、画像処理部１４は、フレーム単位のYUV信号のＹ成分に対し、画像認識処理としての顔検出処理を実行する。顔検出処理の詳細については後述する。また、画像処理部１４は、YVU信号を所定の符号化方式に従ってエンコードし、その結果得られる符号化データをフラッシュメモリ１５に記録する。
DRAM１６は、画像処理部１４による顔検出処理の記憶領域として利用される。ROM１７には、画像処理部１４による顔検出処理にて参照される顔パターンなどが予め記録されている。
ディスプレイ１８には、モニタリング中や録画中の画像、再生された画像、各種の設定画面などが表示される。タッチパネル１９は、ディスプレイ１８に重畳して配置され、ユーザの各種の入力操作を受け付ける。
次に、イメージセンサ１３の出力について具体的に説明する。図２は、イメージセンサ１３の出力を示す図である。
上述したように、イメージセンサ１３は、入射光に応じた光電変換処理の結果得られるフレーム単位の画像データ（RAWデータ）を、MIPI I/F１３ａを介して画像処理部１４に出力する。
また、イメージセンサ１３は、各ALSエリアに対応する分割照度データを算出して、I2C I/F１３ｂを介して画像処理部１４に出力する。なお、同図の場合、イメージセンサ１３の撮像面は、４×４のALSエリアに区分されている。したがって、イメージセンサ１３から画像処理部１４に対して、１６エリア分の分割照度データが出力される。ただし、ALSエリアの区分数は４×４に限るものではなく任意に設定可能とする。
分割照度データとしては、各ALSエリアに属する画素の画素値の平均値を算出する。例えば、撮像面にベイヤ配列で画素が配置されている場合、各画素はＲ，Ｇｒ，Ｂ，Ｇｂのいずれかの色成分の信号を出力することになる。この場合、Ｒ成分の信号を出力する画素の画素値の平均値ＲＡＶと、Ｇｒ成分の信号を出力する画素の画素値の平均値ＧｒＡＶと、Ｂ成分の信号を出力する画素の画素値の平均値ＢＡＶと、Ｇｂ成分の信号を出力する画素の画素値の平均値ＧｂＡＶとの平均値を分割照度データとして算出する。なお、Ｒ，Ｇｒ，Ｂ，Ｇｂの各値に重みを付け、より正確な分割照度データを算出してもよい。
なお、分割照度データの算出方法は、各ALSエリアに属する全画素の画素値を用いるのではなく、間引きして用いるようにしてもよい。また、分割照度データの算出方法は、上述した例に限るものではなく、RAWデータに基づいて算出するものであればよい。
さらに、イメージセンサ１３は、ALSエリア毎に分割照度データの上下の閾値を設定することができる。そして、例えば画像上に新たな被写体が登場するなどにより、算出した分割照度データが、上下の閾値の一方を超えた場合、分割照度データにフラグを立てて画像処理部１４に出力する。
なお、画像認識支援情報として、分割照度データの代わりに、または分割照度データに追加して、各ALSエリアの温度、距離、位相差、色相などをイメージセンサ１３で取得し、画像処理部１４に供給するようにしてもよい。
＜画像認識処理としての顔検出処理の説明＞
図３は、撮像装置１０による顔検出処理を説明するフローチャートである。この顔検出処理はモニタリング中、または録画中に１フレーム周期で継続的に実行される。
ステップＳ１において、イメージセンサ１３は、１フレーム分の画像データをMIPI I/F１３ａを介して画像処理部１４に出力する。また、イメージセンサ１３は、各ALSエリアの分割照度データを算出し、I2C I/F１３ｂを介してイメージセンサ１３に出力する。このとき、分割照度データの上下の閾値が設定済みである場合、イメージセンサ13は、分割照度データが、上下の閾値の一方を超えるときには、分割照度データにフラグを立てて画像処理部１４に出力する。
ステップＳ２において、画像処理部１４は、入力された画像データとそれに対応する各ALSエリアの分割照度データが、所定のフレーム周期（いまの場合、５０フレーム周期とする。任意に変更可能）の何フレーム目であるか判断する。ステップＳ３において、画像処理部１４は、ステップＳ２における判断結果が１フレーム目であるか否かを判定する。１フレーム目であると判定された場合、処理はステップＳ４に進められる。
ステップＳ４において、イメージセンサ１３は、全てのALSエリア毎に対して、ステップＳ１で算出した分割照度データに基づいて上下の閾値を設定する。具体的には、分割照度データに予め設定されている所定のオフセット値を加算することにより上の閾値を設定するとともに、分割照度データから予め設定されている所定のオフセット値を減算することにより下の閾値を設定する。この後、処理はステップＳ５に進められる。ステップＳ５において、画像処理部１４は、第１の検出処理を実行する。
図４は、ステップＳ５における第１の検出処理を詳述するフローチャートである。図５は、第１の検出処理を説明するための画像の一例である。
ステップＳ１１において、画像処理部１４は、人の顔を検出する際に画像上で移動させる所定サイズのマッチング対象エリア２１の座標を、初期値（原点座標。画面上の左上）に設定する。続いて、画像処理部１４は、ステップＳ１２において、マッチング対象エリア２１内の画像が予め用意されている人の顔パターンと一致するか否かを判定する。ここで、一致すると判定された場合、処理はステップＳ１３に進められる。反対に、一致しないと判定された場合、ステップＳ１３はスキップされる。
ステップＳ１３において、画像処理部１４は、顔パターンと一致したマッチング対象エリア２１の現在の座標を顔検出領域２２として登録する。
次に、ステップＳ１４において、画像処理部１４は、画像全体をマッチング対象エリア２１としたか否かを判定する。画像全体をマッチング対象エリア２１としていない（すなわち、マッチング対象エリア２１としていない領域が残っている）と判定された場合、処理はステップS１５に進められる。
ステップＳ１５において、画像処理部１４は、マッチング対象エリア２１の座標をラスタースキャン順に所定の幅だけ移動させる。この後、処理はステップＳ１２に戻されて、ステップＳ１２乃至Ｓ１５の処理が繰り返される。そして、ステップＳ１４において、画像全体をマッチング対象エリア２１とした（すなわち、マッチング対象エリア２１としていない領域が残っていない）と判定された場合、該第１の検出処理は終了されて、処理は図３のステップＳ１に戻され、次のフレームが顔検出処理の対象とされる。
図１に戻る。ステップＳ３において、１フレーム目ではないと判定された場合、処理はステップＳ６に進められる。ステップＳ６において、画像処理部１４は、第２の検出処理を実行する。
図６は、ステップＳ６における第２の検出処理を詳述するフローチャートである。図７および図８は、第２の検出処理を説明するための画像の一例である。
ステップＳ２１において、画像処理部１４は、図７に示すように、前のフレームから検出された登録済みの顔検出領域２２を含み、顔検出領域２２よりも大きな近傍領域２３を設定する。また、画像処理部１４は、近傍領域２３と、フラグが立てられているALSエリア（画面上に変化があって分割照度データが上下の閾値のどちらかを超えたALSエリア）を順次１つずつ探索範囲として選択する。
ステップＳ２２において、画像処理部１４は、マッチング対象エリア２１の座標を、選択した探索領域の初期値（原点座標。画面上の左上）に設定する。
ステップＳ２３において、画像処理部１４は、マッチング対象エリア２１内の画像が予め用意されている人の顔パターンと一致するか否かを判定する。ここで、一致すると判定された場合、処理はステップＳ２４に進められる。反対に、一致しないと判定された場合、ステップＳ２４はスキップされる。
ステップＳ２４において、画像処理部１４は、顔パターンと一致したマッチング対象エリア２１の現在の座標を顔検出領域２２として登録する。
次に、ステップＳ２５において、画像処理部１４は、選択中の探索範囲全体をマッチング対象エリア２１としたか否かを判定する。選択中の探索範囲全体をマッチング対象エリア２１としていない（すなわち、マッチング対象エリア２１としていない領域が残っている）と判定された場合、処理はステップS２６に進められる。
ステップＳ２６において、画像処理部１４は、選択中の探索範囲内でマッチング対象エリア２１の座標を所定の幅だけ移動させる。この後、処理はステップＳ２３に戻されて、ステップＳ２３乃至Ｓ２６の処理が繰り返される。そして、ステップＳ２５において、探索範囲全体をマッチング対象エリア２１とした（すなわち、マッチング対象エリア２１としていない領域が残っていない）と判定された場合、処理はステップS２７に進められる。
ステップＳ２７において、画像処理部１４は、近傍領域２３と、フラグが立てられているALSエリアの全てを探索範囲として選択したか否かは判定する。そして、近傍領域２３と、フラグが立てられているALSエリアの全てを探索範囲として選択していない（すなわち、探索範囲として選択していないものが残っている）と判定した場合、処理はステップＳ２１に戻されて、ステップＳ２１乃至Ｓ２７の処理が繰り返される。その後、ステップＳ２７において、近傍領域２３と、フラグが立てられているALSエリアの全てを探索範囲として選択した（すなわち、探索範囲として選択していないものが残っていない）と判定した場合、該第２の検出処理は終了されて、処理は図３のステップＳ７に進められる。
ステップＳ７において、イメージセンサ１３は、フラグが立てられているALSエリアの上下の閾値を、直近のステップＳ１で算出した分割照度データに基づいて設定する。具体的には、上述したステップＳ４の処理と同様に設定する。
この後、処理は図３のステップＳ１に戻され、次のフレームが顔検出処理の対象とされる。以上で、顔検出処理の説明を終了する。
以上に説明した顔検出処理によれば、所定のフレーム周期で実行される、画面全体をマッチング対象エリア２１とする第１の検出処理によって人の顔が検出された場合、次のフレーム以降は、第２の検出処理により、図７に示すように、検出された顔を含む近傍領域が探索範囲とされる。よって、次のフレームにおいても速やかに顔を検出することができる。
また、第２の検出処理は、第１の検出処理に比較して、マッチング対象エリア２１とする領域が狭いので、画像処理部１４の処理負荷を軽減させることができる。したがって、画像処理部１４の回路規模の拡大や高速動作を抑制したり、消費電力の増大を抑止したりすることができる。
また、例えば、図８に示されるように、その直前にフレームで検出されていない被写体が画面上に出現した場合、そのALSエリアも探索範囲とされるので、新たに登場した人物の顔も検出することができる。
＜顔検出処理の第１の変形例＞
上述した顔検出処理では、所定のフレーム周期（上述した説明では５０フレームに１回）で第１の検出処理を実行するようにしたが、第１の検出処理は初めのフレームに対してのみ実行するようにし、それ以降は全て第２の検出処理を実行するようにしてもよい。このようにすれば、画面全体からの顔の検出精度をほぼ保ったまま、画像処理部１４の処理負荷をより軽減させることができる。
＜顔検出処理の第２の変形例＞
上述した第１の検出処理のステップＳ１３や第２の検出処理のステップＳ２３における、マッチング対象エリア２１と顔パターンの一致判定に先立ち、画像内の照度が低い領域についてだけ、ゲインを上げるとともに、ノイズリダクションを行うようにしてよい。具体的には、分割照度データが所定の基準値以下であるALSエリアについてだけ、画素値に所定のゲイン値４を乗算するようにし、また、ローパスフィルタなどによりノイズを除去するようにする。これにより、顔の検出精度を上げることができる。
なお、本実施の形態においては、画像認識処理としての顔検出処理について説明したが、本開示は、被写体の顔以外の部位、例えば、手などを認識する場合にも適用できる。
本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
本開示は以下のような構成も取ることができる。
（１）
撮像面に縦横に配置されている光電変換素子によって入射光に応じて生成された画素信号からなる画像データを出力するとともに、前記撮像面を複数のエリアに区分し、前記エリア毎に前記エリアに属する前記光電変換素子により生成された前記画素信号に基づいて画像認識支援情報を生成するイメージセンサと、
前記イメージセンサから出力された前記画像データに対し、前記イメージセンサから出力された前記画像処理支援情報を用いて所定の画像処理を行う画像処理部と
を備える撮像装置。
（２）
前記イメージセンサは、前記エリア毎に前記画像処理支援情報に対する閾値を設定し、算出した前記画像処理支援情報が前記閾値を超えた場合、算出した前記画像処理支援情報にフラグを立てて出力する
前記（１）に記載の撮像装置。
（３）
前記イメージセンサは、前記エリア毎に前記エリアに属する前記光電変換素子により生成された前記画素信号を統計的に演算して前記画像処理支援情報を算出する
前記（１）または（２）に記載の撮像装置。
（４）
前記イメージセンサは、前記画像処理支援情報として、前記エリア毎に前記エリアに属する前記光電変換素子により生成された前記画素信号を平均して分割照度データを算出する
前記（１）から（３）のいずれかに記載の撮像装置。
（５）
前記イメージセンサは、前記画像処理支援情報として、前記エリア毎の温度、距離、位相差、または色相のうちの少なくとも一つを出力する
前記（１）から（４）のいずれかに記載の撮像装置。
（６）
前記イメージセンサは、前記エリア毎に算出した前記画像処理支援情報に基づいて前記閾値を設定する
前記（１）から（５）のいずれかに記載の撮像装置。
（７）
前記画像処理部は、前記エリア毎の前記画像処理支援情報に対する前記フラグの有無に応じて、前記所定の画像処理の対象領域を制限する
前記（２）から（６）のいずれかに記載の撮像装置。
（８）
前記画像処理部は、前記イメージセンサから出力された前記画像データのうち、前記フラグが立てられている前記画像処理支援情報に対応する前記エリアを前記所定の画像処理の対象とする
前記（２）から（７）のいずれかに記載の撮像装置。
（９）
前記画像処理部は、前記所定の画像処理として画像認識処理を行い、前記イメージセンサから出力された前記画像データのうち、前のフレームの画像データに対する前記画像認識処理で認識対象物が検出された領域を含む近傍領域を、前記画像認識処理の探索領域とする
前記（１）から（８）のいずれかに記載の撮像装置。
（１０）
前記イメージセンサは、前記画像データと、前記エリア毎の前記画像処理支援情報をそれぞれ異なるI/Fから出力する
前記（１）から（９）のいずれかに記載の撮像装置。
（１１）
撮像面に縦横に配置されている光電変換素子によって入射光に応じて生成された画素信号からなる画像データを出力するとともに、前記撮像面を複数のエリアに区分し、前記エリア毎に前記エリアに属する前記光電変換素子により生成された前記画素信号に基づいて画像認識支援情報を生成する
イメージセンサ。
（１２）
撮像面に縦横に配置されている光電変換素子によって入射光に応じて生成された画素信号からなる画像データを出力するとともに、前記撮像面を複数のエリアに区分し、前記エリア毎に前記エリアに属する前記光電変換素子により生成された前記画素信号に基づいて画像認識支援情報を生成するイメージセンサから出力された前記画像データに対し、前記イメージセンサから出力された前記画像処理支援情報を用いて所定の画像処理を行う
画像処理装置。
１０ 撮像装置， １１ 制御部， １２ レンズ， １３ イメージセンサ， １３ MIPI I/F， １３ｂ I2C I/F， １４ 画像処理部， １５ フラッシュメモリ， １６ DRAM， １７ ROM， １８ ディスプレイ， １９ タッチパネル，

Claims (12)

  1. 撮像面に縦横に配置されている光電変換素子によって入射光に応じて生成された画素信号からなる画像データを出力するとともに、前記撮像面を複数のエリアに区分し、前記エリア毎に前記エリアに属する前記光電変換素子により生成された前記画素信号に基づいて画像認識支援情報を生成するイメージセンサと、
    前記イメージセンサから出力された前記画像データに対し、前記イメージセンサから出力された前記画像処理支援情報を用いて所定の画像処理を行う画像処理部と
    を備える撮像装置。
  2. 前記イメージセンサは、前記エリア毎に前記画像処理支援情報に対する閾値を設定し、算出した前記画像処理支援情報が前記閾値を超えた場合、算出した前記画像処理支援情報にフラグを立てて出力する
    請求項１に記載の撮像装置。
  3. 前記イメージセンサは、前記エリア毎に前記エリアに属する前記光電変換素子により生成された前記画素信号を統計的に演算して前記画像処理支援情報を算出する
    請求項２に記載の撮像装置。
  4. 前記イメージセンサは、前記画像処理支援情報として、前記エリア毎に前記エリアに属する前記光電変換素子により生成された前記画素信号を重み付け平均して分割照度データを算出する
    請求項２に記載の撮像装置。
  5. 前記イメージセンサは、前記画像処理支援情報として、前記エリア毎の温度、距離、位相差、または色相のうちの少なくとも一つを出力する
    請求項２に記載の撮像装置。
  6. 前記イメージセンサは、前記エリア毎に算出した前記画像処理支援情報に基づいて前記閾値を設定する
    請求項２に記載の撮像装置。
  7. 前記画像処理部は、前記エリア毎の前記画像処理支援情報に対する前記フラグの有無に応じて、前記所定の画像処理の対象領域を制限する
    請求項２に記載の撮像装置。
  8. 前記画像処理部は、前記イメージセンサから出力された前記画像データのうち、前記フラグが立てられている前記画像処理支援情報に対応する前記エリアを前記所定の画像処理の対象とする
    請求項７に記載の撮像装置。
  9. 前記画像処理部は、前記所定の画像処理として画像認識処理を行い、前記イメージセンサから出力された前記画像データのうち、前のフレームの画像データに対する前記画像認識処理で認識対象物が検出された領域を含む近傍領域を、前記画像認識処理の探索領域とする
    請求項７に記載の撮像装置。
  10. 前記イメージセンサは、前記画像データと、前記エリア毎の前記画像処理支援情報をそれぞれ異なるI/Fから出力する
    請求項２に記載の撮像装置。
  11. 撮像面に縦横に配置されている光電変換素子によって入射光に応じて生成された画素信号からなる画像データを出力するとともに、前記撮像面を複数のエリアに区分し、前記エリア毎に前記エリアに属する前記光電変換素子により生成された前記画素信号に基づいて画像認識支援情報を生成する
    イメージセンサ。
  12. 撮像面に縦横に配置されている光電変換素子によって入射光に応じて生成された画素信号からなる画像データを出力するとともに、前記撮像面を複数のエリアに区分し、前記エリア毎に前記エリアに属する前記光電変換素子により生成された前記画素信号に基づいて画像認識支援情報を生成するイメージセンサから出力された前記画像データに対し、前記イメージセンサから出力された前記画像処理支援情報を用いて所定の画像処理を行う
    画像処理装置。
JP2015150805A 2015-07-30 2015-07-30 撮像装置、イメージセンサ、および画像処理装置 Pending JP2017034389A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2015150805A JP2017034389A (ja) 2015-07-30 2015-07-30 撮像装置、イメージセンサ、および画像処理装置
PCT/JP2016/071057 WO2017018260A1 (ja) 2015-07-30 2016-07-15 撮像装置、イメージセンサ、および画像処理装置
US15/746,620 US10306153B2 (en) 2015-07-30 2016-07-15 Imaging apparatus, image sensor, and image processor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015150805A JP2017034389A (ja) 2015-07-30 2015-07-30 撮像装置、イメージセンサ、および画像処理装置

Publications (1)

Publication Number Publication Date
JP2017034389A true JP2017034389A (ja) 2017-02-09

Family

ID=57885520

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015150805A Pending JP2017034389A (ja) 2015-07-30 2015-07-30 撮像装置、イメージセンサ、および画像処理装置

Country Status (3)

Country Link
US (1) US10306153B2 (ja)
JP (1) JP2017034389A (ja)
WO (1) WO2017018260A1 (ja)

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL121138A (en) * 1997-06-23 2001-11-25 Chiaro Networks Ltd An integrated device for optical components for beam deflection
EP1359536A3 (en) * 2002-04-27 2005-03-23 Samsung Electronics Co., Ltd. Face recognition method and apparatus using component-based face descriptor
US7456884B2 (en) * 2003-08-05 2008-11-25 Aptina Imaging Corporation Method and circuit for determining the response curve knee point in active pixel image sensors with extended dynamic range
WO2007010770A1 (ja) * 2005-07-20 2007-01-25 Konica Minolta Opto, Inc. 光ピックアップ装置及び光情報記録媒体の記録・再生装置
JP4588583B2 (ja) * 2005-08-29 2010-12-01 富士フイルム株式会社 撮影装置およびフォーカス制御方法
JP4692273B2 (ja) * 2005-12-26 2011-06-01 株式会社ニコン 焦点検出装置およびカメラ
US20110021694A1 (en) * 2009-07-23 2011-01-27 E.I. Du Pont De Nemours And Company Polyesterurethane for coating compositions
JP5030308B2 (ja) * 2009-08-18 2012-09-19 キヤノン株式会社 自動合焦装置とその制御方法並びに撮像装置
JP5772849B2 (ja) 2013-03-08 2015-09-02 ソニー株式会社 撮像装置
JP2015023332A (ja) * 2013-07-17 2015-02-02 ソニー株式会社 固体撮像素子及びその駆動方法、並びに電子機器

Also Published As

Publication number Publication date
US20180220055A1 (en) 2018-08-02
WO2017018260A1 (ja) 2017-02-02
US10306153B2 (en) 2019-05-28

Similar Documents

Publication Publication Date Title
US8508611B2 (en) Image processing apparatus, image capturing apparatus, image processing method, and program for performing a comparison process on combined images and a motion area detection process
US8848063B2 (en) Image processing including image correction
KR20190014028A (ko) 화상처리장치, 화상처리방법, 및 프로그램
US10002436B2 (en) Image processing device, image processing method, and solid-state imaging device
JP2009212909A (ja) 固体撮像装置、固体撮像装置のフリッカ検出方法、制御プログラム、可読記録媒体および電子情報機器
JP6574878B2 (ja) 画像処理装置及び画像処理方法、撮像装置、プログラム、並びに記憶媒体
KR102025935B1 (ko) 이미지 생성 장치 및 이미지 생성 방법
US20140176754A1 (en) Image capturing apparatus and control method thereof
US20130265412A1 (en) Image processing apparatus and control method therefor
US20210067689A1 (en) Image processing apparatus, image processing method, and program
US10311327B2 (en) Image processing apparatus, method of controlling the same, and storage medium
KR102406215B1 (ko) 컬러 프린지 보정 방법 및 이를 이용한 이미지 데이터의 프로세싱 방법
WO2017149854A1 (ja) 信号処理装置、撮像装置および信号処理方法
US9489721B2 (en) Image processing apparatus, image processing method, and storage medium
JP2009194776A (ja) ノイズフィルタ
JP2013135343A (ja) 撮像装置
US10965877B2 (en) Image generating method and electronic apparatus
JP6450107B2 (ja) 画像処理装置及び画像処理方法、プログラム、記憶媒体
WO2017018260A1 (ja) 撮像装置、イメージセンサ、および画像処理装置
JP2011114473A (ja) 画素欠陥補正装置
JP2012109826A (ja) 撮像装置、画像処理装置および撮像方法
JP6041523B2 (ja) 画像処理装置及び方法
US20190215453A1 (en) Image capturing device
JP2010056817A (ja) 撮像装置
JP2016082390A (ja) 信号処理装置