JP2021051042A - 画像処理装置、電子機器、画像処理方法及びプログラム - Google Patents

画像処理装置、電子機器、画像処理方法及びプログラム Download PDF

Info

Publication number
JP2021051042A
JP2021051042A JP2019175291A JP2019175291A JP2021051042A JP 2021051042 A JP2021051042 A JP 2021051042A JP 2019175291 A JP2019175291 A JP 2019175291A JP 2019175291 A JP2019175291 A JP 2019175291A JP 2021051042 A JP2021051042 A JP 2021051042A
Authority
JP
Japan
Prior art keywords
image
correction
unit
frame
light source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019175291A
Other languages
English (en)
Inventor
翔太郎 馬場
Shotaro Baba
翔太郎 馬場
草刈　高
Takashi Kusakari
高 草刈
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Priority to JP2019175291A priority Critical patent/JP2021051042A/ja
Priority to CN202080065424.XA priority patent/CN114424522B/zh
Priority to PCT/JP2020/029053 priority patent/WO2021059735A1/ja
Priority to DE112020004555.2T priority patent/DE112020004555T5/de
Priority to US17/753,897 priority patent/US20220360702A1/en
Publication of JP2021051042A publication Critical patent/JP2021051042A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4912—Receivers
    • G01S7/4918—Controlling received signal intensity, gain or exposure of sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Studio Devices (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

【課題】背景光の影響を適切に取り除くこと。【解決手段】画像処理装置は、ＩＲ画像用フレーム内でパルス波がオンの状態で撮影された第１ＩＲ画像と、パルス波がオフの状態で撮影された第２ＩＲ画像とを生成する画像生成部と、第２ＩＲ画像に基づいて、第１ＩＲ画像を補正する画像補正部と、を備える。【選択図】図１

Description

本開示は、画像処理装置、電子機器、画像処理方法及びプログラムに関する。
光源から光が射出されてから、その光が被測定物に反射した反射光を受光部により受光するまでの時間に基づき被測定物までの距離を計測するＴＯＦ(Time of Flight)と呼ばれる測距方式が知られている。
また、ＴＯＦセンサにおいては、適切な輝度で光を受光するために、ＡＥ(Automatic Exposure)機能が搭載される場合がある。ＡＥ機能を利用することで、撮影シーンの明るさなどに応じて露光（輝度）が自動調整され、撮影シーンに依らず良好に測距精度を得ることが可能となる。
特開２０１８−１１７１１７号公報
ところで、ＴＯＦセンサを用いた顔認証では、４つのフェーズで画像の確度を計算したＣｏｎｆｉｄｅｎｃｅ画像を用いることが一般的である。しかしながら、４つのフェーズの画像をマージしてＩＲ（Infrared）画像を出力するため動きに弱く、例えばフェーズ間で被写体に動きがあった場合には、ぼけが起こりやすい。
そのため、１つのフェーズや２つのフェーズといった少ないｐｈａｓｅ数でＩＲ画像を生成することが考えられる。しかしながら、例えば背景光の強い場合など特定のシーンで撮影した画像に対して事前に用意したダーク画像でＦＰＮ（Fixed Pattern Noise）補正を行うと、撮影した画像と、ダーク画像のミスマッチにより、所望の画質を得られない可能性がある。
そこで、本開示では、背景光の影響を適切に取り除くことのできる画像処理装置、電子機器、画像処理方法及びプログラム提案する。
本開示に係る一態様の画像処理装置は、ＩＲ画像用フレーム内でパルス波がオンの状態で撮影された第１ＩＲ画像と、前記パルス波がオフの状態で撮影された第２ＩＲ画像とを生成する画像生成部と、前記第２ＩＲ画像に基づいて、前記第１ＩＲ画像を補正する画像補正部と、を備える。
本開示の実施形態に適用可能な測距装置を用いた電子機器の構成の一例を示す図である。 フレーム構成を説明するための図である。 間接ＴＯＦ方式の原理を説明するための図である。 本開示に係る技術を適用した間接ＴＯＦ方式距離画像センサのシステム構成の一例を示すブロック図である。 本開示に係る技術を適用した間接ＴＯＦ方式距離画像センサにおける画素の回路構成の一例を示す回路図である。 本開示の第１実施形態に係る画像処理装置の構成の一例を示すブロック図である。 本開示の実施形態に係る画像処理方法を説明するための図である。 本開示の実施形態に係る画像処理方法を説明するための図である。 本開示の実施形態に係るＦＰＮ補正の効果を説明するための図である。 本開示の実施形態に係るＦＰＮ補正の効果を説明するための図である。 本開示の実施形態に係るＦＰＮ補正の効果を説明するための図である。 本開示の実施形態に係るフレーム構成を説明するための図である。 本開示の実施形態に係るフレーム構成を説明するための図である。 本開示の第２実施形態に係る画像処理装置の構成の一例を示すブロック図である。 本開示の第２実施形態に係る補正選択方法を説明するための図である。 本開示の第２実施形態に係る補正選択方法を説明するための図である。 本開示の第２実施形態に係る補正選択方法で選択された補正の効果を説明するための図である。 本開示の第２実施形態に係る補正選択方法で選択された補正の効果を説明するための図である。 本開示の第２実施形態に係る補正選択方法で選択された補正の効果を説明するための図である。 本開示の第２実施形態に係る補正選択方法で選択された補正の効果を説明するための図である。 本開示の第２実施形態に係る補正選択方法で選択された補正の効果を説明するための図である。 本開示の第２実施形態に係る補正選択方法で選択された補正の効果を説明するための図である。 本開示の第２実施形態に係る補正選択方法で選択された補正の効果を説明するための図である。 本開示の第２実施形態に係る補正選択方法で選択された補正の効果を説明するための図である。 本開示の第２実施形態に係る補正選択方法の処理の流れの一例を示すフローチャートである。 本開示の第２実施形態の変形例に係る補正選択方法を説明するための図である。 本開示の第２実施形態の変形例に係る補正選択方法を説明するための図である。
以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
以下に示す項目順序に従って本開示を説明する。
１．電子機器の構成
１−１．フレーム構成
１−２．間接ＴＯＦ方式
１−３．間接ＴＯＦ方式距離画像センサのシステム構成
１−４．間接ＴＯＦ方式距離画像センサにおける画素の回路構成
２．第１実施形態
２−１．画像処理装置の構成
２−２．画像処理方法
２−３．フレーム構成
３．第２実施形態
３−１．画像処理装置
３−２．補正選択方法
３−３．補正選択方法の処理
４．第２実施形態の変形例
［１．電子機器の構成］
本開示は、ＴＯＦセンサを用いて対象物を撮影して得られたＩＲ画像を補正する技術に対して好適に適用することができる。そこで、まず、本開示の理解を容易とするために、間接ＴＯＦ方式について説明する。間接ＴＯＦ方式は、例えばＰＷＭ(Pulse Width Modulation)により変調された光源光（例えば赤外領域のレーザ光）を対象物に照射してその反射光を受光素子にて受光し、受光された反射光における位相差に基づき、被測定物に対する測距を行う技術である。
図１を用いて、本開示の実施形態に係る電子機器の構成の一例について説明する。図１は、本開示の実施形態に係る電子機器の構成の一例を説明するための図である。
図１に示すように、電子機器１は、撮像装置１０と、画像処理装置２０とを含む。画像処理装置２０は、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、図示しない記憶部に記憶されたプログラム（例えば、本発明に係るプログラム）がＲＡＭ（Random Access Memory）等を作業領域として実行されることにより実現される。また、画像処理装置２０は、コントローラ（Controller）であり、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現されてもよい。画像処理装置２０は、撮像装置１０に対して撮像（測距）の実行を要求し、撮像結果を撮像装置１０から受ける。
撮像装置１０は、光源部１１と、受光部１２と、撮像処理部１３とを含む。
光源部１１は、例えば、赤外領域の波長の光を発光する発光素子と、その発光素子を駆動して発光させる駆動回路とを含む。発光素子は、例えば、ＬＥＤ（Light Emitting Diode）で実現することができる。なお、発光素子はＬＥＤに限らず、例えば、複数の発光素子がアレイ状に形成されたＶＣＳＥＬ（Vertical Cavity Surface Emitting LASER）で実現してもよい。
受光部１２は、例えば、赤外領域の波長の光を検出可能な受光素子と、その受光素子に検出された光に応じた画素信号を出力する信号処理回路とを含む。受光素子は、例えば、フォトダイオードで実現することができる。なお、受光素子はフォトダイオードに限らず、その他の素子で実現してもよい。
撮像処理部１３は、例えば、画像処理装置２０からの撮像指示に応じて、各種の撮像処理を実行する。撮像処理部１３は、例えば、光源部１１を駆動するための光源制御信号を生成し、光源部１１に出力する。
撮像処理部１３は、光源部１１に供給する光源制御信号と同期して受光部１２による受光を制御する。撮像処理部１３は、例えば、受光部１２の露光時間を制御するための露光制御信号を光源制御信号と同期させて生成し、受光部１２に出力する。受光部１２は、露光制御信号に示される露光期間の間露光して、画素信号を撮像処理部１３に出力する。
撮像処理部１３は、受光部１２から出力された画素信号に基づき距離情報を算出する。撮像処理部１３は、この画素信号に基づき所定の画像情報を生成してもよい。撮像処理部１３は、生成した距離情報および画像情報を画像処理装置２０に出力する。
撮像処理部１３は、例えば、画像処理装置２０からの撮像を実行する旨の指示に従い、光源部１１を駆動するための光源制御信号を生成し、光源部１１に供給する。ここでは、撮像処理部１３は、ＰＷＭにより所定のデューティの矩形波に変調された光源制御信号を生成し、光源部１１に供給する。それと共に、撮像処理部１３は、受光部１２による受光を、光源制御信号に同期した露光制御信号に基づき制御する。
撮像装置１０において、光源部１１は、撮像処理部１３が生成した光源制御信号に応じて所定のデューティに従い明滅して発光する。光源部１１において発光した光は、射出光３０として光源部１１から射出される。射出光３０は、例えば、対象物３１に反射され、反射光３２として受光部１２に受光される。受光部１２は、反射光３２の受光に応じた画素信号生成し、撮像処理部１３に出力する。なお、実際には、受光部１２には、反射光３２以外に、周囲の背景光（環境光）も受光され、画素信号は、反射光３２の成分と共に、この背景光と、受光部１２に起因するダーク成分が含まれる。
また、本実施形態では、撮像装置１０は、光源部１１が発光していないオフの状態で対象物３１を撮像する。そして、受光部１２は、対象物３１の周囲の背景光を受光する。この場合、受光部１２が生成する画素信号には、背景光と、受光部１２に起因するダーク成分のみが含まれる。
撮像処理部１３は、異なる位相で複数回にわたって、受光部１２による受光を実行する。撮像処理部１３は、異なる位相での受光による画素信号の差分に基づき、対象物３１までの距離Ｄを算出する。撮像処理部１３は、画素信号の差分に基づき反射光３２の成分を抽出した画像情報と、反射光３２の成分と環境光の成分とを含む画像情報とを算出する。以下、画素信号の差分に基づき反射光３２の成分を抽出した画像情報を直接反射光情報と呼び、反射光３２の成分と環境光の成分とを含む画像情報をＲＡＷ画像情報と呼ぶ。
（１−１．フレーム構成）
図２を用いて、撮像装置１０が撮像に使用するフレームの構成について説明する。図２は、撮像装置１０が撮像に使用するフレームを説明するための図である。
図２に示すように、フレームは、第１マイクロフレーム、第２マイクロフレーム、・・・、第ｍ（ｍは３以上の整数）マイクロフレームといったように複数のマイクロフレームを含む。１つのマイクロフレームの期間は、撮像の１フレームの期間（例えば１／３０秒）よりも短い期間である。このため、１つのフレーム期間内に、複数のマイクロフレームの処理を実行することができる。また、各マイクロフレームの期間は、個別に設定することができる。
１つのマイクロフレームは、第１フェーズ、第２フェーズ、第３フェーズ、第４フェーズ、第５フェーズ、第６フェーズ、第７フェーズ、第８フェーズといったように複数のフェーズを含む。１つのマイクロフレームには、最大で８個のフェーズを含ませることができる。このため、１つのマイクロフレーム期間内に、複数のフェーズの処理を実行することができる。なお、マイクロフレームの末尾には、次のマイクロフレームの処理との干渉を防止するためにデッドタイムの期間が設けられている。
本実施形態は、１つのフェーズにおいて、対象物を撮像することができる。図２に示すように、１つのフェーズで、初期化処理と、露光処理と、読み出し処理とを実行することができる。言い換えれば、１つのフェーズでＲＡＷ画像情報を生成することができる。そのため、本実施形態は、１つのマイクロフレーム内で、複数のＲＡＷ画像情報を生成することができる。例えば、１つのマイクロフレーム内で、光源部１１をオンの状態で対象物３１を撮像したＲＡＷ画像情報と、光源部１１をオフの状態で対象物３１を撮像したＲＡＷ画像情報とを生成することができる。なお、フェーズの末尾には、フレームレートを調整するためのデッドタイムの期間が設けられている。
（１−２．間接ＴＯＦ方式）
図３を用いて、間接ＴＯＦ方式の原理について説明する。図３は、間接ＴＯＦ方式の原理を説明するための図である。
図３において、光源部１１が射出する射出光３０として、正弦波により変調された光を用いている。反射光３２は、理想的には、射出光３０に対して、距離Ｄに応じた位相差ｐｈａｓｅを持った正弦波となる。
撮像処理部１３は、反射光３２を受光した画素信号に対して、異なる位相で複数回のサンプリングを行い、サンプリングごとに、光量を示す光量値を取得する。図３の例では、射出光３０に対して位相０°、位相９０°、位相１８０°および位相２７０°の各位相において、光量値Ｃ0、Ｃ90、Ｃ180およびＣ270をそれぞれ取得している。間接ＴＯＦ方式においては、各位相０°、９０°、１８０°および２７０°のうち、位相が１８０°異なる組の光量値の差分に基づき、距離情報を算出する。
（１−３．間接ＴＯＦ方式距離画像センサのシステム構成）
図４を用いて、本開示に係る間接ＴＯＦ方式画像センサのシステム構成の一例について説明する。図４は、本開示に係る間接ＴＯＦ方式距離画像センサのシステム構成の一例を示すブロック図である。
図４に示すように、間接ＴＯＦ方式距離画像センサ１００００は、センサチップ１０００１、及び、当該センサチップ１０００１に対して積層された回路チップ１０００２を含む積層構造を有している。この積層構造において、センサチップ１０００１と回路チップ１０００２とは、ビア（ＶＩＡ）やＣｕ−Ｃｕ接続などの接続部（図示せず）を通して電気的に接続される。尚、図４では、センサチップ１０００１の配線と回路チップ１０００２の配線とが、上記の接続部を介して電気的に接続された状態を図示している。
センサチップ１０００１上には、画素アレイ部１００２０が形成されている。画素アレイ部１００２０は、センサチップ１０００１上に２次元のグリッドパターンで行列状（アレイ状）に配置された複数の画素１０２３０を含んでいる。画素アレイ部１００２０において、複数の画素１０２３０はそれぞれ、赤外光を受光し、光電変換を行ってアナログ画素信号を出力する。画素アレイ部１００２０には、画素列毎に２本の垂直信号線ＶＳＬ1，ＶＳＬ2が配線されている。画素アレイ部１００２０の画素列の数をＭ（Ｍは、整数）とすると、合計で２×Ｍ本の垂直信号線ＶＳＬが画素アレイ部１００２０に配線されている。
複数の画素１０２３０はそれぞれ、２つのタップＡ，Ｂ（その詳細については後述する）を有している。２本の垂直信号線ＶＳＬ1，ＶＳＬ2のうち、垂直信号線ＶＳＬ1には、対応する画素列の画素１０２３０のタップＡの電荷に基づく画素信号ＡＩＮP1が出力され、垂直信号線ＶＳＬ2には、対応する画素列の画素１０２３０のタップＢの電荷に基づく画素信号ＡＩＮP2が出力される。画素信号ＡＩＮP1，ＡＩＮP2については後述する。
回路チップ１０００２上には、垂直駆動回路１００１０、カラム信号処理部１００４０、出力回路部１００６０、及び、タイミング制御部１００５０が配置されている。垂直駆動回路１００１０は、画素アレイ部１００２０の各画素１０２３０を画素行の単位で駆動し、画素信号ＡＩＮP1，ＡＩＮP2を出力させる。垂直駆動回路１００１０による駆動の下に、選択行の画素１０２３０から出力された画素信号ＡＩＮP1，ＡＩＮP2は、垂直信号線ＶＳＬ1，ＶＳＬ2を通してカラム信号処理部１００４０に供給される。
カラム信号処理部１００４０は、画素アレイ部１００２０の画素列に対応して、例えば、画素列毎に設けられた複数のＡＤＣ（上述のカラムＡＤ回路に相当）を有する構成となっている。各ＡＤＣは、垂直信号線ＶＳＬ1，ＶＳＬ2を通して供給される画素信号ＡＩＮP1，ＡＩＮP2に対して、ＡＤ変換処理を施し、出力回路部１００６０に出力する。出力回路部１００６０は、カラム信号処理部１００４０から出力されるデジタル化された画素信号ＡＩＮP1，ＡＩＮP2に対してＣＤＳ処理などを実行し、回路チップ１０００２外へ出力する。
タイミング制御部１００５０は、各種のタイミング信号、クロック信号、及び、制御信号等を生成し、これらの信号を基に、垂直駆動回路１００１０、カラム信号処理部１００４０、及び、出力回路部１００６０等の駆動制御を行う。
（１−４．間接ＴＯＦ方式距離画像センサにおける画素の回路構成）
図５は、本開示に係る技術を適用した間接ＴＯＦ方式距離画像センサにおける画素の回路構成の一例を示す回路図である。
本例に係る画素１０２３０は、光電変換部として、例えば、フォトダイオード１０２３１を有している。画素１０２３０は、フォトダイオード１０２３１に加えて、オーバーフロートランジスタ１０２４２、２つの転送トランジスタ１０２３２，１０２３７、２つのリセットトランジスタ１０２３３，１０２３８、２つの浮遊拡散層１０２３４，１０２３９、２つの増幅トランジスタ１０２３５、１０２４０、及び、２つの選択トランジスタ１０２３６，１０２４１を有する構成となっている。２つの浮遊拡散層１０２３４，１０２３９は、図４に示すタップＡ，Ｂに相当する。
フォトダイオード１０２３１は、受光した光を光電変換して電荷を生成する。フォトダイオード１０２３１については、裏面照射型の画素構造とすることができる。裏面照射型の構造については、ＣＭＯＳイメージセンサの画素構造で述べた通りである。但し、裏面照射型の構造に限られるものではなく、基板表面側から照射される光を取り込む表面照射型の構造とすることもできる。
オーバーフロートランジスタ１０２４２は、フォトダイオード１０２３１のカソード電極と電源電圧ＶＤＤの電源ラインとの間に接続されており、フォトダイオード１０２３１をリセットする機能を持つ。具体的には、オーバーフロートランジスタ１０２４２は、垂直駆動回路１００１０から供給されるオーバーフローゲート信号ＯＦＧに応答して導通状態になることで、フォトダイオード１０２３１の電荷をシーケンシャルに電源ラインに排出する。
２つの転送トランジスタ１０２３２，１０２３７は、フォトダイオード１０２３１のカソード電極と２つの浮遊拡散層１０２３４，１０２３９のそれぞれとの間に接続されている。そして、転送トランジスタ１０２３２，１０２３７は、垂直駆動回路１００１０から供給される転送信号ＴＲＧに応答して導通状態になることで、フォトダイオード１０２３１で生成された電荷を、浮遊拡散層１０２３４，１０２３９にそれぞれシーケンシャルに転送する。
タップＡ，Ｂに相当する浮遊拡散層１０２３４，１０２３９は、フォトダイオード１０２３１から転送された電荷を蓄積し、その電荷量に応じた電圧値の電圧信号に変換し、画素信号ＡＩＮP1，ＡＩＮP2を生成する。
２つのリセットトランジスタ１０２３３，１０２３８は、２つの浮遊拡散層１０２３４，１０２３９のそれぞれと電源電圧ＶＤＤの電源ラインとの間に接続されている。そして、リセットトランジスタ１０２３３，１０２３８は、垂直駆動回路１００１０から供給されるリセット信号ＲＳＴに応答して導通状態になることで、浮遊拡散層１０２３４，１０２３９のそれぞれから電荷を引き抜いて、電荷量を初期化する。
２つの増幅トランジスタ１０２３５、１０２４０は、電源電圧ＶＤＤの電源ラインと２つの選択トランジスタ１０２３６，１０２４１のそれぞれとの間に接続されており、浮遊拡散層１０２３４，１０２３９のそれぞれで電荷電圧変換された電圧信号をそれぞれ増幅する。
２つの選択トランジスタ１０２３６，１０２４１は、２つの増幅トランジスタ１０２３５、１０２４０のそれぞれと垂直信号線ＶＳＬ1，ＶＳＬ2のそれぞれとの間に接続されている。そして、選択トランジスタ１０２３６，１０２４１は、垂直駆動回路１００１０から供給される選択信号ＳＥＬに応答して導通状態になることで、増幅トランジスタ１０２３５、１０２４０のそれぞれで増幅された電圧信号を画素信号ＡＩＮP1，ＡＩＮP2として２の垂直信号線ＶＳＬ1，ＶＳＬ2に出力する。
２の垂直信号線ＶＳＬ1，ＶＳＬ2は、画素列毎に、カラム信号処理部１００４０内の１つのＡＤＣの入力端に接続されており、画素列毎に画素１０２３０から出力される画素信号ＡＩＮP1，ＡＩＮP2をＡＤＣに伝送する。
尚、画素１０２３０の回路構成については、光電変換によって画素信号ＡＩＮP1，ＡＩＮP2を生成することができる回路構成であれば、図４に例示した回路構成に限定されるものではない。
［２．第１実施形態］
（２−１．画像処理装置）
図６を用いて、本開示の第１実施形態に係る画像処理装置２０の構成について説明する。図６は、本開示の第１実施形態に係る画像処理装置２０の構成の一例を示すブロック図である。
図６に示すように、画像処理装置２０は、ＩＲ画像処理装置２１０と、デプス画像処理装置２２０と、記憶部２３０とを備える。
ＩＲ画像処理装置２１０は、ＩＲ画像を補正する処理等を実行する。デプス画像処理装置２２０は、デプスを算出処理する等を実行する。ＩＲ画像処理装置２１０と、デプス画像処理装置２２０とは、並行して処理を実行する。
記憶部２３０は、各種の情報を記憶している。記憶部２３０は、例えば、ＩＲ画像を補正するためのダーク画像を記憶している。記憶部２３０は、例えば、ＲＡＭ（Random Access Memory)、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。
ＩＲ画像処理装置２１０は、取得部２１１と、ＩＲ画像生成部２１２と、画像補正部２１３と、正規化部２１４と、参照部２１５と、第１露光時間算出部２１６と、第２露光時間算出部２１６７を備える。
取得部２１１は、撮像装置１０から各種の情報を取得する。取得部２１１は、例えば、撮像装置１０が撮像した対象物に関するＲＡＷ画像情報を取得する。取得部２１１は、例えば、マイクロフレームに含まれる各フェーズのＲＡＷ画像情報を選択的に取得する。取得部２１１は、例えば、ＩＲ画像を補正するために、光源部１１がオンの状態で撮像された対象物に関するＲＡＷ画像情報と、光源部１１がオフの状態で撮像された対象部に関するＲＡＷ画像情報とを取得する。取得部２１１は、取得したＲＡＷ画像情報をＩＲ画像生成部２１２に出力する。
ＩＲ画像生成部２１２は、取得部２１１から受けたＲＡＷ画像情報に基づいてＩＲ画像を生成する。ＩＲ画像生成部２１２は、例えば、顔認証に適した解像度に変換したＩＲ画像を生成してもよい。ＩＲ画像生成部２１２は、生成したＩＲ画像を画像補正部２１３に出力する。
画像補正部２１３は、ＩＲ画像生成部２１２から受けたＩＲ画像に対して各種の補正処理を実行する。画像補正部２１３は、ＩＲ画像に含まれる人物の顔認証に適するように補正処理を実行する。画像補正部２１３は、例えば、記憶部２３０に記憶されたダーク画像に基づいて、ＩＲ画像生成部２１２から受けたＩＲ画像に対してＦＰＮ補正を実行する。画像処理装置２３１は、例えば、光源部１１がオフの状態で撮像された対象物に関するＩＲ画像（以下、光源オフ画像とも呼ぶ）に基づいて、光源部１１がオンの状態で撮像された対象物に関するＩＲ画像をＦＰＮ補正する。
（２−２．画像処理方法）
図７Ａと、図７Ｂとを用いて、光源がオンの状態と光源がオフの状態とで撮像されたＲＡＷ画像情報に基づいてＦＰＮ補正を実行する方法の原理について説明する。図７Ａは、光源がオンの状態で対象物を撮像した場合に受光部が受光する光量と、タップＡが出力する画素信号の出力値と、タップＢが出力する画素信号の出力値を示している。図７Ｂは、光源がオフの状態で対象物を撮像した場合に受光部が受光する光量と、タップＡが出力する画素信号の出力値と、タップＢが出力する画素信号の出力値を示している。
図７Ａ（ａ）は受光部１２が受光する光量、図７Ａ（ｂ）はタップＡからの画素信号の出力値、図７Ａ（ｃ）はタップＢからの画素信号の出力値を示している。
図７Ａ（ａ）〜図７Ａ（ｃ）に示す例では、ｔ１の時点で撮像が開始され、ｔ２の時点で受光部１２の受光およびタップＡからの出力が開始され、ｔ３の時点でタップＡから出力が終わるとともにタップＢの出力が開始されたことが示されている。また、ｔ４の時点で受光部１２の受光が終わり、ｔ５の時点でタップＢの出力が終わったことが示されている。図７Ａ（ａ）〜図７Ａ（ｃ）においては、反射光の成分はハッチングで示している。
図７Ａ（ａ）〜図７（ｃ）に示す例において、タップＡから出力される画素信号Ａと、タップＢから出力される画素信号Ｂの値は以下のように表すことができる。
Ａ＝ＧＡ（Ｓ＋Ａｍｂ）＋ＤＡ …（１）
Ｂ＝ＧＢ（Ｐ−Ｓ＋Ａｍｂ）＋ＤＢ …（２）
式（１）、式（２）において、ＧＡはタップＡのゲイン値、ＧＢはタップＢのゲイン値、Ｐは反射光、Ｓは反射光のうちタップＡで受光した光量、Ａｍｂは背景光、ＤＡはタップＡのダーク成分、ＤＢはタップＢのダーク成分を示している。
すなわち、タップＡからの出力値には、対象物からの反射光に加えて、背景光と、タップＡのダーク成分が含まれる。同様に、タップＢからの出力値には、対象物からの反射光に加えて、背景光と、タップＢのダーク成分が含まれる。撮像装置１０は、画素信号Ａと画素信号Ｂとの和をＲＡＷ画像情報として、画像処理装置２０に出力する。そのため、撮像装置１０が画像処理装置２０に出力するＲＡＷ画像情報には、背景光と、タップＡのダーク成分と、タップＢのダーク成分との影響が含まれる。そのため、顔認証などの認識処理を精度よく行うためには、背景光と、タップＡのダーク成分と、タップＢのダーク成分との影響を取り除くことが望ましい。
図７Ｂ（ａ）は受光部１２が受光する光量、図７Ｂ（ｂ）はタップＡからの画素信号の出力値、図７Ｂ（ｃ）はタップＢからの画素信号の出力値を示している。
図７Ｂ（ａ）に示すように、光源部１１がオフの状態であるので、受光部１２は、背景光のみを受光する。このような状況で撮像装置１０が対象物を撮像すると、タップＡは、背景光と、ダーク成分とのみを含む画素信号ＡＯｆｆを出力する。同様に、タップＢは、背景光と、ダーク成分とのみを含む画素信号ＢＯｆｆを出力する。このときの、画素信号ＡＯｆｆと、画素信号ＢＯｆｆの値は以下のように表すことができる。
ＡＯｆｆ＝ＧＡ（ＡｍｂＯｆｆ）＋ＤＡＯｆｆ …（３）
ＢＯｆｆ＝ＧＢ（ＡｍｂＯｆｆ）＋ＤＢＯｆｆ …（４）
式（３）、式（４）において、ＡｍｂＯｆｆは光源部１１がオフ状態の時の背景光、ＤＡＯｆｆは光源部１１がオフ状態の時のタップＡのダーク成分、ＤＢＯｆｆは光源部１１がオフ状態の時のタップＢのダーク成分である。背景光と、ダーク成分は、光源部１１の状態がオン状態であっても、オフ状態であっても変化しないので、以下の関係が成り立つ。
ＡｍｂＯｆｆ＝Ａｍｂ …（５）
ＤＡＯｆｆ＝ＤＡ …（６）
ＤＢＯｆｆ＝ＤＢ …（７）
式（５）〜式（７）を式（３）に代入し、式（１）から式（３）を引くと以下の関係が得られる。
Ａ−ＡＯｆｆ＝ＳＧＡ …（８）
式（５）〜式（７）を式（４）に代入し、式（２）から式（４）を引くと以下の関係が得られる。
Ｂ−ＢＯＦＦ＝ＳＧＢ …（９）
そして、式（８）と式（９）を計算すると、以下の関係が得られる。
（Ａ−ＡＯｆｆ）＋（Ｂ−ＢＯｆｆ）＝Ｓ（ＧＡ＋ＧＢ） …（１０）
このように、画像補正部２１３は、光源がオンの状態と光源がオフの状態とで撮像されたＲＡＷ画像情報に基づいて背景光と、ダーク成分との影響を取り除くことができる。
図８Ａと、図８Ｂと、図８Ｃとを用いて、本開示の実施形態に係るＦＰＮ補正の効果について説明する。図８Ａ〜図８Ｃは、本開示の実施形態に係るＦＰＮ補正の効果を説明するための図である。
図８Ａは、タップＡからの画素信号と、タップＢからの画素信号とに基づいて生成された補正前のＩＲ画像ＩＭ１を示している。ＩＲ画像ＩＭ１には、人物Ｍ１と、太陽Ｓとが含まれている。ＩＲ画像ＩＭ１では、太陽光の影響で人物Ｍ１の顔全体がぼやけてしまっている。そのため、ＩＲ画像ＩＭ１に基づいて人物Ｍの顔認証処理を実行したとしても、所望の認識精度を得ることができない。なお、ＩＲ画像ＩＭ１は、光源部１１がオンの状態で撮像されたＩＲ画像である。
図８Ｂは、図８Ａに示すＩＲ画像ＩＭ１に対して従来のＦＰＭ補正が施された、ＩＲ画像ＩＭ１Ａを示している。例えば、画像補正部２１３は、記憶部２３０に予め記憶されたダーク画像に基づいて、ＩＲ画像ＩＭ１に対してＦＰＮ補正を実行することで、ＩＲ画像ＩＭ１Ａを得ることができる。しかしながら、ＩＲ画像ＩＭ１Ａにおいても、太陽Ｓの影響により人物Ｍ１の顔が認識し難くなっている。このように、例えば、太陽光などの強い光がある環境下では、ダーク画像とのミスマッチが発生し、ＦＰＮ補正を行ったとしても所望のＩＲ画像を得ることができないことがある。
図８Ｃは、図８Ａに示すＩＲ画像ＩＭ１に対して本開示の実施形態に係るＦＰＮ補正が施された、ＩＲ画像ＩＭ１Ｂを示している。すなわち、画像補正部２１３は、光源部１１がオンの状態で撮像されたＩＲ画像ＩＭ１に対して、ＩＲ画像ＩＭ１に対応する光源オフ画像に基づいて、ＦＰＮ補正を実行する。ＩＲ画像ＩＭ１と、ＩＲ画像ＩＭ１に対応する光源オフ画像とは、同一のマイクロフレーム内の連続したフェーズのそれぞれで撮像される。ＩＲ画像ＩＭ１に対応する光源オフ画像は、反射光の影響が含まれていないので、太陽Ｓのみが含まれたＩＲ画像となる。そのため、ＩＲ画像ＩＭ１に対応する光源オフ画像を用いることで、ＩＲ画像ＩＭ１から太陽Ｓの影響を取り除くことができる。そのため、ＩＲ画像ＩＭ１Ｂでは、人物Ｍ１の顔を明確に認識することができる。これにより、人物Ｍの顔認証における認識率が向上する。
再び図６を参照する。画像補正部２１３は、補正したＩＲ画像を正規化部２１４と、第１露光時間算出部２１６とに出力する。具体的には、画像補正部２１３は、ダーク画像に基づく補正結果と、ＩＲ画像ＩＭ１に対応する光源オフ画像に基づく補正結果との少なくとも一方を正規化部２１４と、第１露光時間算出部２１６とに出力する。
正規化部２１４は、画像補正部２１３から受けたＩＲ画像を正規化する。正規化部２１４は、正規化したＩＲ画像を外部に出力する。これにより、顔認識処理に適したＩＲ画像が、ユーザに提供される。
参照部２１５は、例えば、デプス算出部２２２によって算出されたデプスを受ける。参照部２１５は、例えば、デプスの確度を受ける。参照部２１５は、デプスと、デプスの確度とに基づいて、マスク画像を生成する。ここで、マスク画像は、例えば、デプス画像に含まれる対象物以外の被写体にマスキングが施された画像である。参照部２１５は、生成したマスク画像を第１露光時間算出部２１６と、第２露光時間算出部２１７とに出力する。
第１露光時間算出部２１６は、画像補正部２１３から受けた補正されたＩＲ画像と、参照部２１５から受けたマスク画像とに基づいて、ＩＲ画像を生成するための撮像の露光時間を算出する。これにより、ＩＲ画像を生成するための最適な露光時間が算出される。
第２露光時間算出部２１７は、参照部２１５から受けたマスク画像と、デプス算出部２２２から受けたデプスの確度とに基づいて、デプスを算出するための撮像の露光時間を算出する。
デプス画像処理装置２２０は、取得部２２１と、デプス算出部２２２とを備える。
取得部２２１は、撮像装置１０から各種の情報を取得する。取得部２２１は、例えば、撮像装置１０が撮像した対象物に関するＲＡＷ画像情報を取得する。取得部２２１は、例えば、マイクロフレームに含まれる各フェーズのＲＡＷ画像情報を選択的に取得する。取得部２２１は、例えば、デプス画像を生成するために位相が０°、９０°、１８０°、２７０°で撮像された４フェーズ分のＲＡＷ画像情報を取得する。取得部２２１は、取得したＲＡＷ画像情報をデプス算出部２２２に出力する。
デプス算出部２２２は、例えば、取得部２２１から受けた４フェーズ分のＲＡＷ画像情報に基づいて、デプスを算出する。デプス算出部２２２は、例えば、算出したデプスに基づいて確度を算出する。デプス算出部２２２は、例えば、算出したデプスに基づいてデプス画像を生成してもよい。デプス算出部２２２は、算出したデプスを外部に出力する。これにより、対象物までの距離情報を得ることができる。また、デプス算出部２２２は、算出したデプスと、確度とを参照部２１５に出力する。
（２−３．フレーム構成）
図９Ａと、図９Ｂとを用いて、本開示の実施形態に係る撮像に使用するフレーム構成について説明する。図９Ａと、図９Ｂとは、本開示の実施形態に係る撮像に使用するフレーム構成を説明するための図である。
図９Ａに示すように、本開示の実施形態に係るフレームＦ１は、ＩＲ画像用マイクロフレームと、デプス画像用マイクロフレームとを含む。
ＩＲ画像用マイクロフレームは、例えば、フェーズＡ０と、フェーズＡ１との２つのフェーズを含む。フェーズＡ０は、例えば、光源部１１をオフの状態で対象物を撮像するフェーズである。フェーズＡ１は、例えば、光源部１１をオンの状態で対象物を撮像するフェーズである。
デプス画像用マイクロフレームは、例えば、フェーズＢ０と、フェーズＢ１と、フェーズＢ２と、フェーズＢ３との４つのフェーズを含む。フェーズＢ０は、例えば、対象物に対する射出光と、対象物からの反射光の位相差が０°の時に対象物を撮像するフェーズである。フェーズＢ１は、例えば、対象物に対する射出光と、対象物からの反射光の位相差が９０°の時に対象物を撮像するフェーズである。フェーズＢ２は、例えば、対象物に対する射出光と、対象物からの反射光の位相差が１８０°の時に対象物を撮像するフェーズである。フェーズＢ３は、例えば、対象物に対する射出光と、対象物からの反射光の位相差が２７０°の時に対象物を撮像するフェーズである。
フレームＦ１では、ＩＲ画像用マイクロフレームと、デプス画像用マイクロフレームとの露光時間をそれぞれ個別に調整（AE : Automatic Exposure）することができる。例えば、ＩＲ画像用マイクロフレームでは、明るさを確保するために露光時間を長めに調整し、デプス画像用マイクロフレームでは、消費電力を抑えるために露光時間を短めに調整してよい。この場合、ＩＲ画像用マイクロフレームのフェーズＡ０と、フェーズＡ１との露光時間は、例えば、１ｍｓに調整すればよい。また、デプス画像用マイクロフレームのフェーズＢ０と、フェーズＢ１と、フェーズＢ２と、フェーズＢ３との露光時間は、例えば、５００μｓに調整すればよい。なお、各フェーズの露光時間は、これらに限定されない。
図９Ｂに示すように、本開示の実施形態に係るフレームＦ２は、ＩＲ画像用マイクロフレームと、デプス画像用マイクロフレームに加えて、視線検出用マイクロフレームを含んでもよい。以下では、Ｒ画像用マイクロフレームと、デプス画像用マイクロフレームとの条件は、図９Ａに示した条件と同様なので、説明を省略する。
視線検出用マイクロフレームは、例えば、フェーズＣ０と、フェーズＣ１との２つのフェーズを含む。フェーズＡ０は、例えば、光源部１１をオフの状態で対象物を撮像するフェーズである。フェーズＡ１は、例えば、光源部１１をオンの状態で対象物を撮像するフェーズである。
フレームＦ２では、ＩＲ画像用マイクロフレームと、デプス画像用マイクロフレームと、視線検出用マイクロフレームとの露光時間をそれぞれ個別に調整することができる。例えば、撮影対象者が眼鏡をかけている場合、顔認証に必要な視線検出を行う際に、光が眼鏡に反射してしまい視線を検出することができない場合がある。そのため、光が眼鏡に反射しないように、視線検出用マイクロフレームでは、露光時間をＩＲ画像用マイクロフレームおよびデプス画像用マイクロフレームよりも短めに調整してよい。例えば、視線検出用マイクロフレームのフェーズＣ０と、フェーズＣ１との露光時間は、例えば、２００μｓに調整すればよい。なお、フェーズＣ０と、フェーズＣ１との露光時間は、これに限定されない。
上述のとおり、第１実施形態では、太陽等の背景光の強い環境下で撮像されたＩＲ画像を、光源をオフの状態で撮像したＩＲ画像に基づいて補正をすることで、太陽の影響を除去することができる。これにより、ＴＯＦで撮像されたＩＲ画像を用いた顔認証などの認識精度を向上させることができる。
［３．第２実施形態］
本開示の第２実施形態に係る補正方法の選択処理について説明する。
上述したように、太陽光などの強い光が含まれるＩＲ画像を用いて顔認証を行う際にはダーク画像に代えて光源オフ画像を用いることで、太陽光の影響を取り除くことができるので、認識率を向上させることができる。しかしながら、例えば、屋内などの環境光の少ない状況で光源オフ画像を用いてＩＲ画像を補正すると、コントラストの小さい画像となり認識率が低下する可能性ある。したがって、背景光の強さに応じて、ダーク画像を用いた補正と、光源オフ画像を用いた補正とを切り替えることが好ましい。
（３−１．画像処理装置）
図１０を用いて、本開示の第２実施形態に係る画像処理装置の構成について説明する。図１０は、本開示の第２実施形態に係る画像処理装置の構成を示すブロック図である。
図１０に示すように、画像処理装置２０Ａは、ＩＲ画像処理装置２１０Ａが補正選択部２１８を備えている点で、図６に図示の画像処理装置２０と異なっている。
補正選択部２１８は、ＩＲ画像に対する補正の方法を選択する。補正選択部２１８は、例えば、参照部２１５からデプスに関する情報を受け付ける。補正選択部２１８は、例えば、画像補正部２１３から光源オフ画像に基づいて補正されたＩＲ画像を受け付ける。補正選択部２１８は、画像補正部２１３から受けつけたＩＲ画像と、参照部２１５から受け付けたデプスに関する情報に基づいて補正方法を選択する。
（３−２．補正選択方法）
図１１を用いて、補正選択方法について説明する。図１１は、補正選択方法を説明するための図である。図１１では、人物Ｍの頭上に太陽Ｓが位置している状況を想定している。
補正選択部２１８は、例えば、参照部２１５から受けたデプスに関する情報に基づいて、人物Ｍの頭部Ｈおよび胴体部Ｂの外形を抽出する。補正選択部２１８は、例えば、抽出した外形に基づいて、人物Ｍの重心ＧＭを算出する。
補正選択部２１８は、例えば、画像補正部２１３から受け付けたＩＲ画像に基づいて、光量が飽和している領域を太陽であると太陽Ｓとみなして、外形を抽出する。補正選択部２１８は、例えば、抽出した外形に基づいて太陽Ｓの重心ＧＳを算出する。
補正選択部２１８は、重心ＧＭと重心ＧＳとを結ぶ直線Ｌ１を引く。補正選択部２１８は、重心ＧＳを通過し、かつ直線Ｌと直交する直交線Ｏを引く。補正選択部２１８は、例えば、重心ＧＳを原点として、直線Ｌ１から角度θ傾けて人物Ｍに向かって引いた直線Ｌ２および直線Ｌ３といったような直線を、直線Ｌ１から±９０度の範囲でＮ本（Ｎは２以上の整数）引く。
補正選択部２１８は、人物Ｍに向かって引いた直線と、人物Ｍの外形との接点を抽出する。補正選択部２１８は、例えば、直線Ｌ１と人物Ｍの外形との接点Ｉ１と、直線Ｌ２と人物Ｍの外形との接点Ｉ２と、直線Ｌ３と人物Ｍの外形との接点Ｉ３を抽出する。
補正選択部２１８は、重心ＧＳから人物の外形までの距離を算出する。補正選択部２１８は、例えば、重心ＧＳから接点Ｉ１までの距離を算出する。補正選択部２１８は、例えば、重心ＧＳから接点Ｉ２までの距離を算出する。補正選択部２１８は、例えば、重心ＧＳから接点Ｉ３までの距離を算出する。補正選択部２１８は、算出した距離のうち、最も短いものを最短距離とする。図１１に示す例では、補正選択部２１８は、重心ＧＳから接点Ｉ１までの距離を最短距離とする。
補正選択部２１８は、例えば、最短距離が予め定められた所定値以下であれば太陽が近いと判断し、光源オフ画像を用いた補正を選択する。補正選択部２１８は、例えば、最短距離が予め定められた所定値を超えていたり、太陽がないと判断されたりした場合には予め記憶部２３０に記憶されているダーク画像を用いた補正を選択する。
なお、図１２に示すように、補正選択部２１８は、太陽Ｓが人物Ｍの斜め情報に位置していた場合であっても、図１１で示した方法と同様の方法で、補正を選択することができる。具体的には、補正選択部２１８は、重心ＧＳと重心ＧＭとを結ぶ直線Ｌ１１を引き、その直線から角度θ傾けた直線Ｌ１２、直線Ｌ１３といった直線を±９０度の範囲で複数引けばよい。この場合、補正選択部２１８は、直線Ｌ１１と人物Ｍの外形との接点Ｉ１１と、直線Ｌ１２と人物Ｍの外形との接点Ｉ１２と、直線Ｌ１３と人物Ｍの外形との接点Ｉ１３を抽出し、それぞれの距離を算出すればよい。そして、補正選択部２１８は、算出した距離のうち、最も短いものを最短距離とすればよい。
図１３Ａと、図１３Ｂと、図１４Ａと、図１４Ｂと、図１５Ａと、図１５Ｂと、図１６Ａと、図１６Ｂとを用いて、本開示の第２実施形態に係る補正選択方法で選択された補正の効果を説明する。図１３Ａ〜図１６Ｂは、本開示の第２実施形態に係る補正選択方法で選択された補正の効果を説明するための図である。
図１３Ａに示すＩＲ画像ＩＭ２は、人物Ｍ２の頭の真上の比較的近い位置に太陽Ｓが位置している補正前のＩＲ画像である。ＩＲ画像ＩＭ２では、太陽Ｓの太陽光の影響で、人物Ｍ２の顔が認識しづらくなっている。このような、ＩＲ画像ＩＭ２の場合を補正する場合、補正選択部２１８によって、光源オフ画像を用いた補正が選択される。
図１３Ｂに示すＩＲ画像ＩＭ２Ａは、ＩＲ画像ＩＭ２に対して光源オフ画像に基づいて補正が実行されたＩＲ画像である。ＩＲ画像ＩＭ２Ａでは、光源オフ画像に基づく補正により、太陽光の影響が除去されている。そのため、ＩＲ画像ＩＭ２Ａでは、人物Ｍ２の顔を明確に認識することができる。これにより、人物Ｍ２の顔認証における認識率が向上する。
図１４Ａに示すＩＲ画像ＩＭ３は、人物Ｍ３の頭の斜め上の比較的近い位置に太陽Ｓが位置している補正前のＩＲ画像である。ＩＲ画像ＩＭ３では、太陽Ｓの太陽光の影響で、人物Ｍ３の顔が認識しづらくなっている。このような、ＩＲ画像ＩＭ３の場合を補正する場合、補正選択部２１８によって、光源オフ画像を用いた補正が選択される。
図１４Ｂに示すＩＲ画像ＩＭ３Ａは、ＩＲ画像ＩＭ３に対して光源オフ画像に基づいて補正が実行されたＩＲ画像である。ＩＲ画像ＩＭ３Ａでは、光源オフ画像に基づく補正により、太陽光の影響が除去されている。そのため、ＩＲ画像ＩＭ３Ａでは、人物Ｍ３の顔を明確に認識することができる。これにより、人物Ｍ３の顔認証における認識率が向上する。
図１５Ａに示すＩＲ画像ＩＭ４は、人物Ｍ４の頭の斜め上の比較的遠い位置に太陽Ｓが位置している補正前のＩＲ画像である。ＩＲ画像ＩＭ４では、太陽Ｓが比較的遠い位置に位置しているので、人物Ｍ４の顔が比較的認識しやすくなっている。このような、ＩＲ画像ＩＭ４の場合を補正する場合、補正選択部２１８によって、ダーク画像を用いた補正が選択される。
図１５Ｂに示すＩＲ画像ＩＭ４Ａは、ＩＲ画像ＩＭ４に対してダーク画像に基づいて補正が実行されたＩＲ画像である。ＩＲ画像ＩＭ４Ａでは、ダーク画像に基づく補正により、背景の影響が除去されたため人物Ｍ４の顔がより明確に認識できるようになっている。これにより、人物Ｍ４の顔認証における認識率が向上する。
図１６Ａに示すＩＲ画像ＩＭ５は、太陽が含まれていない補正前のＩＲ画像である。ＩＲ画像ＩＭ４では、太陽が含まれていないので、人物Ｍ５の顔が比較的認識しやすくなっている。このような、ＩＲ画像ＩＭ５の場合を補正する場合、補正選択部２１８によって、ダーク画像を用いた補正が選択される。
図１６Ｂに示すＩＲ画像ＩＭ５Ａは、ＩＲ画像ＩＭ５に対してダーク画像に基づいて補正が実行されたＩＲ画像である。ＩＲ画像ＩＭ５Ａでは、ダーク画像に基づく補正により、背景の影響が除去されたため人物Ｍ４の顔がより明確に認識できるようになっている。これにより、人物Ｍ５の顔認証における認識率が向上する。
（３−３．補正選択方法の処理）
図１７を用いて、本開示の第２実施形態に係る補正選択方法の処理の流れについて説明する。図１７は、本開示の第２実施形形態に係る補正選択方法の処理の流れの一例を示すフローチャートである。
まず、補正選択部２１８は、補正対象であるＩＲ画像に含まれる人物の外形を、デプスに関する情報に基づいて抽出する（ステップＳ１０１）。そして、ステップＳ１０２に進む。
補正選択部２１８は、ステップＳ１０１で抽出した人物の外形に基づいて、人物の重心を算出する（ステップＳ１０２）。そして、ステップＳ１０３に進む。
補正選択部２１８は、補正対象であるＩＲ画像の光量が飽和している領域に基づいて、太陽の外形を抽出する（ステップＳ１０３）。そして、ステップＳ１０４に進む。
補正選択部２１８は、ステップＳ１０３で抽出した太陽の外形に基づいて、太陽の重心を算出する（ステップＳ１０４）。そして、ステップＳ１０５に進む。
補正選択部２１８は、ステップＳ１０２で算出した人物の重心と、ステップＳ１０４で算出した太陽の重心とを結ぶ直線を引く（ステップＳ１０５）。そして、ステップＳ１０６に進む。
補正選択部２１８は、太陽の重心から人物に対して複数の直線を引く（ステップＳ１０６）。具体的には、補正選択部２１８は、太陽の重心から、ステップＳ１０５で引いた直線に対して、±９０度の範囲で複数の直線を引く。そして、ステップＳ１０７に進む。
補正選択部２１８は、ステップＳ１０６で太陽の重心から引いた各直線と人物の外形の交点までの距離を計算する（ステップＳ１０７）。そして、ステップＳ１０８に進む。
補正選択部２１８は、太陽の重心から人物の外形に引いた直線の最短距離が所定値以下であるか否かを判定する（ステップＳ１０８）。最短距離が所定値以下であると判定された場合（ステップＳ１０８のＹｅｓ）、ステップＳ１０９に進む。最短距離が所定値以下でないと判定された場合（ステップＳ１０８のＮｏ）、ステップＳ１１０に進む。
ステップＳ１０８でＹｅｓと判定された場合、補正選択部２１８は、光源オフ画像を用いた補正を選択する（ステップＳ１０９）。そして、図１７の処理を終了する。
一方、ステップＳ１０８でＮｏと判定された場合、補正選択部２１８は、ダーク画像を用いた補正を選択する（ステップＳ１１０）。そして、図１７の処理を終了する。
上述のとおり、第２実施形態では、人物と太陽までの距離に応じて、ＩＲ画像に対する補正の適切に選択することができる。これにより、顔認証などの認識率を向上させることができる。
［４．第２実施形態の変形例］
図１８Ａと、図１８Ｂとを用いて、本開示の第２実施形態の変形例について説明する。図１８Ａと、図１８Ｂとは、本開示の第２実施形態の変形例を説明するための図である。
上述の通り、第２実施形態では、太陽の重心から人物の外形までの最短距離に基づいて、補正方法を選択していた。例えば、顔認証では必要な情報は顔の情報なので、第２実施形態の変形例では、太陽の重心から人物の顔の外形までの最短距離に基づいて、補正方法を選択してもよい。
図１８Ａに示すように、人物Ｍの横に太陽Ｓがある状況を考える。この場合、補正選択部２１８は、太陽の重心ＧＳから人物Ｍの重心ＧＭに直線Ｌ２１を引く。そして、補正選択部２１８は、重心ＧＳから人物Ｍの外形に向かって直線Ｌ２２、直線Ｌ２３、直線Ｌ２４などの複数の直線を引く。そして、補正選択部２１８は、直線Ｌ２１と人物Ｍの外形との接点Ｉ２１と、直線Ｌ２２と人物Ｍの外形との接点Ｉ２２と、直線Ｌ２３と人物Ｍの外形との接点Ｉ２３と、直線Ｌ２４と人物Ｍの外形との接点Ｉ２４とを抽出する。この場合、補正選択部２１８は、太陽の重心ＧＳから接点Ｉ２２までの距離を最短距離と判定する。太陽の重心ＧＳと接点Ｉ２２は比較的近いので、補正選択部２１８は、光源オフ画像を用いた補正を選択する。しかしながら、太陽の重心ＧＳから人物Ｍの顔までの距離（太陽の重心ＧＳから接点Ｉ２３までの距離）は比較的遠いので、光源オフ画像を用いた補正では、顔認証を行った際に所望の認識精度を得られない可能性がある。
第２実施形態の変形例では、図１８Ｂに示すように、補正選択部２１８は、人物Ｍの顔の重心ＧＦを算出する。具体的には、補正選択部２１８は、デプスに関する情報に基づいて、人物Ｍの外形を抽出して、人物Ｍの顔の重心ＧＦを算出する。
図１８Ｂに示す例では、補正選択部２１８は、太陽の重心ＧＳから人物Ｍの顔の重心ＧＦに直線Ｌ３１を引く。そして、補正選択部２１８は、重心ＧＳから人物Ｍの顔の外形に向かって直線Ｌ３２、直線Ｌ３３などの複数の直線を引く。そして、補正選択部２１８は、直線Ｌ３１と人物Ｍの顔の外形との接点Ｉ３１と、直線Ｌ３２と人物Ｍの顔の外形との接点Ｉ３２と、直線Ｌ３３と人物Ｍの外形との接点Ｉ３３とを抽出する。この場合、補正選択部２１８は、太陽の重心ＧＳから接点Ｉ３１までの距離を最短距離と判定する。太陽の重心ＧＳと接点Ｉ３１は比較的遠いので、補正選択部２１８は、ダーク画像を用いた補正を選択する。これにより、顔認証を行った際の認識率を向上させることができる。
上述のとおり、第２実施形態の変形例では、人物の顔と太陽までの距離に応じて、ＩＲ画像に対する補正の適切に選択することができる。これにより、顔認証などの認識率をより向上させることができる。
（効果）
本開示の一態様の画像処理装置２０は、ＩＲ画像用フレーム内でパルス波がオンの状態で撮影された第１ＩＲ画像と、パルス波がオフの状態で撮影された第２ＩＲ画像とを生成するＩＲ画像生成部２１２と、第２ＩＲ画像に基づいて、第１ＩＲ画像を補正する画像補正部２１３と、を備える。
これにより、パルス波がオンの状態で撮像されたＩＲ画像を、パルス派がオフの状態で撮像されたＩＲ画像に基づいて、補正することができる。これにより、太陽などの強い光の影響を除去することができるので、認識率を向上させることができる。
また、ＩＲ画像用フレームは、第１ＩＲ画像を生成するフェーズと、第２ＩＲ画像を生成するフェーズとから構成されてよい。
これにより、１つのマイクロフレーム内で、パルス波がオンの状態のＩＲ画像と、おアルス波がオフの状態のＩＲ画像とを生成することができる。
また、画像補正部２１３は、前記第２ＩＲ画像に基づいて前記第１ＩＲ画像に含まれる背景光とダーク成分を除去してよい。
これにより、反射光の成分のみを抽出することができる。
また、画像補正部２１３は、ＴＯＦセンサの露光時間をフレームごとに個別に調整してよい。
これにより、各処理の露光時間を適切に調整することができる。
また、画像補正部２１３は、ＴＯＦセンサの露光時間をＩＲ画像用フレームおよびデプス画像用フレームごとに個別に調整してよい。
これにより、ＩＲ画像と、デプス画像とを適切に生成することができる。
また、画像補正部２１３は、ＩＲ画像用フレームを構成するフェーズの露光時間をデプス画像用フレームを構成するフェーズの露光時間よりも長くなるように制御してよい。
これにより、ＩＲ画像と、デプス画像とを適切に生成するとともに、消費電力を抑制することができる。
また、画像補正部２１３は、ＴＯＦセンサの露光時間をＩＲ画像用フレーム、デプス画像用フレーム、および視線検出用フレームごとに個別に調整してよい。
これにより、ＩＲ画像と、デプス画像とを適切に生成するとともに、適切に視線を検出することができる。
また、画像補正部２１３は、ＩＲ画像用フレームを構成するフェーズの露光時間、視線検出用フレームを構成するフェーズの露光時間、およびデプス画像用フレームを構成するフェーズの露光時間の順に長くなるように制御してよい。
これにより、ＩＲ画像と、デプス画像とをより適切に生成するとともに、適切に視線をより適切に検出することができる。また、消費電力を抑制することができる。
第１ＩＲ画像に含まれる被写体と、光源の位置関係に応じて補正の方法を選択する補正選択部２１８を更に備えてよい。
これにより、被写体と、光源の位置関係に応じて適切な補正方法を選択することができるので、認識精度が向上する。
補正選択部２１８は、被写体と、光源との距離に応じて補正の方法を選択してよい。
これにより、被写体と、光源との距離に応じてより補正方法を選択することができるので、認識精度がより向上する。
補正選択部２１８は、第１ＩＲ画像に対して、第２ＩＲ画像に基づいた補正と、予め記憶部２３０に記憶されたダーク画像に基づいた補正とのいずれかを、被写体と光源との距離に応じて選択してよい。
これにより、被写体と、光源との距離に応じてより適切な補正方法を選択することができるので、認識精度がより向上する。
補正選択部２１８は、第１ＩＲ画像に対して、被写体と光源との距離が閾値以下である場合には第２ＩＲ画像に基づいた補正を選択し、被写体と光源との距離が閾値を超えている場合にはダーク画像に基づいた補正を選択してよい。
これにより、被写体と、光源との距離が閾値を超えているかに応じて、より適切な法制方法を選択することができるので、認識精度が向上する。
被写体は人物の顔であり、光源は太陽であってよい。
これにより、太陽光の影響が強い屋外における、顔認証の精度を向上させることができる。
本開示の一態様の電子機器１は、ＴＯＦセンサと、ＴＯＦセンサからの出力に基づいてＩＲ画像用フレーム内でパルス波がオンの状態で撮影された第１ＩＲ画像と、パルス波がオフの状態で撮影された第２ＩＲ画像とを生成するＩＲ画像生成部２１２と、第２ＩＲ画像に基づいて、第１ＩＲ画像を補正する画像補正部２１３と、を備える。
これにより、パルス波がオンの状態で撮像されたＩＲ画像を、パルス派がオフの状態で撮像されたＩＲ画像に基づいて、補正することができる。これにより、太陽などの強い光の影響を除去することができるので、認識率を向上させることができる。
本開示の一態様の画像処理方法は、ＩＲ画像用フレーム内でパルス波がオンの状態で撮影された第１ＩＲ画像と、パルス波がオフの状態で撮影された第２ＩＲ画像とを生成し、第２ＩＲ画像に基づいて、第１ＩＲ画像を補正する。
これにより、パルス波がオンの状態で撮像されたＩＲ画像を、パルス派がオフの状態で撮像されたＩＲ画像に基づいて、補正することができる。これにより、太陽などの強い光の影響を除去することができるので、認識率を向上させることができる。
本開示の一態様のプログラムは、コンピュータを、ＩＲ画像用フレーム内でパルス波がオンの状態で撮影された第１ＩＲ画像と、前記パルス波がオフの状態で撮影された第２ＩＲ画像とを生成する画像生成部と、前記第２ＩＲ画像に基づいて、前記第１ＩＲ画像を補正する画像補正部と、として機能させる。
これにより、パルス波がオンの状態で撮像されたＩＲ画像を、パルス派がオフの状態で撮像されたＩＲ画像に基づいて、補正することができる。これにより、太陽などの強い光の影響を除去することができるので、認識率を向上させることができる。
なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
なお、本技術は以下のような構成も取ることができる。
（１）
ＩＲ画像用フレーム内でパルス波がオンの状態で撮影された第１ＩＲ画像と、前記パルス波がオフの状態で撮影された第２ＩＲ画像とを生成する画像生成部と、
前記第２ＩＲ画像に基づいて、前記第１ＩＲ画像を補正する画像補正部と、
を備える、画像処理装置。
（２）
前記ＩＲ画像用フレームは、前記第１ＩＲ画像を生成するフェーズと、前記第２ＩＲ画像を生成するフェーズとから構成される、
前記（１）に記載の画像処理装置。
（３）
前記画像補正部は、前記第２ＩＲ画像に基づいて前記第１ＩＲ画像に含まれる背景光とダーク成分を除去する、
前記（１）または（２）に記載の画像処理装置。
（４）
前記画像補正部は、ＴＯＦセンサの露光時間をフレームごとに個別に調整する、
前記（１）〜（３）のいずれか１つに記載の画像処理装置。
（５）
前記画像補正部は、前記ＴＯＦセンサの露光時間をＩＲ画像用フレームおよびデプス画像用フレームごとに個別に調整する、
前記（４）に記載の画像処理装置。
（６）
前記画像補正部は、前記ＩＲ画像用フレームを構成するフェーズの露光時間を前記デプス画像用フレームを構成するフェーズの露光時間よりも長くなるように制御する、
前記（５）に記載の画像処理装置。
（７）
前記画像補正部は、前記ＴＯＦセンサの露光時間をＩＲ画像用フレーム、デプス画像用フレーム、および視線検出用フレームごとに個別に調整する、
前記（４）に記載の画像処理装置。
（８）
前記画像補正部は、前記ＩＲ画像用フレームを構成するフェーズの露光時間、前記視線検出用フレームを構成するフェーズの露光時間、および前記デプス画像用フレームを構成するフェーズの露光時間の順に長くなるように制御する、
前記（７）に記載の画像処理装置。
（９）
前記第１ＩＲ画像に含まれる被写体と、光源の位置関係に応じて補正の方法を選択する補正選択部を更に備える、
前記（１）〜（８）のいずれか１つに記載の画像処理装置。
（１０）
前記補正選択部は、前記被写体と、前記光源との距離に応じて補正の方法を選択する、
前記（９）に記載の画像処理装置。
（１１）
前記補正選択部は、前記第１ＩＲ画像に対して、前記第２ＩＲ画像に基づいた補正と、予め記憶部に記憶されたダーク画像に基づいた補正とのいずれかを、前記被写体と前記光源との距離に応じて選択する、
前記（９）または（１０）に記載の画像処理装置。
（１２）
前記補正選択部は、前記第１ＩＲ画像に対して、前記被写体と前記光源との距離が閾値以下である場合には前記第２ＩＲ画像に基づいた補正を選択し、前記被写体と前記光源との距離が閾値を超えている場合には前記ダーク画像に基づいた補正を選択する、
前記（９）〜（１１）のいずれか１つに記載の画像処理装置。
（１３）
前記被写体は人物の顔であり、
前記光源は太陽である、
前記（９）〜（１２）のいずれか１つに記載の画像処理装置。
（１４）
ＴＯＦセンサと、
前記ＴＯＦセンサからの出力に基づいてＩＲ画像用フレーム内でパルス波がオンの状態で撮影された第１ＩＲ画像と、前記パルス波がオフの状態で撮影された第２ＩＲ画像とを生成する画像生成部と、
前記第２ＩＲ画像に基づいて、前記第１ＩＲ画像を補正する画像補正部と、
を備える、
電子機器。
（１５）
ＩＲ画像用フレーム内でパルス波がオンの状態で撮影された第１ＩＲ画像と、前記パルス波がオフの状態で撮影された第２ＩＲ画像とを生成し、
前記第２ＩＲ画像に基づいて、前記第１ＩＲ画像を補正する、
画像処理方法。
（１６）
コンピュータを、
ＩＲ画像用フレーム内でパルス波がオンの状態で撮影された第１ＩＲ画像と、前記パルス波がオフの状態で撮影された第２ＩＲ画像とを生成する画像生成部と、
前記第２ＩＲ画像に基づいて、前記第１ＩＲ画像を補正する画像補正部と、
として機能させるプログラム。
１ 電子機器
１０ 撮像装置
１１ 光源部
１２ 受光部
１３ 撮像処理部
２０ 画像処理装置
３０ 射出光
３１ 対象物
３２ 反射光
２１０ ＩＲ画像処理装置
２１１，２２１ 取得部
２１２ ＩＲ画像生成部
２１３ 画像補正部
２１４ 正規化部
２１５ 参照部
２１６ 第１露光時間算出部
２１７ 第２露光時間算出部
２１８ 補正選択部
２２０ デプス画像処理装置
２２２ デプス算出部
２３０ 記憶部

Claims (16)

  1. ＩＲ画像用フレーム内でパルス波がオンの状態で撮影された第１ＩＲ画像と、前記パルス波がオフの状態で撮影された第２ＩＲ画像とを生成する画像生成部と、
    前記第２ＩＲ画像に基づいて、前記第１ＩＲ画像を補正する画像補正部と、
    を備える、画像処理装置。
  2. 前記ＩＲ画像用フレームは、前記第１ＩＲ画像を生成するフェーズと、前記第２ＩＲ画像を生成するフェーズとから構成される、
    請求項１に記載の画像処理装置。
  3. 前記画像補正部は、前記第２ＩＲ画像に基づいて前記第１ＩＲ画像に含まれる背景光とダーク成分を除去する、
    請求項１に記載の画像処理装置。
  4. 前記画像補正部は、ＴＯＦセンサの露光時間をフレームごとに個別に調整する、
    請求項１に記載の画像処理装置。
  5. 前記画像補正部は、前記ＴＯＦセンサの露光時間をＩＲ画像用フレームおよびデプス画像用フレームごとに個別に調整する、
    請求項４に記載の画像処理装置。
  6. 前記画像補正部は、前記ＩＲ画像用フレームを構成するフェーズの露光時間を前記デプス画像用フレームを構成するフェーズの露光時間よりも長くなるように制御する、
    請求項５に記載の画像処理装置。
  7. 前記画像補正部は、前記ＴＯＦセンサの露光時間をＩＲ画像用フレーム、デプス画像用フレーム、および視線検出用フレームごとに個別に調整する、
    請求項４に記載の画像処理装置。
  8. 前記画像補正部は、前記ＩＲ画像用フレームを構成するフェーズの露光時間、前記視線検出用フレームを構成するフェーズの露光時間、および前記デプス画像用フレームを構成するフェーズの露光時間の順に長くなるように制御する、
    請求項７に記載の画像処理装置。
  9. 前記第１ＩＲ画像に含まれる被写体と、光源の位置関係に応じて補正の方法を選択する補正選択部を更に備える、
    請求項１に記載の画像処理装置。
  10. 前記補正選択部は、前記被写体と、前記光源との距離に応じて補正の方法を選択する、
    請求項９に記載の画像処理装置。
  11. 前記補正選択部は、前記第１ＩＲ画像に対して、前記第２ＩＲ画像に基づいた補正と、予め記憶部に記憶されたダーク画像に基づいた補正とのいずれかを、前記被写体と前記光源との距離に応じて選択する、
    請求項１０に記載の画像処理装置。
  12. 前記補正選択部は、前記第１ＩＲ画像に対して、前記被写体と前記光源との距離が閾値以下である場合には前記第２ＩＲ画像に基づいた補正を選択し、前記被写体と前記光源との距離が閾値を超えている場合には前記ダーク画像に基づいた補正を選択する、
    請求項１１に記載の画像処理装置。
  13. 前記被写体は人物の顔であり、
    前記光源は太陽である、
    請求項１２に記載の画像処理装置。
  14. ＴＯＦセンサと、
    前記ＴＯＦセンサからの出力に基づいてＩＲ画像用フレーム内でパルス波がオンの状態で撮影された第１ＩＲ画像と、前記パルス波がオフの状態で撮影された第２ＩＲ画像とを生成する画像生成部と、
    前記第２ＩＲ画像に基づいて、前記第１ＩＲ画像を補正する画像補正部と、
    を備える、
    電子機器。
  15. ＩＲ画像用フレーム内でパルス波がオンの状態で撮影された第１ＩＲ画像と、前記パルス波がオフの状態で撮影された第２ＩＲ画像とを生成し、
    前記第２ＩＲ画像に基づいて、前記第１ＩＲ画像を補正する、
    画像処理方法。
  16. コンピュータを、
    ＩＲ画像用フレーム内でパルス波がオンの状態で撮影された第１ＩＲ画像と、前記パルス波がオフの状態で撮影された第２ＩＲ画像とを生成する画像生成部と、
    前記第２ＩＲ画像に基づいて、前記第１ＩＲ画像を補正する画像補正部と、
    として機能させるプログラム。
JP2019175291A 2019-09-26 2019-09-26 画像処理装置、電子機器、画像処理方法及びプログラム Pending JP2021051042A (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2019175291A JP2021051042A (ja) 2019-09-26 2019-09-26 画像処理装置、電子機器、画像処理方法及びプログラム
CN202080065424.XA CN114424522B (zh) 2019-09-26 2020-07-29 图像处理装置、电子设备、图像处理方法与程序
PCT/JP2020/029053 WO2021059735A1 (ja) 2019-09-26 2020-07-29 画像処理装置、電子機器、画像処理方法及びプログラム
DE112020004555.2T DE112020004555T5 (de) 2019-09-26 2020-07-29 Bildverarbeitungsvorrichtung, elektronisches gerät, bildverarbeitungsverfahren und programm
US17/753,897 US20220360702A1 (en) 2019-09-26 2020-07-29 Image processing device, electronic equipment, image processing method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019175291A JP2021051042A (ja) 2019-09-26 2019-09-26 画像処理装置、電子機器、画像処理方法及びプログラム

Publications (1)

Publication Number Publication Date
JP2021051042A true JP2021051042A (ja) 2021-04-01

Family

ID=75157662

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019175291A Pending JP2021051042A (ja) 2019-09-26 2019-09-26 画像処理装置、電子機器、画像処理方法及びプログラム

Country Status (4)

Country Link
US (1) US20220360702A1 (ja)
JP (1) JP2021051042A (ja)
DE (1) DE112020004555T5 (ja)
WO (1) WO2021059735A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4156674A4 (en) * 2021-08-12 2023-10-11 Honor Device Co., Ltd. METHOD AND DEVICE FOR DATA COLLECTION
WO2023033057A1 (ja) * 2021-08-31 2023-03-09 株式会社アスタリスク ゲートシステム、セキュリティシステム、及びセンサユニット

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009014494A (ja) * 2007-07-04 2009-01-22 Konica Minolta Sensing Inc 計測装置
DE112013000590B4 (de) * 2012-01-17 2016-05-04 Leap Motion, Inc. Verbesserter Kontrast zur Objekterfassung und Charakterisierung durch optisches Abbilden
JP6340838B2 (ja) * 2014-03-10 2018-06-13 富士通株式会社 生体認証装置、生体認証方法及びプログラム
JP6691101B2 (ja) 2017-01-19 2020-04-28 ソニーセミコンダクタソリューションズ株式会社 受光素子
DE112018004891T5 (de) * 2017-09-01 2020-06-10 Sony Corporation Bildverarbeitungsvorrichtung, bildverarbeitungsverfahren, programm und mobiler körper

Also Published As

Publication number Publication date
US20220360702A1 (en) 2022-11-10
CN114424522A (zh) 2022-04-29
WO2021059735A1 (ja) 2021-04-01
DE112020004555T5 (de) 2022-06-15

Similar Documents

Publication Publication Date Title
WO2012137434A1 (ja) 立体撮像装置
US20190109165A1 (en) Solid-state image sensor, electronic apparatus, and imaging method
IL276581A (en) Dual imaging system that includes auto-ficus and methods for operating it
US20140198183A1 (en) Sensing pixel and image sensor including same
US20170150077A1 (en) Imaging device, a solid-state imaging device for use in the imaging device
US9191595B2 (en) Image processing apparatus, image processing method and program, and image pickup apparatus including image processing apparatus
JP2015185947A (ja) 撮像システム
WO2021059735A1 (ja) 画像処理装置、電子機器、画像処理方法及びプログラム
JP5656613B2 (ja) 撮像装置及びその制御方法
JP6716902B2 (ja) 電子機器
US11431911B2 (en) Imaging device and signal processing device
WO2020170969A1 (ja) 測距装置及び測距装置の制御方法、並びに、電子機器
CN113366383B (zh) 摄像头装置及其自动聚焦方法
WO2020196378A1 (ja) 距離画像の取得方法、及び、距離検出装置
CN114424522B (zh) 图像处理装置、电子设备、图像处理方法与程序
US11610339B2 (en) Imaging processing apparatus and method extracting a second RGB ToF feature points having a correlation between the first RGB and TOF feature points
JP7164579B2 (ja) 画像センサー及び電子デバイス
WO2021059699A1 (ja) 測距装置及び測距装置の制御方法、並びに、電子機器
CN114599999A (zh) 移动量估计装置、移动量估计方法、移动量估计程序以及移动量估计系统
WO2023119918A1 (ja) 測距装置および電子機器
JP7431552B2 (ja) センサ、センサシステム、および撮像方法
WO2021059698A1 (ja) 測距装置及び測距装置の制御方法、並びに、電子機器
WO2020066341A1 (ja) 合焦度検出装置、深度マップ生成装置、及び、電子機器
US20230196779A1 (en) Observation system and associated observation method
JP2020139937A (ja) 測距装置及び電子機器