JP2020039020A - 画像処理装置および画像処理方法 - Google Patents

画像処理装置および画像処理方法 Download PDF

Info

Publication number
JP2020039020A
JP2020039020A JP2018164211A JP2018164211A JP2020039020A JP 2020039020 A JP2020039020 A JP 2020039020A JP 2018164211 A JP2018164211 A JP 2018164211A JP 2018164211 A JP2018164211 A JP 2018164211A JP 2020039020 A JP2020039020 A JP 2020039020A
Authority
JP
Japan
Prior art keywords
pixel
image
abnormality
unit
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018164211A
Other languages
English (en)
Inventor
横田　誠
Makoto Yokota
誠 横田
真吾 長滝
Shingo Nagataki
真吾 長滝
田中　寛之
Hiroyuki Tanaka
寛之 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Priority to JP2018164211A priority Critical patent/JP2020039020A/ja
Priority to PCT/JP2019/020496 priority patent/WO2020049806A1/ja
Priority to US17/250,705 priority patent/US20210217146A1/en
Publication of JP2020039020A publication Critical patent/JP2020039020A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/587—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
    • H04N25/589—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields with different integration times, e.g. short and long exposures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/63—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Image Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)

Abstract

【課題】画像処理装置において、データ量を増加させることなく後段の回路に異常検出結果を通知する。【解決手段】画像処理装置は、異常検出部および出力部を備える。異常検出部は、所定の画素において画像信号の異常を検出する。出力部は、その所定の画素において異常が検出されない場合には、所定の範囲内の画素値を出力する。一方、出力部は、所定の画素において異常が検出された場合には、所定の範囲外の画素値を出力する。これにより、後段の回路では、その画素値が所定の範囲内か否かによって、異常が検出された画素を特定する。【選択図】図１

Description

本技術は、画像処理装置に関する。詳しくは、画像信号の異常を検出して処理を行う画像処理装置、および、その処理方法に関する。
画像処理装置では、画像処理を行ったモジュールが故障しているか否かを画像フレーム毎に確認して、モジュールが故障していないことを確認した後に、後段の処理が進められる。例えば、想定した故障パターンを網羅する故障検出パターンを回路に入力して、回路の出力値が期待値と一致しているか否かを判定する手法が知られている（例えば、特許文献１参照。）。
特開２０１７−０９２７５７号公報
上述の従来技術では、複数のステージに分割されたパイプラインのリソース部分を認識するためにタグ番号を設けて故障検出を行っている。しかしながら、この従来技術では、故障検知用データを用いて、演算結果データと期待値データとが一致するか否かを判断しており、故障検知用データを出力するためにデータ量が増加してしまうという問題がある。
本技術はこのような状況に鑑みて生み出されたものであり、画像処理装置において、データ量を増加させることなく後段の回路に異常検出結果を通知することを目的とする。
本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、所定の画素において画像信号の異常を検出する異常検出部と、上記所定の画素において上記異常が検出されない場合には所定の範囲内の画素値を出力し、上記所定の画素において上記異常が検出された場合には上記所定の範囲外の画素値を出力する出力部とを具備する画像処理装置および画像処理方法である。これにより、異常が検出された画素について、所定の範囲外の画素値を出力するという作用をもたらす。
また、この第１の側面において、画像データを構成する全ての画素について画素値に一律の値を加算する加算部をさらに具備し、上記出力部は、上記異常が検出された場合の上記所定の範囲外の値として、上記加算した値より小さい画素値を出力するようにしてもよい。これにより、画素値に一律の値が加算されていることを前提として、加算した値より小さい画素値を出力するという作用をもたらす。
また、この第１の側面において、上記加算部は、上記画像データにおけるオプティカルブラッククランプ値を上記一律の値として加算するようにしてもよい。これにより、オプティカルブラッククランプを前提として、オプティカルブラッククランプ値より小さい画素値を出力するという作用をもたらす。
また、この第１の側面において、画像データを構成する全ての画素に対して画素値の上限値を設定する上限設定部をさらに具備し、上記出力部は、上記異常が検出された場合の上記所定の範囲外の値として、上記上限値より大きい画素値を出力するようにしてもよい。これにより、画素値の上限値を前提として、上限値より大きい画素値を出力するという作用をもたらす。
また、この第１の側面において、複数の画像データを供給する画像供給部と、上記複数の画像データを合成して１つの画像データを生成する合成部とをさらに具備し、上記異常検出部は、上記複数の画像データを比較して物体の位置ずれが生じている画素について上記異常を検出し、上記出力部は、上記異常が検出された上記所定の画素については上記合成された画像データにおいて上記所定の範囲外の画素値を出力するようにしてもよい。これにより、合成前の複数の画像において異常が検出された画素について、所定の範囲外の画素値を出力するという作用をもたらす。
また、この第１の側面において、上記画像供給部は、被写体を撮像して互いに感度の異なる画像データを上記複数の画像データとして生成する撮像素子を備えるようにしてもよい。その際、上記撮像素子は、同一被写体の異なる露光時間の画像データを上記感度の異なる画像データとして生成するようにしてもよい。
また、この第１の側面において、被写体を撮像して画像データを生成する撮像素子をさらに具備し、上記異常検出部は、上記画像データについて上記撮像素子の欠陥に起因する異常を検出するようにしてもよい。これにより、欠陥画素に関する情報を、所定の範囲外の画素値として出力するという作用をもたらす。
また、本技術の第２の側面は、所定の画素において画像信号の異常を検出する異常検出部と、上記所定の画素において上記異常が検出されない場合には所定の範囲内の画素値を出力し、上記所定の画素において上記異常が検出された場合には上記所定の範囲外の画素値を出力する出力部とを備える第１の回路と、上記画素値が上記所定の範囲外の場合にはその画素値について補正を行う補正処理部を備える第２の回路とを具備する画像処理装置および画像処理方法である。これにより、異常が検出された画素について、所定の範囲外の画素値を第１の回路から第２の回路に出力するという作用をもたらす。
また、この第２の側面において、上記補正処理部は、空間方向または時間方向の補間処理により上記画素値の補正を行うようにしてもよい。これにより、第１の回路からの情報に基づいて第２の回路において補正を行うという作用をもたらす。
また、この第２の側面において、上記第２の回路は、上記第１の回路から出力された画素において特定の画素値を検出する検出処理部をさらに備え、上記補正処理部は、上記特定の画素値を他の画素値に補正するようにしてもよい。これにより、第２の回路において検出した情報に基づいて補正を行うという作用をもたらす。
本技術の第１の実施の形態における画像処理装置の一例である撮像回路１００の構成例を示す図である。 本技術の第１の実施の形態の動体検出部１４０におけるモーションアーチファクトの検出例を示す図である。 本技術の第１の実施の形態のＯＢクランプ処理部１３０におけるＯＢクランプの処理例を示す図である。 本技術の第１の実施の形態における撮像回路１００から信号処理回路２００に出力されるフレームデータ７００の形式例を示す図である。 本技術の第１の実施の形態における画像データ７３０の具体例を示す図である。 本技術の第１の実施の形態における撮像回路１００の処理手順例を示す流れ図である。 本技術の第２の実施の形態における画像処理装置の一例である撮像回路１００の構成例を示す図である。 本技術の第３の実施の形態における画像処理装置の一例であるナビゲーションシステムの構成例を示す図である。 本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。 撮像部１２０３１の設置位置の例を示す図である。
以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（ＯＢクランプ値未満の値を利用して情報を重畳する例）
２．第２の実施の形態（画素値の最大値を制限して情報を重畳する例）
３．第３の実施の形態（ナビゲーションシステム）
４．第４の実施の形態（欠陥画素の補正処理）
５．適用例
＜１．第１の実施の形態＞
［撮像回路］
図１は、本技術の第１の実施の形態における画像処理装置の一例である撮像回路１００の構成例を示す図である。
この第１の実施の形態における撮像回路１００は、イメージセンサ１１０と、合成部１２０と、ＯＢクランプ処理部１３０と、動体検出部１４０と、動体検出情報重畳部１６０とを備える。なお、撮像回路１００は、特許請求の範囲に記載の第１の回路の一例である。
イメージセンサ１１０は、被写体を撮像して、光電変換およびＡ／Ｄ（Analog-to-Digital）変換を行い、デジタル信号の画像データを生成する撮像素子である。ここでは、イメージセンサ１１０は、１フレームの画像データとして、感度の異なる高感度信号および低感度信号の２種類を出力することを想定する。これら高感度信号および低感度信号を生成するためには、同一の被写体に対して露光時間が異なる２回の露光を行って画像データを生成することが考えられる。また、１回の露光中に異なるタイミングで２回サンプリングを行うことにより、露光時間が異なる画像データを生成するようにしてもよい。なお、イメージセンサ１１０は、特許請求の範囲に記載の画像供給部または撮像素子の一例である。
合成部１２０は、イメージセンサ１１０によって生成された高感度信号および低感度信号を合成して、高ダイナミックレンジ（ＨＤＲ：High Dynamic Range）の１フレームの画像データを生成するものである。すなわち、これにより、明暗差の広い画像データを生成することができる。
ＯＢクランプ処理部１３０は、合成部１２０によって合成された１フレームの画像データについて、オプティカルブラック（ＯＢ：Optical Black）領域を用いて、クランプによる黒レベル合わせを行うものである。ＯＢ領域は、後述するように、有効画素の周囲に配置された画素領域であり、フォトダイオード上がアルミニウム等の金属膜によって遮光されていて、外部から光が入光しないようになっている。このＯＢ領域を用いて黒レベル合わせを行うことにより、温度上昇などにより発生する暗電流の増加分を相殺することができる。ＯＢクランプ処理部１３０は、１フレームの画像データを構成する全ての画素について、画素値に一律のオフセット値（ＯＢクランプ値）を加算することにより、黒レベル合わせを行う。なお、ＯＢクランプ処理部１３０は、特許請求の範囲に記載の加算部の一例である。
動体検出部１４０は、イメージセンサ１１０によって生成された高感度信号および低感度信号を比較することにより、物体の動きを検出するものである。この動体検出部１４０は、合成部１２０による合成前の画像を参照するため、動きに伴う位置ずれによる偽像（モーションアーチファクト（Motion Artifact））を検出することができる。合成後の画像では、一見ぼやけているような像が写っていても、それがモーションアーチファクトによるものか、それとも元来そのような画像なのかを判断することは困難である。この動体検出部１４０は、合成前の画像を参照することにより、モーションアーチファクトが発生している領域を検出する。なお、動体検出部１４０は、特許請求の範囲に記載の異常検出部の一例である。
動体検出情報重畳部１６０は、動体検出部１４０によって検出されたモーションアーチファクト発生領域に関する情報を、ＯＢクランプ処理部１３０からの画像データに重畳するものである。この動体検出情報重畳部１６０は、ＯＢクランプ処理部１３０からの画像データについて、モーションアーチファクトが発生していない領域の信号の画素値は書き換えない。一方、モーションアーチファクトが発生している領域の信号の画素値は、ＯＢクランプ処理後には本来取り得ない値に書き換える。このような書換えが施された画像データは、信号線１９９を介して後段の信号処理回路２００に出力される。なお、動体検出情報重畳部１６０は、特許請求の範囲に記載の出力部の一例である。
後段の信号処理回路２００は、信号線１９９を介して出力された画像データにおいて、ＯＢクランプ処理後には本来取り得ない値を抽出することにより、モーションアーチファクトが発生している領域を画素単位で特定することができる。これにより、後段の信号処理回路２００において、必要に応じて補正処理を行うことができる。すなわち、従来は前段の撮像回路において行わざるを得なかった補正処理を、後段の信号処理回路２００において行うことが可能になる。合成後の画像データだけでは情報量が失われており、従来の信号処理回路においてはモーションアーチファクトの検出精度は低下してしまうが、この実施の形態では合成前の情報を用いてモーションアーチファクトを検出するため、検出精度を向上させることができる。なお、信号処理回路２００は、特許請求の範囲に記載の第２の回路の一例である。
［モーションアーチファクト］
図２は、本技術の第１の実施の形態の動体検出部１４０におけるモーションアーチファクトの検出例を示す図である。
イメージセンサ１１０は、低感度信号画像６１０および高感度信号画像６２０を生成する。動体検出部１４０は、イメージセンサ１１０によって生成された低感度信号画像６１０および高感度信号画像６２０を比較することにより、モーションアーチファクトの発生領域を検出する。
この例では、蝶が浮遊する領域６２２、および、その蝶を追いかける猫が飛び跳ねる領域６２１においてモーションアーチファクトが検出される。そのため、合成部１２０によって合成処理が行われたＨＤＲ画像６３０においてもモーションアーチファクトが発生する。
動体検出部１４０においては、画素単位でモーションアーチファクトの発生領域を検出することができる。そのため、このモーションアーチファクトの発生の有無を画素単位で表現すると、１フレーム分の画素数に相当するバイナリ情報が必要になる。このような情報を撮像回路１００から後段の信号処理回路２００に別途送信することを仮定した場合には、１フレーム毎に追加送信する情報量が増大するため、現実的ではない。
そこで、この実施の形態においては、動体検出情報重畳部１６０によって合成後の画像に対して、モーションアーチファクト発生領域に関する情報を重畳する。そのために、動体検出情報重畳部１６０の前段のＯＢクランプ処理部１３０において、黒レベル合わせのためにＯＢクランプ値が加算される点に着目する。
［ＯＢクランプ］
図３は、本技術の第１の実施の形態のＯＢクランプ処理部１３０におけるＯＢクランプの処理例を示す図である。
同図のグラフは、横軸に１ライン分の画素を示し、縦軸に各画素に対応する画像データの画素値を示している。同図におけるａは、合成部１２０によって合成処理が行われた画像データである。同図におけるｂは、ＯＢクランプ処理部１３０によってＯＢクランプ処理が行われた後の画像データである。
ＯＢクランプ処理においては、黒レベル合わせのために、１フレームの画像データを構成する全ての画素について、画素値にＯＢクランプ値が一律に加算される。したがって、ＯＢクランプ処理後の画像データの画素値は、全てＯＢクランプ値以上の値を示すことになる。換言すれば、ＯＢクランプ値未満の値は画素値として本来取り得ない値ということになる。
そこで、この実施の形態においては、動体検出情報重畳部１６０が、モーションアーチファクト発生領域の画素値を、画素値として本来取り得ない値に書き換える。これにより、後段の信号処理回路２００は、ＯＢクランプ処理後には本来取り得ない値を抽出することにより、モーションアーチファクトが発生している領域を特定することができる。その一方で、画像データ以外に追加される情報は不要なため、出力されるデータ量は変わらない。
［データ形式］
図４は、本技術の第１の実施の形態における撮像回路１００から信号処理回路２００に出力されるフレームデータ７００の形式例を示す図である。
このフレームデータ７００は、ＯＢ領域７１０、埋め込み情報７２０、画像データ７３０、および、埋め込み情報７４０を時系列に配置した形式を備える。
ＯＢ領域７１０は、黒レベル合わせを行うための画素領域である。このＯＢ領域７１０に対応する画素は、通常の画素と同様の構造を備えるが、金属膜によって遮光されており、被写体からの光は入光しない。このＯＢ領域７１０の信号を用いてＯＢクランプ値が決定される。
埋め込み情報７２０は、画像データ７３０の前に配置される属性情報である。ＯＢ領域７１０の信号を用いて決定されたＯＢクランプ値は、この埋め込み情報７２０内にＯＢクランプ値７２１として記憶される。
画像データ７３０は、１フレーム分の画素値を配置した画像データである。この画像データ７３０の画素値には、ＯＢクランプ値７２１が一律に加算されている。また、モーションアーチファクト発生領域の画素値は、画素値として本来取り得ない値に書き換えられている。
埋め込み情報７４０は、画像データ７３０の後に配置されるその他の属性情報である。
図５は、本技術の第１の実施の形態における画像データ７３０の具体例を示す図である。
同図におけるａは、合成部１２０によって合成処理が行われ、ＯＢクランプ処理部１３０によってＯＢクランプ処理が行われた後の画像データの例である。ここでは、動体検出部１４０によって領域７２５においてモーションアーチファクトが検出されたものとする。
このとき、動体検出情報重畳部１６０は、同図におけるｂに示すように、モーションアーチファクト発生領域に該当する領域７２６の画素値を、例えば「０」に書き換える。この「０」は、画素値として本来取り得ない値の一例であり、ＯＢクランプ値未満の値であれば他の値であってもよい。
後段の信号処理回路２００は、埋め込み情報７２０のＯＢクランプ値７２１から、ＯＢクランプ処理部１３０におけるＯＢクランプ処理により加算されたＯＢクランプ値を知ることができる。したがって、このＯＢクランプ値未満の値を画素値が示す領域７２６については、モーションアーチファクト発生領域であると認識することができる。これにより、信号処理回路２００は、撮像回路１００から出力された画像データのモーションアーチファクト発生領域について、補間処理を行うことにより画素値の補正を行うことができる。
信号処理回路２００における補間処理は、フレーム内の近傍座標における空間方向を参照した補間処理であってもよく、また、時間方向における前後のフレームの対応座標を参照した補間処理であってもよい。さらに、これらを組み合わせて、時間方向における前後のフレームの対応座標、および、その近傍座標における空間方向を参照した補間処理であってもよい。
［動作］
図６は、本技術の第１の実施の形態における撮像回路１００の処理手順例を示す流れ図である。
イメージセンサ１１０は、被写体を撮像して、高感度信号および低感度信号を取得する（ステップＳ９１１およびＳ９１２）。これら高感度信号および低感度信号の取得順序は何れが先であってもよい。
動体検出部１４０は、生成された高感度信号および低感度信号を比較することにより、物体の動きを検出し、モーションアーチファクト発生領域を検出する（ステップＳ９１３）。
合成部１２０は、生成された高感度信号および低感度信号を合成して、ＨＤＲの画像データを生成する（ステップＳ９１４）。また、ＯＢクランプ処理部１３０は、合成された画像データについて、ＯＢ領域７１０を用いてＯＢクランプ値７２１を取得して、ＯＢクランプ処理による黒レベル合わせを行う（ステップＳ９１５）。
動体検出情報重畳部１６０は、モーションアーチファクト発生領域に関する情報を、ＯＢクランプ処理された画像データに重畳する。すなわち、モーションアーチファクト発生領域の画素であれば（ステップＳ９１６：Ｙｅｓ）、画素値を本来取り得ない値に書き換える（ステップＳ９１７）。一方、モーションアーチファクト発生領域の画素でなければ（ステップＳ９１６：Ｎｏ）、そのような書換えを行わない。
このようにして得られた画素データは、撮像回路１００から後段の信号処理回路２００に出力される（ステップＳ９１８）。
このように、本技術の第１の実施の形態では、合成前の画像データによりモーションアーチファクト発生領域を検出して、該当する領域の画素値をＯＢクランプ値未満の値に書き換える。これにより、後段においてモーションアーチファクト発生領域を認識することができる。
すなわち、合成前の情報を用いてモーションアーチファクト発生領域を検出するため、情報量が喪失している合成後の情報を用いる場合よりも高い精度でモーションアーチファクト発生領域を検出することができる。
この場合、追加される情報は不要であり、出力されるデータ量は変わらない。したがって、タイミングを再調整する必要もなく、撮像回路１００と信号処理回路２００との間のインターフェースを変更する必要もない。また、撮像回路１００よりも信号処理回路２００の方がアルゴリズムの変更に対応し易いため、拡張性のある補正処理を実装することができる。
また、撮像回路１００において重畳された情報は、画素毎の信号レベルのみから抽出することができるため、高度な検出アルゴリズムを搭載する必要がない。そのため、信号処理回路２００の回路規模を削減することが見込まれる。
＜２．第２の実施の形態＞
上述の第１の実施の形態では、ＯＢクランプ値未満の値は画素値として本来取り得ない値であるという前提により、画素値の下限部分の範囲を利用してモーションアーチファクト発生領域に関する情報の出力を行った。一方、画素値の上限部分の範囲を利用するようにしてもよい。この第２の実施の形態では、画素値の最大値を制限して、それを超える値によってモーションアーチファクト発生領域に関する情報を出力する。
［撮像回路］
図７は、本技術の第２の実施の形態における画像処理装置の一例である撮像回路１００の構成例を示す図である。
この第２の実施の形態における撮像回路１００は、上述の第１の実施の形態における撮像回路１００に加えて、リミット処理部１５０を備えている。リミット処理部１５０は、ＯＢクランプ処理部１３０からの画像データの各画素に対して、最大値を特定の値に制限（リミット）する処理を行うものである。
ここで、画素値のビット幅が例えば１０ビットであるとすると、「０」から「１０２３」の範囲の値を表現することができる。これに対し、リミット処理部１５０が最大値を「１０２０」に制限する処理を行うことにより、「１０２１」、「１０２２」および「１０２３」を、画素値として本来取り得ない値として扱うことができる。
したがって、動体検出情報重畳部１６０は、動体検出部１４０によって検出されたモーションアーチファクト発生領域に該当する画素については、その画素値を例えば「１０２１」に書き換える。これにより、後段の信号処理回路２００は、画素値が「１０２１」を示す画素について、補正を行うことができる。
このように、本技術の第２の実施の形態では、合成前の画像データによりモーションアーチファクト発生領域を検出して、該当する領域の画素値を、リミット処理部１５０により制限された最大値を超える値に書き換える。これにより、後段においてモーションアーチファクト発生領域を認識することができる。
＜３．第３の実施の形態＞
上述の実施の形態では、撮像回路１００に着目してモーションアーチファクトに対する処理について説明した。この第３の実施の形態では、その後段の信号処理回路２００における処理について説明する。
［ナビゲーションシステム］
図８は、本技術の第３の実施の形態における画像処理装置の一例であるナビゲーションシステムの構成例を示す図である。このナビゲーションシステムでは、前段の回路として、上述の第１または第２の実施の形態における撮像回路１００を想定している。そして、後段の回路として、信号処理回路２００、ナビゲーション装置３００、および、表示装置４００を示している。
信号処理回路２００は、撮像回路１００から出力された画像データの信号に対して所定の信号処理を施す回路である。この信号処理回路２００は、検出処理部２１０と、補正処理部２２０と、カメラ信号処理部２３０とを備える。
検出処理部２１０は、補正対象となる画素領域を検出するものである。この検出処理部２１０は、撮像回路１００から出力されたフレームデータ７００の画像データ７３０の各画素について、本来取り得ない値を示す画素をモーションアーチファクト発生領域として検出する。例えば、第１の実施の形態において説明したように、ＯＢクランプ値未満の値を示す画素を検出する。また、第２の実施の形態において説明したように、制限された最大値を超える値を示す画素を検出する。
また、検出処理部２１０は、画像データ７３０の画素値に基づいて、補正対象となる画素領域を検出してもよい。例えば、車載カメラによって撮像された画像データにおいては、モーションアーチファクトの一例として、路上の車線を示す白線の縁に不自然な色が発生する場合がある。そのため、撮像回路１００におけるモーションアーチファクトの検出とは別に、検出処理部２１０において画像データに対する画像処理を行ってモーションアーチファクト発生領域を検出することが考えられる。この場合の画像処理としては、例えば、エッジを検出して、その周辺において路面の色として不自然な色を検出する等の処理が考えられる。
補正処理部２２０は、検出処理部２１０によって検出されたモーションアーチファクト発生領域について、画素データの補正処理を行うものである。この補正処理部２２０は、上述のように、フレーム内の近傍座標における空間方向を参照した補間処理を行ってもよく、また、時間方向における前後のフレームの対応座標を参照した補間処理を行ってもよい。さらに、これらを組み合わせて、時間方向における前後のフレームの対応座標、および、その近傍座標における空間方向を参照した補間処理を行ってもよい。
また、補正処理部２２０は、上述の白線の縁に発生したモーションアーチファクトについては、その画素の信号レベルを、例えば灰色などの目立たない色にする補正処理を行ってもよい。
カメラ信号処理部２３０は、その他のカメラ信号処理を行うものである。具体的には、加算されていたＯＢクランプ値の減算処理、欠陥画素の補正処理、ＲＡＷデータからＲＧＢ形式への変換処理、色の再現処理などが想定される。
ナビゲーション装置３００は、信号処理回路２００から出力された画像データをナビゲーション画面に表示するための処理を行うものである。このナビゲーション装置３００は、画像データを描画するための描画処理部３１０を備える。表示装置４００は、ナビゲーション画面を表示する表示装置である。
このように、本技術の第３の実施の形態では、撮像回路１００および信号処理回路２００においてモーションアーチファクト発生領域を検出して、それに従って信号処理回路２００において補正処理を行う。これにより、最終的にナビゲーションシステムの画面に表示される偽色を軽減することができる。
＜４．第４の実施の形態＞
上述の実施の形態においては、モーションアーチファクト発生領域に関する情報を画素データに重畳することを主眼としていた。ただし、画素データに重畳する情報は、モーションアーチファクト発生領域に関する情報に限定されない。
例えば、上述のカメラ信号処理部２３０における欠陥画素の補正処理のために、欠陥画素の座標を画素データに重畳してもよい。工場出荷前の検査によって検出された欠陥画素の座標は、予め信号処理回路２００のレジスタに設定しておくことも可能であるが、その後に発生した欠陥画素については撮像回路１００から信号処理回路２００に別途知らせる必要がある。そのような場合に、その情報を画素データに重畳すれば、データ量を増やすことなく、後段に知らせることができる。
＜５．適用例＞
本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
図９は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図９に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（interface）１２０５３が図示されている。
駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行うことができる。
また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図９の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
図１０は、撮像部１２０３１の設置位置の例を示す図である。
図１０では、撮像部１２０３１として、撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５を有する。
撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２、１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
なお、図１０には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２、１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２、１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０ｋｍ／ｈ以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、撮像部１２０３１に適用され得る。具体的には、撮像部１２０３１において撮像された画素データについてモーションアーチファクト発生領域を検出して、それに従って補正処理を行うことにより、上述の自動運転や運転支援を実現することが可能になる。
なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disc）、メモリカード、ブルーレイディスク（Blu-ray（登録商標）Disc）等を用いることができる。
なお、本明細書に記載された効果はあくまで例示であって、限定されるものではなく、また、他の効果があってもよい。
なお、本技術は以下のような構成もとることができる。
（１）所定の画素において画像信号の異常を検出する異常検出部と、
前記所定の画素において前記異常が検出されない場合には所定の範囲内の画素値を出力し、前記所定の画素において前記異常が検出された場合には前記所定の範囲外の画素値を出力する出力部と
を具備する画像処理装置。
（２）画像データを構成する全ての画素について画素値に一律の値を加算する加算部をさらに具備し、
前記出力部は、前記異常が検出された場合の前記所定の範囲外の値として、前記加算した値より小さい画素値を出力する
前記（１）に記載の画像処理装置。
（３）前記加算部は、前記画像データにおけるオプティカルブラッククランプ値を前記一律の値として加算する
前記（２）に記載の画像処理装置。
（４）画像データを構成する全ての画素に対して画素値の上限値を設定する上限設定部をさらに具備し、
前記出力部は、前記異常が検出された場合の前記所定の範囲外の値として、前記上限値より大きい画素値を出力する
前記（１）に記載の画像処理装置。
（５）複数の画像データを供給する画像供給部と、
前記複数の画像データを合成して１つの画像データを生成する合成部と
をさらに具備し、
前記異常検出部は、前記複数の画像データを比較して物体の位置ずれが生じている画素について前記異常を検出し、
前記出力部は、前記異常が検出された前記所定の画素については前記合成された画像データにおいて前記所定の範囲外の画素値を出力する
前記（１）から（４）のいずれかに記載の画像処理装置。
（６）前記画像供給部は、被写体を撮像して互いに感度の異なる画像データを前記複数の画像データとして生成する撮像素子を備える
前記（５）に記載の画像処理装置。
（７）前記撮像素子は、同一被写体の異なる露光時間の画像データを前記感度の異なる画像データとして生成する
前記（６）に記載の画像処理装置。
（８）被写体を撮像して画像データを生成する撮像素子をさらに具備し、
前記異常検出部は、前記画像データについて前記撮像素子の欠陥に起因する異常を検出する
前記（１）から（４）のいずれかに記載の画像処理装置。
（９）所定の画素において画像信号の異常を検出する異常検出部と、前記所定の画素において前記異常が検出されない場合には所定の範囲内の画素値を出力し、前記所定の画素において前記異常が検出された場合には前記所定の範囲外の画素値を出力する出力部とを備える第１の回路と、
前記画素値が前記所定の範囲外の場合にはその画素値について補正を行う補正処理部を備える第２の回路と
を具備する画像処理装置。
（１０）前記補正処理部は、空間方向または時間方向の補間処理により前記画素値の補正を行う
前記（９）に記載の画像処理装置。
（１１）前記第２の回路は、前記第１の回路から出力された画素において特定の画素値を検出する検出処理部をさらに備え、
前記補正処理部は、前記特定画素値を他の画素値に補正する
前記（９）または（１０）に記載の画像処理装置。
（１２）異常検出部が、所定の画素において画像信号の異常を検出する手順と、
出力部が、前記所定の画素において前記異常が検出されない場合には所定の範囲内の画素値を出力し、前記所定の画素において前記異常が検出された場合には前記所定の範囲外の画素値を出力する手順と
を具備する画像処理方法。
１００ 撮像回路
１１０ イメージセンサ
１２０ 合成部
１３０ ＯＢクランプ処理部
１４０ 動体検出部
１５０ リミット処理部
１６０ 動体検出情報重畳部
２００ 信号処理回路
２１０ 検出処理部
２２０ 補正処理部
２３０ カメラ信号処理部
３００ ナビゲーション装置
３１０ 描画処理部
４００ 表示装置
１２０３１ 撮像部

Claims (12)

  1. 所定の画素において画像信号の異常を検出する異常検出部と、
    前記所定の画素において前記異常が検出されない場合には所定の範囲内の画素値を出力し、前記所定の画素において前記異常が検出された場合には前記所定の範囲外の画素値を出力する出力部と
    を具備する画像処理装置。
  2. 画像データを構成する全ての画素について画素値に一律の値を加算する加算部をさらに具備し、
    前記出力部は、前記異常が検出された場合の前記所定の範囲外の値として、前記加算した値より小さい画素値を出力する
    請求項１記載の画像処理装置。
  3. 前記加算部は、前記画像データにおけるオプティカルブラッククランプ値を前記一律の値として加算する
    請求項２記載の画像処理装置。
  4. 画像データを構成する全ての画素に対して画素値の上限値を設定する上限設定部をさらに具備し、
    前記出力部は、前記異常が検出された場合の前記所定の範囲外の値として、前記上限値より大きい画素値を出力する
    請求項１記載の画像処理装置。
  5. 複数の画像データを供給する画像供給部と、
    前記複数の画像データを合成して１つの画像データを生成する合成部と
    をさらに具備し、
    前記異常検出部は、前記複数の画像データを比較して物体の位置ずれが生じている画素について前記異常を検出し、
    前記出力部は、前記異常が検出された前記所定の画素については前記合成された画像データにおいて前記所定の範囲外の画素値を出力する
    請求項１記載の画像処理装置。
  6. 前記画像供給部は、被写体を撮像して互いに感度の異なる画像データを前記複数の画像データとして生成する撮像素子を備える
    請求項５記載の画像処理装置。
  7. 前記撮像素子は、同一被写体の異なる露光時間の画像データを前記感度の異なる画像データとして生成する
    請求項６記載の画像処理装置。
  8. 被写体を撮像して画像データを生成する撮像素子をさらに具備し、
    前記異常検出部は、前記画像データについて前記撮像素子の欠陥に起因する異常を検出する
    請求項１記載の画像処理装置。
  9. 所定の画素において画像信号の異常を検出する異常検出部と、前記所定の画素において前記異常が検出されない場合には所定の範囲内の画素値を出力し、前記所定の画素において前記異常が検出された場合には前記所定の範囲外の画素値を出力する出力部とを備える第１の回路と、
    前記画素値が前記所定の範囲外の場合にはその画素値について補正を行う補正処理部を備える第２の回路と
    を具備する画像処理装置。
  10. 前記補正処理部は、空間方向または時間方向の補間処理により前記画素値の補正を行う
    請求項９記載の画像処理装置。
  11. 前記第２の回路は、前記第１の回路から出力された画素において特定の画素値を検出する検出処理部をさらに備え、
    前記補正処理部は、前記特定の画素値を他の画素値に補正する
    請求項９記載の画像処理装置。
  12. 異常検出部が、所定の画素において画像信号の異常を検出する手順と、
    出力部が、前記所定の画素において前記異常が検出されない場合には所定の範囲内の画素値を出力し、前記所定の画素において前記異常が検出された場合には前記所定の範囲外の画素値を出力する手順と
    を具備する画像処理方法。
JP2018164211A 2018-09-03 2018-09-03 画像処理装置および画像処理方法 Pending JP2020039020A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018164211A JP2020039020A (ja) 2018-09-03 2018-09-03 画像処理装置および画像処理方法
PCT/JP2019/020496 WO2020049806A1 (ja) 2018-09-03 2019-05-23 画像処理装置および画像処理方法
US17/250,705 US20210217146A1 (en) 2018-09-03 2019-05-23 Image processing apparatus and image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018164211A JP2020039020A (ja) 2018-09-03 2018-09-03 画像処理装置および画像処理方法

Publications (1)

Publication Number Publication Date
JP2020039020A true JP2020039020A (ja) 2020-03-12

Family

ID=69722884

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018164211A Pending JP2020039020A (ja) 2018-09-03 2018-09-03 画像処理装置および画像処理方法

Country Status (3)

Country Link
US (1) US20210217146A1 (ja)
JP (1) JP2020039020A (ja)
WO (1) WO2020049806A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021262761A1 (en) * 2020-06-22 2021-12-30 Flir Commercial Systems, Inc. Imager verification systems and methods

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5475768A (en) * 1993-04-29 1995-12-12 Canon Inc. High accuracy optical character recognition using neural networks with centroid dithering
JP2006130212A (ja) * 2004-11-09 2006-05-25 Fuji Photo Film Co Ltd 異常陰影候補検出方法、および装置、ならびにプログラム
JP2010021858A (ja) * 2008-07-11 2010-01-28 Olympus Corp 画素欠陥補正装置
US8248481B2 (en) * 2009-04-08 2012-08-21 Aptina Imaging Corporation Method and apparatus for motion artifact removal in multiple-exposure high-dynamic range imaging
WO2012110894A1 (en) * 2011-02-18 2012-08-23 DigitalOptics Corporation Europe Limited Dynamic range extension by combining differently exposed hand-held device-acquired images
JPWO2013171826A1 (ja) * 2012-05-14 2016-01-07 富士機械製造株式会社 制御システム
US9955084B1 (en) * 2013-05-23 2018-04-24 Oliver Markus Haynold HDR video camera
JP6137437B1 (ja) * 2015-11-17 2017-05-31 三菱電機株式会社 画像処理装置及び画像処理方法
EP3654007A4 (en) * 2017-07-10 2021-03-31 Terumo Kabushiki Kaisha PRESSURE DETECTION DEVICE AND DEVICE FOR EXTRACORPORAL CIRCULATION

Also Published As

Publication number Publication date
WO2020049806A1 (ja) 2020-03-12
US20210217146A1 (en) 2021-07-15

Similar Documents

Publication Publication Date Title
US11082626B2 (en) Image processing device, imaging device, and image processing method
JP7074136B2 (ja) 撮像装置とフリッカー補正方法およびプログラム
US20140160252A1 (en) Redundant object detection for driver assistance systems
JP2013147112A (ja) 車両の走行環境認識装置
US11297268B2 (en) Solid-state imaging element, imaging apparatus, and method of controlling solid-state imaging element
WO2017122654A1 (ja) 運転支援装置及び運転支援方法
JP2005350010A (ja) ステレオ式車外監視装置
US11172173B2 (en) Image processing device, image processing method, program, and imaging device
WO2018008426A1 (ja) 信号処理装置および方法、並びに撮像装置
WO2017195459A1 (ja) 撮像装置、および撮像方法
US11025828B2 (en) Imaging control apparatus, imaging control method, and electronic device
US20170171444A1 (en) Imaging setting changing apparatus, imaging system, and imaging setting changing method
WO2020049806A1 (ja) 画像処理装置および画像処理方法
US20200402206A1 (en) Image processing device, image processing method, and program
US20220408062A1 (en) Display control apparatus, display control method, and program
WO2021182190A1 (ja) 撮像装置、撮像システム及び撮像方法
JP2011008459A (ja) 車載カメラ装置
WO2017122395A1 (ja) 画像データ処理回路および撮像回路
JP2013172378A (ja) 画像処理装置及び車両
JP5759709B2 (ja) 画像認識装置
WO2018220993A1 (ja) 信号処理装置、信号処理方法及びコンピュータプログラム
WO2022219874A1 (ja) 信号処理装置および方法、並びにプログラム
WO2017169079A1 (ja) 画像処理装置、画像処理方法および撮像素子
WO2021192714A1 (ja) レンダリングシステム及び自動運転検証システム
WO2022249562A1 (ja) 信号処理装置および方法、並びにプログラム