JP2017216629A - 符号化装置、撮像装置、符号化方法、及びプログラム - Google Patents

符号化装置、撮像装置、符号化方法、及びプログラム Download PDF

Info

Publication number
JP2017216629A
JP2017216629A JP2016110222A JP2016110222A JP2017216629A JP 2017216629 A JP2017216629 A JP 2017216629A JP 2016110222 A JP2016110222 A JP 2016110222A JP 2016110222 A JP2016110222 A JP 2016110222A JP 2017216629 A JP2017216629 A JP 2017216629A
Authority
JP
Japan
Prior art keywords
raw data
encoding
index value
area
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016110222A
Other languages
English (en)
Other versions
JP2017216629A5 (ja
JP6792351B2 (ja
Inventor
成記 望月
Shigeki Mochizuki
成記 望月
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2016110222A priority Critical patent/JP6792351B2/ja
Priority to US15/604,371 priority patent/US10462401B2/en
Publication of JP2017216629A publication Critical patent/JP2017216629A/ja
Publication of JP2017216629A5 publication Critical patent/JP2017216629A5/ja
Application granted granted Critical
Publication of JP6792351B2 publication Critical patent/JP6792351B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/30Noise filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/42Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/63Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
    • H04N25/683Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects by defect estimation performed on the scene signal, e.g. real time or on the fly detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Studio Devices (AREA)

Abstract

【課題】撮像画像のノイズ量をより高精度に推定してノイズを抑制する技術を提供する。
【解決手段】RAWデータに含まれるオプティカルブラック領域の少なくとも一部を解析することによりノイズ量の指標値を取得する取得手段と、前記指標値に基づいてRAWデータを量子化する量子化手段と、前記量子化されたRAWデータを符号化する符号化手段と、を備え、前記量子化手段は、前記指標値が第1の値の場合、第1の量子化ステップでRAWデータを量子化し、前記指標値が前記第1の値よりも大きいノイズ量に対応する第2の値の場合、前記第1の量子化ステップよりも大きい第2の量子化ステップでRAWデータを量子化することを特徴とする符号化装置を提供する。
【選択図】図3

Description

本発明は、符号化装置、撮像装置、符号化方法、及びプログラムに関する。
現在、デジタルスチルカメラやデジタルビデオカメラなどの撮像装置が広く普及して一般的に利用されている。これらの撮像装置は、CCDやCMOSセンサなどの撮像素子で受光した光をデジタル信号に変換することで、デジタル画像データを生成する。デジタル画像データを生成する過程では、撮像素子や回路の特性などにより、暗電流ノイズ、熱雑音、及びショットノイズなどが発生し、デジタル画像データにランダムノイズが混入する。
近年の撮像素子の小型化及び高画素化に伴い画素ピッチが極小化しているため、ランダムノイズが目立ちやすくなっている。特に、撮像感度を高くした場合などは、ランダムノイズが顕著に発生する。そのため、高画質化を実現するためには、ランダムノイズの除去が重要となっている。例えば、特許文献1は、撮像感度などの撮像条件に応じて量子化テーブルを選択的に切り替えて符号化することにより高域ノイズ成分を抑圧する技術を提案している。
特開2003−179926号公報
撮像時に発生するノイズは、撮像素子の特性や温度条件等の複合的な要素の組み合わせにより変動するため、撮像条件に基づくノイズ量の推定精度には限界がある。
本発明はこのような状況に鑑みてなされたものであり、撮像画像のノイズ量をより高精度に推定してノイズを抑制する技術を提供することを目的とする。
上記課題を解決するために、本発明は、RAWデータに含まれるオプティカルブラック領域の少なくとも一部を解析することによりノイズ量の指標値を取得する取得手段と、前記指標値に基づいてRAWデータを量子化する量子化手段と、前記量子化されたRAWデータを符号化する符号化手段と、を備え、前記量子化手段は、前記指標値が第1の値の場合、第1の量子化ステップでRAWデータを量子化し、前記指標値が前記第1の値よりも大きいノイズ量に対応する第2の値の場合、前記第1の量子化ステップよりも大きい第2の量子化ステップでRAWデータを量子化することを特徴とする符号化装置を提供する。
なお、その他の本発明の特徴は、添付図面及び以下の発明を実施するための形態における記載によって更に明らかになるものである。
本発明によれば、撮像画像のノイズ量をより高精度に推定してノイズを抑制することが可能となる。
符号化装置を備える撮像装置100の構成を示すブロック図。 RAWデータの概念図。 第1の実施形態に係る、撮像装置100が実行する符号化処理のフローチャート。 ISO感度とOB領域の発生符号量との関係を示すグラフ。 (a)ISO感度とOB領域の画素値の標準偏差との関係を示すグラフ、(b)図5(a)の縦軸を対数目盛で置き換えたグラフ。 第2の実施形態に係る、撮像装置100が実行する符号化処理のフローチャート。 RAWデータの分割の概念図。 第3の実施形態に係る、撮像装置100が実行する符号化処理のフローチャート。
以下、添付図面を参照して、本発明の実施形態を説明する。なお、本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。また、実施形態の中で説明されている特徴の組み合わせすべてが、本発明に必須とは限らない。
[第1の実施形態]
図1は、符号化装置を備える撮像装置100の構成を示すブロック図である。図1において、制御部101は、撮像装置100の各部を制御する。撮像部102は、光学ズームが可能なレンズ光学系と、レンズ光学系からの光情報を電気信号に変換する撮像素子(CCDイメージセンサ又はCMOSセンサなど)を含む。レンズ光学系は、光学レンズ、絞り、フォーカス制御部、及びレンズ駆動部を含む。撮像部102は、撮像素子により得られた電気信号をデジタル信号に変換したRAWデータを、メモリ104に書き込む。
ここでRAWデータは、図2に示すように、受光する画素領域である有効撮像領域と、遮光された画素領域であるオプティカルブラック領域(OB領域)とで構成される。図2の例では、RAWデータは、ベイヤー配列のR(赤)、G1(緑)、G2(緑)、及びB(青)の4つの色要素で構成されるものとするが、色要素の種類やその配列はこの構成に限定されず、他の構成であってもよい。
メモリI/F部103は、撮像装置100の各部からのメモリアクセス要求を調停し、メモリ104に対する読み出し及び書き込みの制御を行う。メモリ104は、撮像装置100の各部から出力される各種データを格納するための、例えば揮発性メモリで構成される記憶領域である。
RAWデータ符号化部105は、周波数変換部105a、量子化部105b、及びエントロピー符号化部105cを含み、これらを用いてRAWデータの符号化を行う。具体的には、RAWデータ符号化部105は、メモリ104に格納されたRAWデータを読み出し、周波数変換部105aを用いて、離散コサイン変換又は離散ウェーブレット変換等による周波数変換処理を行う。これにより、RAWデータは周波数領域のデータ(変換係数)に変換される。次に、RAWデータ符号化部105は、量子化部105bを用いて、変換係数に対して量子化処理を行う。その後、RAWデータ符号化部105は、エントロピー符号化部105cを用いて、量子化後の変換係数に対してハフマン符号化又は算術符号化等によるエントロピー符号化を行う。周波数変換処理やエントロピー符号化に関しては、ここに例示した方式以外の方式を用いてもよい。RAWデータ符号化部105は、このような符号化により生成された符号化データをメモリ104に書き込む。
記録処理部106は、メモリ104に格納された符号化データを読み出し、所定の記録フォーマットに変換して記録媒体107に記録する。記録媒体107は、例えば不揮発性メモリで構成される。
OB領域解析部108(オプティカルブラック領域解析部)は、図2を参照して説明したOB領域を解析する。解析処理の一部については、RAWデータ符号化部105が実行する場合もある。解析処理の詳細は後述する。
ここで、ISO感度等の撮像条件に依存してRAWデータに混入されるノイズの特性は、有効撮像領域とOB領域とで同様であると考えられる。そこで、撮像装置100は、OB領域を解析することによりRAWデータに含まれるノイズ量を推定し、推定ノイズ量に応じた量子化パラメータを用いて符号化を行うことにより、ノイズを抑制する。
図3は、撮像装置100が実行する符号化処理のフローチャートである。本フローチャートの各ステップの処理は、特に断らない限り、制御部101が制御プログラムを実行することにより実現される。撮像部102により被写体の撮像が行われ、RAWデータが生成されると、本フローチャートの処理が開始する。
S301で、OB領域解析部108は、RAWデータのOB領域を解析する。ここでは、OB領域解析部108は、RAWデータ符号化部105に所定の量子化パラメータ(例えば、S306において後述する通常の量子化パラメータ)を用いてOB領域の一部又は全体を符号化させ、発生符号量を取得する。
S302で、制御部101は、S301において取得された発生符号量に基づき、ノイズ量が「大」であるか否かを判定する。ノイズ量が「大」であると判定された場合、制御部101は処理をS303に進め、ノイズ削減(大)用量子化パラメータをRAWデータ符号化部105に設定する。
S302においてノイズ量が「大」でないと判定された場合、制御部101は処理をS304に進め、S301において取得された発生符号量に基づき、ノイズ量が「中」であるか否かを判定する。ノイズ量が「中」であると判定された場合、制御部101は処理をS305に進め、ノイズ削減(中)用量子化パラメータをRAWデータ符号化部105に設定する。
S304においてノイズ量が「中」でないと判定された場合、制御部101は処理をS306に進め、通常の量子化パラメータをRAWデータ符号化部105に設定する。
S307で、RAWデータ符号化部105は、S303、S305、又はS306において設定された量子化パラメータを用いてRAWデータを符号化する。この符号化において、ノイズ削減(中)用量子化パラメータが用いられる場合、RAWデータの高周波成分は、通常の量子化パラメータが用いられる場合よりも大きい量子化ステップで量子化される。同様に、ノイズ削減(大)用量子化パラメータが用いられる場合、RAWデータの高周波成分は、ノイズ削減(中)用量子化パラメータが用いられる場合よりも大きい量子化ステップで量子化される。これにより、ノイズ量の指標値となるOB領域の発生符号量に応じた量子化ステップでRAWデータの高周波成分が量子化され、ノイズが適切に抑制される。なお、低周波成分の量子化ステップは特に限定されないが、例えば、ノイズ削減(大)用量子化パラメータ、ノイズ削減(中)用量子化パラメータ、及び通常の量子化パラメータのいずれもが同じ大きさの量子化ステップに対応していてもよい。つまり、ノイズ量の指標値にかかわらず、同じ大きさの量子化ステップで量子化するようにしてもよい。
ここで、実際のRAWデータの例を用いて、量子化パラメータの決定方法(図3のS302及びS304における判定基準)を具体的に説明する。図4は、同一シーンにおいてISO感度を100から204800まで1段ずつ変更して撮像したRAWデータに対する、ISO感度とOB領域の発生符号量との関係を示すグラフである。
図4において、横軸はISO感度の段数を示しており、「1」が「ISO感度=100」に対応し、以降1段進む毎にISO感度の値は2倍となり、「12」が「ISO感度=204800」に対応する。縦軸は、ISO感度=100の発生符号量を1とした場合の発生符号量の比率を示している。「OB」はOB領域全体の発生符号量を、「VOB」は垂直OB領域(図7のVOB領域702参照)の発生符号量を、「HOB」は水平OB領域(図7のHOB領域701参照)の発生符号量を、それぞれ示す。「OB」、「VOB」、及び「HOB」のいずれについても、ISO感度=100の発生符号量を1として図示している。
図4の例では、OB領域の発生符号量は、ISO感度=100から400までは概ね一定であり、ISO感度800以降は概ね一次関数的に増加している。これは、OB領域に含まれるノイズ量に対応して発生符号量が増加していることを示している。そこで、図3のフローチャートにおいて、例えばISO感度=100に対応する発生符号量の1.5倍以上をノイズ量「大」、1.2倍以上をノイズ量「中」のように定める。図4に示すOB領域の場合、ISO感度=25600以上がノイズ量「大」、ISO感度=6400以上25600未満がノイズ量「中」、ISO感度=6400未満がノイズ量「小」に対応する。
また、図4に示すように、ISO感度に応じたVOB領域及びHOB領域の発生符号量の変化は、OB領域とほぼ同様の傾向を持つ。従って、撮像装置100は、OB領域の発生符号量の代わりに、VOB領域又はHOB領域の発生符号量をノイズ量の指標値として用いてもよい。この場合、図3のS301におけるOB領域解析の処理負荷が、OB領域全体を符号化して発生符号量を取得する場合と比べて軽減される。また、撮像装置100は、OB領域の一部の領域の発生符号量をノイズ量の指標値として用いてもよい。この一部の領域の位置及び大きさは特に限定されず、ノイズ量の判定精度の要求水準に応じて適宜定めることができる。
ところで、ノイズ量の指標値はOB領域の発生符号量に限定されず、撮像装置100は、ノイズ量の指標値としての性質を持つ限り、任意の情報を利用することができる。即ち、図3のS301におけるOB領域の解析処理は、ノイズ量を推定可能なものである限り、任意の解析処理を採用することができる。
以下では、ノイズ量の指標値の他の例として、OB領域の画素値のバラツキ(分散や標準偏差など)を用いる場合について説明する。この場合、OB領域解析部108は、図3のS301において、OB領域の画素値に対して、下記の式1に基づく分散、又は下記の式2に基づく標準偏差を算出する。
Figure 2017216629
Figure 2017216629
ここで、
σ2:分散
σ:標準偏差
n:画素数
:i番目の画素の画素値
μ:全画素の平均値
である。
図5(a)は、図4の例と同様にISO感度を100から204800まで1段ずつ変更して撮像したRAWデータに対する、ISO感度とOB領域の画素値の標準偏差との関係を示すグラフである。
図5(a)において、横軸はISO感度の段数を示しており、「1」が「ISO感度=100」に対応し、以降1段進む毎にISO感度の値は2倍となり、「12」が「ISO感度=204800」に対応する。縦軸は、ISO感度=100の標準偏差を1とした場合の標準偏差の比率を示している。「OB」はOB領域全体の標準偏差を、「VOB」は垂直OB領域(図7のVOB領域702参照)の標準偏差を、「HOB」は水平OB領域(図7のHOB領域701参照)の標準偏差を、それぞれ示す。「OB」、「VOB」、及び「HOB」のいずれについても、ISO感度=100の標準偏差を1として図示している。
図5(a)の例では、OB領域の標準偏差は、ISO感度=100から400までは概ね一定であり、ISO感度800以降は概ね二次関数的に増加している。これは、OB領域に含まれるノイズ量に対応して標準偏差が増大していることを示している。ここで、図5(b)に示すように、図5(a)の縦軸を対数目盛で置き換える。この置き換えにより、図4の場合と同様、ISO感度800以降の標準偏差の増大を一次関数的に捉えることが可能となる。従って、撮像装置100は、ノイズ量の指標値としてOB領域の発生符号量を用いる場合と同様に、OB領域の標準偏差を用いて量子化パラメータを決定することが可能である。OB領域の分散を用いる場合については図示を省略するが、標準偏差を用いる場合と同様に、撮像装置100はOB領域の分散を用いて量子化パラメータを決定することが可能である。また、図4の場合と同様、撮像装置100は、OB領域の一部の領域の標準偏差又は分散を算出してもよい。
ところで、図3では説明の単純化のためにノイズ量を「大」、「中」、「小」の3段階で判定する例を示したが、本実施形態はこれに限定されない。例えば、撮像装置100は、ISO感度=100の場合のOB領域の解析結果(発生符号量や標準偏差など)に対する比率を重み係数として、標準の量子化パラメータに対して加算又は乗算してもよい。
なお、基準となるISO感度=100の場合のOB領域の解析結果は、撮像装置100が事前に記憶していてもよいし、例えば電源投入時に撮像及び解析を行うことにより取得してもよい。
以上説明したように、第1の実施形態によれば、撮像装置100は、OB領域の少なくとも一部を解析することのよりノイズ量を推定し、推定ノイズ量に応じた量子化パラメータを用いてRAWデータを符号化する。これにより、撮像画像のノイズ量をより高精度に推定してノイズを抑制することが可能となる。
[第2の実施形態]
第1の実施形態では、ノイズ量の指標値(OB領域の発生符号量など)に基づいて設定された量子化パラメータを用いて、RAWデータ全体を符号化する構成について説明した。第2の実施形態では、ノイズ量の指標値に基づいて設定された量子化パラメータを用いた符号化を行う際に、ノイズ量の指標値の取得時に符号化された領域を符号化対象から除外する構成について説明する。第2の実施形態において、撮像装置100の基本的な構成は第1の実施形態と同様である(図1参照)。以下、主に第1の実施形態と異なる点について説明する。
図6は、撮像装置100が実行する符号化処理のフローチャートである。本フローチャートの各ステップの処理は、特に断らない限り、制御部101が制御プログラムを実行することにより実現される。図6において、図3と同一又は同様の処理が行われるステップには同一の符号を付す。撮像部102によりRAWデータが生成されると、本フローチャートの処理が開始する。
S601及びS602で、OB領域解析部108は、第1の実施形態において図3のS301を参照して説明したのと同様に、OB領域の一部又は全体を符号化して発生符号量を取得する。例えば、OB領域解析部108は、図7に示すように、RAWデータをHOB領域701、VOB領域702、及び有効撮像領域703に分割し、このうちHOB領域701及びVOB領域702(即ち、OB領域全体)を符号化して発生符号量を取得する。
S603で、RAWデータ符号化部105は、S303、S305、又はS306において設定された量子化パラメータを用いて、RAWデータの残りの領域(S601において符号化が行われた領域を除いた領域)を符号化する。例えば、図7を参照して説明したようにS601においてOB領域全体が符号化された場合、「残りの領域」は、有効撮像領域703に対応する。
S604で、制御部101は、S603において生成された符号化データに、S601において生成された符号化データを関連付ける。これにより、RAWデータ全体に対応する符号化データがひとまとまりのデータとして得られる。
第1の実施形態では、ノイズ量の指標値として発生符号量を用いる場合、OB領域の少なくとも一部について2回(図3のS301及びS307)符号化が行われた。これに対し、第2の実施形態では、S601において符号化が行われた領域については、S603において符号化が行われない。これにより、処理負荷が軽減される。
[第3の実施形態]
第3の実施形態では、第1の実施形態に対して、撮像条件に応じてOB領域の解析を省略する構成を追加した構成について説明する。第3の実施形態において、撮像装置100の基本的な構成は第1の実施形態と同様である(図1参照)。以下、主に第1の実施形態と異なる点について説明する。
図8は、撮像装置100が実行する符号化処理のフローチャートである。本フローチャートの各ステップの処理は、特に断らない限り、制御部101が制御プログラムを実行することにより実現される。図8において、図3と同一又は同様の処理が行われるステップには同一の符号を付す。撮像部102によりRAWデータが生成されると、本フローチャートの処理が開始する。
S801で、制御部101は、RAWデータの撮像時の撮像条件を取得する。取得対象の撮像条件は、RAWデータのノイズ量に影響する撮像条件であり、例えば、ISO感度や露光時間などである。
S802で、制御部101は、S801において取得した撮像条件が、ノイズ量を推定する必要のある撮像条件であるか否かを判定する。ノイズ量を推定する必要のある撮像条件とは、RAWデータのノイズ量がある程度大きくなると予測される撮像条件であり、例えば撮像部102の特性に基づいて決定される。従って、ノイズ量を推定する必要のある撮像条件の場合、ノイズ量を推定する必要のない撮像条件の場合よりも、RAWデータのノイズ量が大きくなると予測される。ノイズ量を推定する必要のある撮像条件の場合、処理はS301に進み、そうでない場合、処理はS306に進む。従って、ノイズ量を推定する必要のない撮像条件の場合、ノイズ量「小」の場合と同じ量子化パラメータが使用される。
このように、RAWデータのノイズ量がある程度小さくなると予測される撮像条件の場合にはOB領域の解析が省略されるので、処理負荷が軽減される。
[その他の実施形態]
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
100…撮像装置、101…制御部、102…撮像部、103…メモリI/F部、104…メモリ、105…RAWデータ符号化部105、106…記録処理部、107…記録媒体、108…OB領域解析部

Claims (16)

  1. RAWデータに含まれるオプティカルブラック領域の少なくとも一部を解析することによりノイズ量の指標値を取得する取得手段と、
    前記指標値に基づいてRAWデータを量子化する量子化手段と、
    前記量子化されたRAWデータを符号化する符号化手段と、
    を備え、
    前記量子化手段は、前記指標値が第1の値の場合、第1の量子化ステップでRAWデータを量子化し、前記指標値が前記第1の値よりも大きいノイズ量に対応する第2の値の場合、前記第1の量子化ステップよりも大きい第2の量子化ステップでRAWデータを量子化する
    ことを特徴とする符号化装置。
  2. さらに、RAWデータを周波数変換する変換手段を有し、
    前記量子化手段は、前記変換手段により周波数変換して得られたデータを量子化する
    ことを特徴とする請求項1に記載の符号化装置。
  3. 前記量子化手段は、前記指標値が前記第1の値の場合、RAWデータの高周波成分を前記第1の量子化ステップで量子化し、前記指標値が前記第2の値の場合、RAWデータの前記高周波成分を前記第2の量子化ステップで量子化する
    ことを特徴とする請求項2に記載の符号化装置。
  4. 前記量子化手段は、RAWデータの低周波成分のデータは、前記指標値にかかわらず、同じ量子化ステップで量子化する
    ことを特徴とする請求項3に記載の符号化装置。
  5. 前記取得手段は、前記指標値として、前記オプティカルブラック領域の少なくとも一部を周波数領域で量子化して符号化することにより生成される符号化データの符号量を取得する
    ことを特徴とする請求項1乃至4のいずれか1項に記載の符号化装置。
  6. 前記取得手段は、前記指標値として、前記オプティカルブラック領域の少なくとも一部の画素値の分散又は標準偏差を取得する
    ことを特徴とする請求項1乃至4のいずれか1項に記載の符号化装置。
  7. 前記取得手段は、RAWデータの撮像条件が、第1の撮像条件よりもノイズ量が大きくなると予測される第2の撮像条件の場合に前記解析を行う
    ことを特徴とする請求項1乃至6のいずれか1項に記載の符号化装置。
  8. 前記量子化手段は、RAWデータの撮像条件が前記第1の撮像条件の場合、前記第1の量子化ステップで前記RAWデータを量子化する
    ことを特徴とする請求項7に記載の符号化装置。
  9. 前記RAWデータは、前記オプティカルブラック領域の少なくとも一部を有する第1の領域と、前記オプティカルブラック領域を含まない第2の領域とを有する
    ことを特徴とする請求項1に記載の符号化装置。
  10. 前記量子化手段は、前記第1の領域及び前記第2の領域を含むRAWデータを、前記指標値に応じて決定される量子化ステップで量子化する
    ことを特徴とする請求項9に記載の符号化装置。
  11. 前記量子化手段は、前記第2の領域のRAWデータを、前記指標値に応じて決定される量子化ステップで量子化する
    ことを特徴とする請求項9に記載の符号化装置。
  12. 前記取得手段は、前記指標値として、前記第1の領域のRAWデータを符号化することにより生成される符号化データの符号量を取得し、
    前記量子化手段は、前記指標値が前記第1の値の場合、前記第1の量子化ステップで前記第2の領域のRAWデータを量子化し、前記指標値が前記第2の値の場合、前記第2の量子化ステップで前記第2の領域のRAWデータを量子化する
    ことを特徴とする請求項11に記載の符号化装置。
  13. 前記第1の領域は、前記オプティカルブラック領域の全体であり、
    前記第2の領域は、前記RAWデータに含まれる有効撮像領域である
    ことを特徴とする請求項9に記載の符号化装置。
  14. 請求項1乃至13のいずれか1項に記載の符号化装置と、
    被写体を撮像することにより前記RAWデータを取得する撮像手段と、
    を備えることを特徴とする撮像装置。
  15. 符号化装置が実行する符号化方法であって、
    RAWデータに含まれるオプティカルブラック領域の少なくとも一部を解析することによりノイズ量の指標値を取得する取得工程と、
    前記指標値に基づいてRAWデータを量子化する量子化工程と、
    前記量子化されたRAWデータを符号化する符号化工程と、
    を備え、
    前記量子化工程では、前記指標値が第1の値の場合、第1の量子化ステップでRAWデータを量子化し、前記指標値が前記第1の値よりも大きいノイズ量に対応する第2の値の場合、前記第1の量子化ステップよりも大きい第2の量子化ステップでRAWデータを量子化する
    ことを特徴とする符号化方法。
  16. コンピュータを、請求項1乃至13のいずれか1項に記載の符号化装置の各手段として機能させるためのプログラム。
JP2016110222A 2016-06-01 2016-06-01 符号化装置、撮像装置、符号化方法、及びプログラム Active JP6792351B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016110222A JP6792351B2 (ja) 2016-06-01 2016-06-01 符号化装置、撮像装置、符号化方法、及びプログラム
US15/604,371 US10462401B2 (en) 2016-06-01 2017-05-24 Encoding apparatus and encoding method encoding raw data that is quantized based on an index value of noise amount in an optical black area

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016110222A JP6792351B2 (ja) 2016-06-01 2016-06-01 符号化装置、撮像装置、符号化方法、及びプログラム

Publications (3)

Publication Number Publication Date
JP2017216629A true JP2017216629A (ja) 2017-12-07
JP2017216629A5 JP2017216629A5 (ja) 2019-06-27
JP6792351B2 JP6792351B2 (ja) 2020-11-25

Family

ID=60483845

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016110222A Active JP6792351B2 (ja) 2016-06-01 2016-06-01 符号化装置、撮像装置、符号化方法、及びプログラム

Country Status (2)

Country Link
US (1) US10462401B2 (ja)
JP (1) JP6792351B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10290158B2 (en) 2017-02-03 2019-05-14 Ford Global Technologies, Llc System and method for assessing the interior of an autonomous vehicle
US10509974B2 (en) 2017-04-21 2019-12-17 Ford Global Technologies, Llc Stain and trash detection systems and methods
US10304165B2 (en) * 2017-05-12 2019-05-28 Ford Global Technologies, Llc Vehicle stain and trash detection systems and methods

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006043563A1 (ja) * 2004-10-22 2006-04-27 Sanyo Electric Co., Ltd ノイズ除去装置
JP2008017247A (ja) * 2006-07-07 2008-01-24 Nikon Corp 電子カメラ、および画像処理プログラム
JP2015177244A (ja) * 2014-03-13 2015-10-05 キヤノン株式会社 画像処理装置及び画像処理方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5724097A (en) * 1993-10-18 1998-03-03 Mitsubishi Denki Kabushiki Kaisha Adaptive quantization of video based on edge detection
JP4765240B2 (ja) 1999-06-14 2011-09-07 株式会社ニコン 圧縮符号化方法,圧縮符号化プログラムを記録した記録媒体,および圧縮符号化方法を実施する電子カメラ
JP3795516B2 (ja) * 2003-09-30 2006-07-12 三菱電機株式会社 撮像装置および撮像方法
KR101847365B1 (ko) * 2012-04-13 2018-04-09 미쓰비시덴키 가부시키가이샤 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법, 화상 복호 방법 및 기록 매체
US9341014B2 (en) * 2012-12-27 2016-05-17 Panasonic Intellectual Property Corporation Of America Information communication method using change in luminance

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006043563A1 (ja) * 2004-10-22 2006-04-27 Sanyo Electric Co., Ltd ノイズ除去装置
JP2008017247A (ja) * 2006-07-07 2008-01-24 Nikon Corp 電子カメラ、および画像処理プログラム
JP2015177244A (ja) * 2014-03-13 2015-10-05 キヤノン株式会社 画像処理装置及び画像処理方法

Also Published As

Publication number Publication date
US10462401B2 (en) 2019-10-29
US20170353681A1 (en) 2017-12-07
JP6792351B2 (ja) 2020-11-25

Similar Documents

Publication Publication Date Title
US7548689B2 (en) Image processing method
TWI539822B (zh) 利用時間性同調動態範圍對映的視訊編碼技術
JP4799438B2 (ja) 画像記録装置、画像記録方法、画像符号化装置、及びプログラム
US8493480B2 (en) Image capturing method and apparatus for efficiently processing a digital image
US8615140B2 (en) Compression of image data in accordance with depth information of pixels
US8675984B2 (en) Merging multiple exposed images in transform domain
JP6792351B2 (ja) 符号化装置、撮像装置、符号化方法、及びプログラム
US10600170B2 (en) Method and device for producing a digital image
US20080285866A1 (en) Apparatus and method for image data compression
US20170359471A1 (en) Imaging apparatus
US9055182B2 (en) Image coding apparatus, image coding method, and program
US10003801B2 (en) Image capturing apparatus that encodes and method of controlling the same
JP6906324B2 (ja) 符号化装置、符号化方法、及び、プログラム
JP7259836B2 (ja) 画像処理装置および方法、撮像素子、並びに、撮像装置
JP2015023498A (ja) 画像符号化装置、画像符号化方法およびプログラム
US10516896B2 (en) Encoding device, encoding method, and storage medium
US9313524B2 (en) Moving image coding apparatus, moving image coding method, and program therefor
JP5165084B2 (ja) 画像符号化装置
US9942569B2 (en) Image encoding apparatus and control method of the same
JP6486120B2 (ja) 符号化装置、符号化装置の制御方法、及びプログラム
JP2019022080A (ja) 符号化装置、符号化方法及びプログラム
JP7256629B2 (ja) 画像符号化装置及びその制御方法及びプログラム
JP2006197181A (ja) 固体撮像素子の信号処理装置および信号処理方法、並びに画像処理装置
Wolf et al. Image Capture Systems and Algorithms
JP2022022877A (ja) 符号化装置、撮像装置、制御方法、及びプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190523

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190523

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200212

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200306

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20200430

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200519

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201009

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201106

R151 Written notification of patent or utility model registration

Ref document number: 6792351

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151