JP2012151593A - 画像処理装置と画像処理方法および撮像装置 - Google Patents

画像処理装置と画像処理方法および撮像装置 Download PDF

Info

Publication number
JP2012151593A
JP2012151593A JP2011007687A JP2011007687A JP2012151593A JP 2012151593 A JP2012151593 A JP 2012151593A JP 2011007687 A JP2011007687 A JP 2011007687A JP 2011007687 A JP2011007687 A JP 2011007687A JP 2012151593 A JP2012151593 A JP 2012151593A
Authority
JP
Japan
Prior art keywords
image
image processing
encoding
unit
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Abandoned
Application number
JP2011007687A
Other languages
English (en)
Other versions
JP2012151593A5 (ja
Inventor
Koji Ozaki
浩治 尾崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2011007687A priority Critical patent/JP2012151593A/ja
Priority to US13/332,850 priority patent/US8842192B2/en
Priority to CN2012100065740A priority patent/CN102611825A/zh
Publication of JP2012151593A publication Critical patent/JP2012151593A/ja
Publication of JP2012151593A5 publication Critical patent/JP2012151593A5/ja
Abandoned legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression

Abstract

【課題】入力画像の一部である前処理画像を画像処理して符号化を行い、入力画像の符号化に必要な情報を事前取得する場合に、処理時間や消費電力等を削減できるようにする。
【解決手段】画像処理部１５は、撮像部１２で生成された撮像画像の画像処理を行う。画像処理では入力画像における画像位置に応じて、画像処理後の画像を得るために必要とされる画像処理前の画像のサイズが異なる処理を行う。符号化部１６は、画像処理部１５から出力される画像処理後の画像の符号化を行う。前処理指示部である制御部２５は、撮像画像を画像処理して符号化する前に、前処理として、撮像画像の一部である前処理画像を画像処理部１５で画像処理して符号化部１６に供給し、符号化部１６から撮像画像の符号化に必要な情報を事前取得する。前処理では、画像処理後の前処理画像を得るために必要とされる画像処理前の画像のサイズが小さくなるよう前処理画像を決定する。
【選択図】 図２

Description

この技術は、画像処理装置と画像処理方法および撮像装置に関する。
従来、ディジタルスチルカメラ等の撮像装置では、画像の歪みを補正する処理や、色収差を補正する処理、画像のサイズを拡大または縮小する処理等の画像処理が前処理として行われている。また、前処理後の画像データをＪＰＥＧ(Joint Photographic Experts Group)等の方式を用いて符号化してデータ量を削減することが行われている。
符号化では、例えば特許文献１のように符号化するべき対象のデータの一部を抽出して、見積りのための符号化を実行して符号化されたデータの符号量を基に符号化パラメータを変更して、データ全体を符号化する処理が行われている。また、符号化では、例えば特許文献２のように、符号化効率を高めるため、符号化するべき対象のデータの一部を抽出して、直流成分を予め取得することが行われている。
特開２００３−０５１７４８号公報 特開２００７−１５８８８４号公報
ところで、前処理で入力画像の一部（以下「前処理画像」という）を符号化する場合、画像の歪みを生じている場合と生じていない場合とで、前処理において読み出す画像のデータ量の違いを生じる場合がある。図１の（Ａ）は、画像処理として歪補正を行い、例えばレンズの歪曲収差によって生じた歪みを補正した画像を例示している。また、図１の（Ｂ）は、歪曲収差による歪を生じていないため、画像処理で歪補正を行わない場合の画像処理前の画像を示している。さらに、図１の（Ｃ）は、レンズの歪曲収差を生じており、画像処理で歪補正を行う場合の画像処理前の画像を示している。
図１の（Ｂ）に示すように歪み生じていない場合、前処理において符号化部に供給する画像処理後の前処理画像を所定サイズ、例えば符号化の処理単位とするために必要な画像処理前の前処理画像の大きさは、前処理画像を入力画像の何れの位置としても等しい。すなわち、前処理画像を入力画像の何れの位置としても、読み出す画像のデータ量は等しい。例えば、図１の（Ａ）に示すように中央部分に前処理画像の領域ＷＡに設定した場合、図１の（Ｂ）に示すように、入力画像の中央部分の領域Ｗａ（＝ＷＡ）を前処理読み出し領域として、この前処理読み出し領域の画像を用いればよい。また、図１の（Ａ）に示すように側端部に領域ＷＡと幅が等しい前処理画像の領域ＷＢを設定した場合、図１の（Ｂ）に示すように、入力画像の側端部の領域Ｗｂ（＝ＷＢ）を前処理読み出し領域として、この前処理読み出し領域の画像を用いればよい。
しかし、図１の（Ｃ）に示すように歪みを生じている場合、前処理読み出し領域の設定位置によって読み出す画像のデータ量が相違する場合がある。例えば、中央部分に前処理画像の領域ＷＡに設定した場合、入力画像の中央部分の領域Ｗａ（＝ＷＡ）を前処理読み出し領域として、この前処理読み出し領域の画像を用いればよい。しかし、側端部では歪みを生じていることから、領域ＷＢよりも幅が広い領域Ｗｃ（＞ＷＢ）を前処理読み出し領域に設定しなければ、画像処理後の領域ＷＢの前処理画像を得ることができない。このように、前処理画像を何れの位置に設定するかによって読み出す画像のデータ量が相違する場合があり、読み出すデータ量が大きくなると、処理時間や消費電力が増加するという問題を生じてしまう。
そこで、この技術では、入力画像の一部である前処理画像を画像処理して符号化を行い、入力画像の符号化に必要な情報を事前取得する場合に、処理時間や消費電力等を削減できる画像処理装置と画像処理方法および撮像装置を提供することを目的とする。
この技術の第１の側面は、入力画像の画像処理を行い、該画像処理では前記入力画像における画像位置に応じて、画像処理後の画像を得るために必要とされる画像処理前の画像のサイズが異なる処理を行う画像処理部と、前記画像処理部から出力される画像処理後の画像の符号化を行う符号化部と、前記入力画像を画像処理して符号化する前に、前処理として、前記入力画像の一部である前処理画像を前記画像処理部で画像処理して前記符号化部に供給し、前記符号化部から前記入力画像の符号化に必要な情報を事前取得する前処理指示部とを備え、前記前処理指示部は、前記画像処理後の前処理画像を得るために必要とされる画像処理前の画像のサイズが小さくなるよう前記前処理画像を決定する画像処理装置にある。
この技術において、画像処理部では、入力画像における画像位置に応じて、画像処理後の画像を得るために必要とされる画像処理前の画像のサイズが異なる画像処理、例えば、色の成分よって拡大縮小率が異なる画像を同一サイズとする画像処理、画像の位置によって拡大縮小率が異なる画像を同一サイズとする画像処理、画像の位置によってフィルタのタップ数が異なるフィルタをかける画像処理、レンズによって生じた画像歪みを補正する画像処理の少なくとも１つを含む画像処理が行われる。符号化部では、画像処理部から出力される画像処理後の画像の符号化、例えばＪＰＥＧ方式の符号化が行われる。前処理指示部では、符号化を行う前に入力画像の一部である前処理画像を画像処理部で画像処理して符号化部に供給し、符号化部から入力画像の符号化に必要な情報を事前取得する。例えば、符号化に必要な情報として符号量を事前取得する。また、符号化部で予め定められた符号順序で前値差分の符号化を行う場合は前値差分を算出するための前値を事前取得する。さらに、前処理指示部は、画像処理後の前処理画像を得るために必要とされる画像処理前の画像のサイズが小さくなるよう前処理画像を決定する。すなわち、前処理画像を得るために必要とされる画像データの読出量が画面中で少なくなる位置を前処理画像の領域として選択する。また、前処理画像を得るために必要とされる画像処理前の画像の領域を前処理読み出し領域として、符号化に必要な情報を事前取得する前処理では、前処理読み出し領域の画像データを読み出して画像処理と符号化処理を行う。さらに、符号化部において、入力された画像を予め定められた符号順序と異なる順序で符号化する場合、並べ替え部では、符号化部から出力された符号を予め定められた符号順序に並べ替えを行う。
この技術の第２の側面は、入力画像の画像処理を行い、該画像処理では前記入力画像における画像位置に応じて、画像処理後の画像を得るために必要とされる画像処理前の画像のサイズが異なる処理を行う工程と、前記画像処理後の画像の符号化を行う工程と、前記符号化を行う前に前記入力画像の一部である前処理画像を画像処理して符号化を行い、前記入力画像の符号化に必要な情報を事前取得する前処理を行い、前記前処理では前記画像処理後の前処理画像を得るために必要とされる画像処理前の画像のサイズが小さくなるよう前記前処理画像を決定する工程とを含む画像処理方法にある。
この技術の第３の側面は、撮像画像の生成を行う撮像部と、前記撮像画像の画像処理を行い、該画像処理では前記撮像画像における画像位置に応じて、画像処理後の画像を得るために必要とされる画像処理前の画像のサイズが異なる処理を行う画像処理部と、前記画像処理部から出力される画像処理後の画像の符号化を行う符号化部と、前記撮像画像を画像処理して符号化する前に、前処理として、前記撮像画像の一部である前処理画像を前記画像処理部で画像処理して前記符号化部に供給し、前記符号化部から前記撮像画像の符号化に必要な情報を事前取得する前処理指示部とを備え、前記前処理指示部は、前記画像処理後の前処理画像を得るために必要とされる画像処理前の画像のサイズが小さくなるよう前記前処理画像を決定する撮像装置にある。
この技術によれば、入力画像の画像処理を行い、画像処理後の画像を符号化する前に、入力画像の一部である前処理画像を画像処理して符号化を行い、入力画像の符号化に必要な情報を事前取得する前処理が行われる。この前処理では、画像処理後の前処理画像を得るために必要とされる画像処理前の画像のサイズが小さくなるよう前処理画像が決定される。したがって、前処理において、画像処理を行うために入力画像から読み出すデータ量を少なくすることが可能となり、処理時間や消費電力等を削減できる。
画像に歪みを生じている場合と歪みを生じていない場合とで、前処理において読み出す画像のデータ量の違いを説明するための図である。 画像処理装置を撮像装置に適用した場合の構成を示した図である。 画像処理部の内部構成を例示した図である。 揮発性メモリ部に記憶されている画像データを用いて前処理を行う場合を示した図である。 画像処理後の画像データを揮発性メモリ部１９に一時記憶させてから符号化を行う場合を示した図である。 画像の歪みが小さい領域から画像データを読み出す場合を示した図である。 符号量見積り処理を示すフローチャートである。 撮像画像の右側で歪みが大きく左側で歪みが小さい場合の符号量見積もりを示した図である。 撮像画像の上側で歪みが大きく下側で歪みが小さい場合の符号量見積もりを示した図である。 撮像画像の符号化を示すフローチャートである。 画像処理単位を水平方向が２ブロックで垂直方向が３ブロックとした場合を示した図である。 直流成分の取得処理を示すフローチャートである。 撮像画像の右側で歪みが大きく左側で歪みが小さい場合の前処理を示した図である。 撮像画像の符号化を示すフローチャートである。 ブロック「２」の列を前処理画像とした場合の符号化動作を示した図である。 ブロック「２」の列の画像を前処理画像とした場合の画像処理と符号化の動作を示した図である。 符号化データのブロック単位の並べ替えを示した図である。 レンズによって生じた画像歪みを補正する場合（その１）を示した図である。 レンズによって生じた画像歪みを補正する場合（その２）を示した図である。 位置によって拡大縮小率が異なる画像を補正する場合を示した図である。 色毎に画像の拡大縮小率が異なる画像を補正する場合を示した図である。 ブレやボケを生じている撮像画像を補正する場合を示した図である。 ボケ補正と歪補正を順に行う場合の前処理画像の決定動作を示した図である。
以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
１．画像処理装置の構成
２．画像処理装置の動作
３．前処理として符号量の見積りを行う場合の動作
４．前処理として直流成分の取得を行う場合の動作
５．前処理で用いる前処理画像の具体例
＜１．画像処理装置の構成＞
図２は、本技術の画像処理装置を撮像装置に適用した場合の構成を示す図である。撮像装置１０は、撮像光学系１１、撮像部１２、アナログ信号処理部１３、Ａ／Ｄ変換部１４、画像処理部１５、符号化部１６、並べ替え部１７、記録部１８、揮発性メモリ部１９、表示部２０、制御部２５、入力部２６、不揮発性メモリ部２７を有している。また、撮像装置１０では、バス２９を介して、画像処理部１５、符号化部１６、並べ替え部１７、記録部１８、揮発性メモリ部１９、表示部２０、制御部２５、および不揮発性メモリ部２７が接続されている。
撮像光学系１１は、レンズを主体として構成されており、図示しない被写体の光学像を撮像部１２の受光面に結像させる。撮像部１２は、ＣＭＯＳやＣＣＤ等の固体撮像素子を用いて構成されている。撮像部１２は、光電変換を行い、撮像光学系１１によって受光面に結像された光学像に応じた撮像画像の画像信号を生成してアナログ信号処理部１３に出力する。アナログ信号処理部１３は、撮像部１２から出力されたアナログの画像信号に対して相関二重サンプリング処理（ＣＤＳ）やアナログ増幅処理等を行い、処理後の画像信号をＡ／Ｄ変換部１４に出力する。Ａ／Ｄ変換部１４は、アナログ信号処理部１３から出力されたアナログの画像信号をディジタル信号に変換して、変換後の画像信号である画像データを画像処理部１５に出力する。
画像処理部１５は、Ａ／Ｄ変換部１４から出力された画像データに対して、カメラ信号処理や種々の補正処理を行う。図３は、画像処理部の内部構成を例示している。画像処理部１５には、カメラ信号処理を行うブロックとして、例えばホワイトバランス調整部１５１、色変換部１５２、色偽抑圧部１５３、ガンマ補正部１５４が設けられている。また、画像処理部１５には、撮像画像における画像位置に応じて、画像処理後の画像を得るために必要とされる画像処理前の画像のサイズが異なる処理を行うブロックとして、例えば色収差補正部１５５、歪補正部１５６、ボケ補正部１５７が設けられている。
ホワイトバランス調整部１５１は、最適な色で撮像画像を再現できるように、画像データ、例えば三原色データの信号レベルを調整する。色変換部１５２は、既知の変換マトリクスを用いて、ホワイトバランス調整後の三原色データを輝度データと色差データに変換する。色偽抑圧部１５３は、色差データに対して飽和部分の偽色データを抑圧する処理を行う。ガンマ補正部１５４は、表示デバイスのガンマ特性に対応した画像データとなるように補正を行う。
色収差補正部１５５は、色の成分よって拡大縮小率が異なる画像を同一サイズとする処理を行う。例えば、撮像光学系１１の色収差によるずれ量を算出して、算出したずれ量を補正する色収差補正を画像データに対して行う。歪補正部１５６は、画像の位置によって拡大縮小率が異なる画像を同一サイズとする処理や、レンズによって生じた画像歪みを補正する処理を行う。例えば、撮像光学系１１におけるレンズの歪曲収差等に伴う画像の歪みを補正する歪補正処理を画像データに対して行う。ボケ補正部１５７は、例えばボケ画像を発生させるＰＳＦ(Point Spread Function)の周波数特性に応じて、補正後の画像が所望の周波数特性となるようにゲイン調整を行うフィルタを用いて構成されている。ボケ補正部１５７は、画像の位置（ボケ具合）に応じてフィルタのタップ数が異なるフィルタ処理を行い、ボケを除去する。
なお、画像データの処理順序は、図３の（Ａ）に示す順序だけでなく、図３の（Ｂ）や図３の（Ｃ）に示す順序であってもよい。また、画像処理部１５は、図３に示す構成に限らず、新たな信号処理や補正処理を行うブロックを設けたり、図３に示す構成から信号処理や補正処理を行う一部のブロックを削除した構成であってもよい。
図２の符号化部１６は、画像処理部１５から出力された画像データの符号化を行い、符号化データを生成する。並べ替え部１７は、符号化部１６で生成されたブロック単位の符号化データを、所定のブロック順序の符号化データに並び替える。記録部１８は、並べ替え部１７で並べ替えられたブロック単位の符号化データを記録媒体に記録する。
揮発性メモリ部１９は、ワーキングメモリ部として用いられる。揮発性メモリ部１９は、例えば撮像画像の画像データを一時記憶する。
表示部２０は、液晶表示素子や有機ＥＬ表示素子等を用いて構成されている。表示部２０は、撮像画像の表示やカメラスルー画の表示、撮像装置の設定や操作に関するメニュー表示等を行う。
制御部２５には入力部２６が接続されている。入力部２６は、ユーザからの操作入力を受け付けるものであり、電源スイッチやシャッターキー、ズームキー等の各種の操作キー、メニュー表示やメニュー項目の選択および各種設定を行うための操作キー等が設けられている。入力部２６は、ユーザ操作に応じた操作信号を制御部２５に出力する。
制御部２５は、マイクロコンピュータ等を用いて構成されており、不揮発性メモリ部２７に記憶されているプログラムを読み出して実行して、撮像装置１０の動作がユーザ操作に応じた動作となるように各部を制御する。
また、制御部２５は、前処理指示部としての動作を行い、符号化を行う前に入力画像の一部である前処理画像を画像処理部１５で画像処理して符号化部１６に供給し、符号化部１６から入力画像の符号化に必要な情報を事前取得する前処理を行う。さらに、制御部２５は、前処理で画像処理部１５から符号化部１６に画像処理後の前処理画像、例えば符号化の処理単位のサイズである前処理画像を供給するために必要とされる画像処理前の画像のサイズが小さくなるよう前処理画像を決定する。
＜２．画像処理装置の動作＞
撮像装置１０は、符号量の見積りや直流成分（ＤＣ成分）の取得等の前処理を行い、前処理結果を用いて符号化を行うために、符号化前の画像データを揮発性メモリ部１９に一時記憶させて、揮発性メモリ部１９に記憶されている画像データを用いて前処理を行う。
また、画像処理部１５において時間を要する処理が含まれていると、撮像時間間隔を短くすることができない。したがって、撮像装置１０は、画像処理部１５で一部の処理が行われた画像データを揮発性メモリ部１９に記憶させて、その後、揮発性メモリ部１９に記憶されている画像データを読み出して、画像処理部１５で残りの処理を行うようにすれば、撮像時間間隔を短くできる。
さらに、画像処理部１５で処理された画像データを揮発性メモリ部１９に一時記憶させて、揮発性メモリ部１９に記憶されている画像データを用いて前処理や撮像画像全体の符号化を行うと、揮発性メモリ部１９へのアクセス量が増加してしまう。そこで、撮像装置１０は、前処理や撮像画像全体の符号化を行う場合、画像処理部１５で処理された画像データを、揮発性メモリ部１９に一時記憶させることなく符号化部１６に供給する。
図４は、例えば歪補正前の画像データを揮発性メモリ部１９に一時記憶させて、揮発性メモリ部１９に記憶されている画像データを用いて前処理を行う場合を示している。なお、歪補正前の画像データでは、画像の左側では歪みがなく右側では、右端部側で歪みが大きくなる場合を例示している。
例えば、前処理画像の位置をブロック「８」「１６」「２４」とする場合、撮像装置１０は、揮発性メモリ部１９からブロック「８」「１６」「２４」の画像データを読み出して画像処理部１５で歪み補正を行い、歪み補正後の画像データを符号化部１６に供給する。
このように撮像装置１０は、歪補正後の画像データを符号化部１６に供給することで、図５に示すように、画像処理後の画像データを揮発性メモリ部１９に一時記憶させる場合に比べて、揮発性メモリ部１９へのアクセス量を少なくする。
ところで、前処理で歪補正前のブロックの画像データを読み出す場合、図４のように前処理画像の位置を画像の歪みが大きい領域とすると、図６のように前処理画像の位置を画像の歪みが小さい領域とした場合に比べて、読み出すデータ量が大きくなってしまう。
そこで、撮像装置１０は、前処理において、画像処理部１５から符号化部１６に画像処理後の前処理画像を供給するために必要とされる画像処理前の画像のサイズが小さくなるように、前処理画像を決定する。すなわち、撮像装置１０は、前処理画像を得るために必要とされる画像データの読出量が画面中で少なくなる位置を前処理画像の領域として選択して、前処理画像を得るために必要とされる画像処理前の画像の領域を前処理読み出し領域とする。さらに、撮像装置１０は、前処理読み出し領域の画像データを読み出して歪補正を行い、歪補正後の画像データを用いて入力画像の符号化に必要な情報を事前取得する。また、撮像装置１０は、前処理で事前取得した結果を用いて、入力画像の符号化を行う。
＜３．前処理として符号量の見積りを行う場合の動作＞
次に、前処理として符号量の見積りを行う場合の動作について説明する。なお、前処理で用いる画像データは、揮発性メモリ部１９に記憶されている歪補正前の画像データとする。
図７は、符号量見積り処理を示すフローチャートである。ステップＳＴ１で制御部２５は、符号量見積り領域を設定する。例えば、レンズの歪曲収差等に伴う画像の歪みを補正する場合、どのような歪曲収差が生じるかは使用するレンズやズーム倍率等に基づいて判別することができる。したがって、制御部２５は、使用するレンズやズーム倍率等に基づいて、歪曲収差の小さい画像領域を判別する。また、制御部２５は、前処理において画像処理後の前処理画像を得るために必要な画像処理前の画像のサイズが小さくなるように、前処理画像を決定する。さらに、制御部２５は、決定した前処理画像を得るために必要とされる画像処理前の画像の領域を符号量見積り領域と設定してステップＳＴ２に進む。
符号量見積りでは、例えば画像処理後の画像に対して等間隔で等しい画像サイズの前処理画像を設けて、この前処理画像を符号化したときの符号量を用いて、撮像画像の符号量を見積もる。ここで、図８の（Ａ）に示すように、撮像画像の右側で歪みが大きく左側で歪みが小さい場合を例示する。図８の（Ｂ）に示すように、ブロック「２」「４」「６」「８」の列を前処理画像として、領域ＧＡp2，ＧＡp4，ＧＡp6，ＧＡp8を符号量見積り領域に設定すると、図８の（Ｃ）に示すように、ブロック「１」「３」「５」「７」の列の画像を前処理画像として、領域ＧＡp1，ＧＡp3，ＧＡp5，ＧＡp7を符号量見積り領域に設定する場合に比べて読み出すデータ量が大きくなってしまう。したがって、制御部２５は、歪みの小さい画像部分に前処理画像を決定する。すなわち、１画面の画像においてブロック「１」「３」「５」「７」の列の画像を前処理画像として選択して、領域ＧＡp1，ＧＡp3，ＧＡp5，ＧＡp7を符号量見積り領域（前処理読み出し領域）に設定する。
また、図９の（Ａ）に示すように、撮像画像の上側で歪みが大きく下側で歪みが小さい場合、図９の（Ｂ）に示すように、ブロック「１」「１７」「３３」の行を符号量見積り領域ＧＡq1，ＧＡq17，ＧＡq33とすると、読み出すデータ量が大きくなってしまう。したがって、制御部２５は、歪みの小さい画像部分に符号量見積り領域を設定する。すなわち、図９の（Ｃ）に示すように、ブロック「９」「２５」「４１」の列を符号量見積り領域ＧＡq9，ＧＡq25，ＧＡq41に設定する。
ステップＳＴ２で制御部２５は、符号量見積り領域の画像データを揮発性メモリ部１９から読み出して画像処理部１５に供給してステップＳＴ３に進む。
ステップＳＴ３で画像処理部１５は、画像処理を行う。画像処理部１５は、読み出された符号量見積り領域の画像データに対して歪補正等を行う。また、画像処理部１５は、画像処理後の画像データを符号化部１６に出力してステップＳＴ４に進む。
ステップＳＴ４で符号化部１６は、符号化を行う。符号化部１６は、画像処理部１５から供給された画像処理後の画像データを用いて符号化を行い、符号化データを生成してステップＳＴ５に進む。
ステップＳＴ５で制御部２５は、符号化パラメータを決定する。制御部２５は、前処理画像すなわち符号量見積り領域の画像データを符号化部１６で符号化したときの符号量に基づき、撮像画像を符号化した場合の符号量を見積もる。さらに、制御部２５は、符号量の見積り結果に基づき、撮像画像を符号化した場合の符号量が所望の符号量となるように、符号化のパラメータを決定する。例えば撮像画像をＪＰＥＧ(Joint Photographic Experts Group）方式で符号化する場合、撮像画像を符号化した場合の符号量が所望の符号量となるように、量子化ステップサイズ等を決定する。
さらに、撮像装置１０は、前処理によって決定した符号化パラメータを用いて、撮像画像の符号化を行う。図１０は、撮像画像の符号化を示すフローチャートである。ステップＳＴ１１で制御部２５は、符号化の設定を行う。制御部２５は、図７に示す前処理で決定した符号化パラメータを符号化部１６に供給して、符号化部１６における符号化の設定を行いステップＳＴ１２に進む。
ステップＳＴ１２で制御部２５は、撮像画像全体の読み出しを行う。制御部２５は、揮発性メモリ部１９に記憶されている撮像画像全体の画像データを順に読み出して画像処理部１５に供給してステップＳＴ１３に進む。
ステップＳＴ１３で画像処理部１５は、画像処理を行う。画像処理部１５は、揮発性メモリ部１９に記憶されている撮像画像の画像データに対して歪補正等を行い、画像処理後の画像データを符号化部１６に出力してステップＳＴ１４に進む。
ステップＳＴ１４で符号化部１６は、符号化を行う。符号化部１６は、画像処理部１５から供給された画像処理後の画像データを符号化する。したがって、撮像画像の符号化データを所望の符号量とすることができる。
このように、画像処理後の前処理画像を得るために必要な画像処理前の画像のサイズが小さくなるよう前処理画像が決定されて、この前処理画像を用いて符号量の見積りが行われる。したがって、前処理を行う場合に、揮発性メモリ部１９から読み出す画像データのデータ量を少なくすることが可能となり、処理時間や消費電力を削減できる。さらに、画像処理部１５で処理された画像データが符号化部１６に供給されるので、揮発性メモリ部１９に対するメモリアクセス量を削減できる。
＜４．前処理として直流成分の取得を行う場合の動作＞
次に、符号化部１６でＪＰＥＧ方式の符号化を行い、前処理として直流成分（ＤＣ成分）の取得を行う場合の動作について説明する。符号化方式では、符号化済みである前ブロックの直流成分との差分である前値差分を符号化することで符号化効率を高めることが行われている。ここで、効率良く画像処理等を行うため、撮像装置１０は、複数ブロックを画像処理単位として、画像処理単位毎に画像データを読み出して処理する。この場合、前処理として前値差分を算出するための前値である直流成分を事前取得しておけば、画像処理単位毎に画像データが読み出されても、前処理で事前取得した直流成分を利用することで、読み出されたブロックについて符号化を行うことができる。
例えば図１１に示すように、画像処理単位を水平方向が２ブロックで垂直方向が３ブロックとした場合、撮像装置１０は、ブロック「１」「２」「９」「１０」「１７」「１８」の画像データを揮発性メモリ部１９から読み出して画像処理および符号化を行う。この場合、前処理でブロック「８」「１６」の直流成分を取得しておけば、ブロック「９」「１７」の符号化を行うことができる。なおブロック「１」は最初のブロックであり算出した直流成分を量子化する。また、ブロック「２」はブロック「１」の直流成分を用いて符号化を行い、同様にブロック「１０」「１８」は、ブロック「９」「１７」の直流成分を用いて符号化を行う。
このように、撮像装置１０は、前処理として直流成分を事前取得して、画像処理単位で画像データが読み出されても、前処理で取得した直流成分を利用して、画像処理単位で読み出された画像データの符号化を行うことができる。
図１２は、直流成分の取得処理を示すフローチャートである。ステップＳＴ２１で制御部２５は、前処理読み出し領域を設定する。例えば、レンズの歪曲収差等に伴う画像の歪みを補正する場合、どのような歪曲収差が生じるかは使用するレンズやズーム倍率等に基づいて判別することができる。したがって、制御部２５は、使用するレンズやズーム倍率等に基づいて、歪曲収差の小さい画像領域を判別する。また、制御部２５は、判別結果に基づき、前処理において画像処理後の前処理画像を得るために必要な画像処理前の画像のサイズが小さくなるよう前処理画像を決定する。さらに、制御部２５は、決定した前処理画像を得るために必要とされる画像処理前の画像の領域を前処理読み出し領域に設定してステップＳＴ２２に進む。
ここで、図１３の（Ａ）に示すように、撮像画像の右側で歪みが大きく左側で歪みが小さい場合、図１３の（Ｂ）に示すように、歪みの大きい画像部分であるブロック「８」の列の画像を前処理画像として領域ＧＡp8を前処理読み出し領域とすると、読み出すデータ量が大きくなってしまう。したがって、制御部２５は、前処理画像の位置を歪みの小さい画像部分の位置として前処理読み出し領域に設定する。例えば、図１３の（Ｃ）に示すように、歪みの小さい画像部分であるブロック「２」の列の画像を前処理画像として領域ＧＡp2を前処理読み出し領域に設定する。
ステップＳＴ２２で制御部２５は、前処理読み出し領域の画像データを揮発性メモリ部１９から読み出して画像処理部１５に供給してステップＳＴ２３に進む。
ステップＳＴ２３で画像処理部１５は、画像処理を行う。画像処理部１５は、読み出された前処理読み出し領域の画像データに対して歪補正等を行う。また、画像処理部１５は、画像処理後の画像データを符号化部１６に出力してステップＳＴ２４に進む。
ステップＳＴ２４で符号化部１６は、符号化を行う。符号化部１６は、画像処理部１５から供給された画像処理後の画像データを用いて符号化を行いステップＳＴ２５に進む。
ステップＳＴ２５で制御部２５は、直流成分を取得する。制御部２５は、前処理読み出し領域の画像データを符号化部１６で符号化したときに得られた直流成分を、その後に行われる撮像画像全体の符号化で利用可能に記憶して前処理を終了する。
さらに、撮像装置１０は、前処理によって取得した直流成分を用いて、撮像画像の符号化を行う。図１４は、撮像画像の符号化を示すフローチャートである。ステップＳＴ３１で制御部２５は、最初の読み出し領域を設定する。制御部２５は、前処理で読み出したブロックに対して符号化順方向に隣接する画像処理単位を最初の読み出し領域に設定してステップＳＴ３２に進む。
ステップＳＴ３２で制御部２５は、読み出し領域の画像データ読み出しを行う。制御部２５は、読み出し領域の画像データを揮発性メモリ部１９から読み出して画像処理部１５に供給してステップＳＴ３３に進む。
ステップＳＴ３３で画像処理部１５は、読み出された画像データを用いて画像処理を行う。画像処理部１５は、画像処理単位で読み出された画像データを用いて歪補正等を行いステップＳＴ３４に進む。
ステップＳＴ３４で符号化部１６は、符号化を行う。符号化部１６は、前処理で取得した直流成分、またはこれまでの符号化で取得した直流成分を使用して符号化を行いステップＳＴ３５に進む。
ステップＳＴ３５で制御部２５は、全体の処理が完了したか判別する。制御部２５は、画像処理と符号化が行われていない画像データが残っている場合にはステップＳＴ３６に進む。また、撮像画像の全体に対して画像処理と符号化が行われている場合は処理を終了する。
ステップＳＴ３６で制御部２５は、読み出し領域は右端であるか判別する。制御部２５は、読み出し領域が撮像画像の右端であるときステップＳＴ３７に進み、右端でないときはステップＳＴ３８に進む。
ステップＳＴ３７で制御部２５は、読み出し領域を左端に移動してステップＳＴ３９に進む。
ステップＳＴ３８で制御部２５は、読み出し領域を右に１画像処理単位分移動してステップＳＴ３９に進む。
ステップＳＴ３９で制御部２５は、移動後の読み出し領域が、既に画像データの読み出しが行われた領域であるか判別する。制御部２５は、移動後の読み出し領域が既に画像データの読み出しが行われた領域であるときステップＳＴ４０に進み、移動後の読み出し領域が既に画像データの読み出しが行われた領域でないときステップＳＴ３２に戻る。
ステップＳＴ４０で制御部２５は、読み出し領域を下に１画像処理単位分移動してステップＳＴ３２に戻る。
図１５は、ブロック「２」の列の画像を前処理画像として前処理読み出し領域を設定したときの符号化動作を示している。
ブロック「２」の列の画像が前処理画像とされた場合、制御部２５は、前処理で読み出したブロックに対して符号化順方向に隣接する画像処理単位の領域、すなわちブロック「３」「４」「１１」「１２」「１９」「２０」を最初の読み出し領域に設定する。さらに、制御部２５は、読み出し領域の画像データを読み出して画像処理と符号化を行わせる。符号化部１６は、前処理によってブロック「２」「１０」「１８」の直流成分が取得されていることから、この直流成分を用いてブロック「３」「１１」「１９」の符号化を行うことができる。また、符号化部１６は、ブロック「３」「１１」「１９」の符号化で算出された直流成分を用いてブロック「４」「１２」「２０」の符号化を行うことができる。
最初の読み出し領域の画像処理と符号化が終了すると、制御部２５は、読み出し領域をブロック「５」「６」「１３」「１４」「２１」「２２」の領域に移動して、新たな読み出し領域の画像データを用いて画像処理と符号化を行わせる。なお、ブロック「５」「１３」「２１」の符号化は、ブロック「４」「１２」「２０」の符号化で算出した直流成分が用いられる。
次に、制御部２５は、読み出し領域をブロック「７」「８」「１５」「１６」「２３」「２４」の領域に移動して、新たな読み出し領域の画像データを用いて画像処理と符号化を行わせる。このとき、読み出し領域は、画像の右端に位置している。したがって、制御部２５は、当該読み出し領域の画像処理と符号化を行ったのち、読み出し領域を画像の左端であるブロック「１」「２」「９」「１０」「１７」「１８」の領域に移動して、新たな読み出し領域の画像データを用いて画像処理と符号化を行わせる。なお、ブロック「１」は最初のブロックであり算出した直流成分を量子化する。また、ブロック「９」「１７」の符号化は、ブロック「８」「１６」の符号化で算出した直流成分が用いられる。
次に、読み出し領域を右に移動すると、読み出し領域は、既に画像処理と符号化が行われたブロック「３」「４」「１１」「１２」「１９」「２０」の位置となる。したがって、制御部２５は、読み出し領域を下に移動して、ブロック「２７」「２８」「３５」「３６」「４３」「４４」の領域を新たな読み出し領域として、画像処理と符号化を行わせる。また、この読み出し領域の符号化では、前処理によってブロック「２６」「３４」「４２」の直流成分が取得されていることから、符号化部１６は、この直流成分を用いてブロック「２７」「３５」「４３」の符号化を行うことができる。以下同様に処理を行うことで、撮像画像の全体について画像処理と符号化を行うことができる。
このように、制御部２５は、画像処理後の前処理画像を得るために必要な画像処理前の画像のサイズが小さくなるよう前処理画像を決定して、この前処理画像を用いて、前値差分を算出するための前値を事前取得する。したがって、撮像装置１０は、前処理を行う場合に、揮発性メモリ部１９から読み出す画像データのデータ量を少なくすることが可能となり、処理時間や消費電力を削減できる。さらに、画像処理部１５で処理された画像データが符号化部１６に供給されるので、撮像装置１０は、揮発性メモリ部１９に対するメモリアクセス量を削減できる。
ところで、データ読出量が少なくなるように前処理読み出し領域に設定して、前処理で読み出したブロックに対して符号化順方向に隣接する画像処理単位の領域を最初の読み出し領域とすると、生成される符号化データは、符号化方式の順序とならない場合がある。
図１６は、ブロック「２」の列の画像を前処理画像とした場合の画像処理と符号化の動作を示している。例えば制御部２５は、ブロック「２」の列の画像を前処理画像として、図１６の（Ａ）に示すように、ブロック「３」「４」「１１」「１２」「１９」「２０」を最初の読み出し領域に設定する。この最初の読み出し領域から画像処理を開始すると、図１６の（Ｂ）に示すように、最初の読み出し領域から、画像処理が行われた画像データが生成される。また、画像処理後の画像データは、符号化部１６に供給されることから、図１６の（Ｃ）に示すブロック順に符号化データが生成される。この符号化データは、ブロック順序が符号化方式に応じた正しい順序でないことから、並べ替え部１７で符号化データをブロック単位で並べ替える。
図１７は、符号化データのブロック単位の並べ替えを示した図であり、図１７の（Ａ）は画像処理後の画像データを符号化したときのブロック順序を示している。並べ替え部１７は、符号化方式に応じた正しい順序、すなわちブロック「１」から右方向のブロック順となるように、符号化データをブロック単位で並べ替えて、図１７の（Ｂ）に示す順序とする。
このように並べ替えを行うと、符号化データは、図１６の（Ｄ）に示す順序となることから、並べ替え後の符号化データを復号化したとき、図１６の（Ｅ）に示すように、正しいブロック順の画像データを生成できる。
＜５．前処理で用いる前処理画像の具体例＞
図１８と図１９は、レンズによって生じた画像歪みを補正する場合を例示している。なお、図１８の（Ａ）と図１９の（Ａ）は補正前、図１８の（Ｂ）と図１９の（Ｂ）は補正後を示している。レンズによって生じる画像歪みは、中央部分では少なく端部側では多くなる。したがって、図１８や図１９において、制御部２５は、点線で示すように中央部分に前処理画像を決定して前処理読み出し領域の設定を行い、一点鎖線で示すように端部側に前処理画像を決定した場合に比べて、前処理で読み出す画像データのデータ量を少なくする。したがって、撮像装置１０は処理時間や消費電力を削減できる。
図２０は、位置によって拡大縮小率が異なる画像を補正する場合を例示している。なお、図２０の（Ａ）は補正前を示しており、図２０の（Ｂ）は補正後を示している。位置によって拡大縮小率が異なる場合、制御部２５は、縮小率が大きい部分（図の左側）に前処理画像を決定して前処理読み出し領域の設定を行い、中央部分や左側部分に前処理画像を決定した場合に比べて、前処理で読み出す画像データのデータ量を少なくする。したがって、撮像装置１０は処理時間や消費電力を削減できる。
図２１は、例えば色収差によって、色毎に画像の拡大縮小率が異なる画像を補正する場合を例示している。なお、図２１の（Ａ）は補正前、図２１の（Ｂ）は補正後を示しており、青色画像の縮小率が大きく、赤色画像の拡大率が大きい場合を示している。色収差の影響を画像処理部で補正する場合、画像の端部側では色毎の画像の違いが大きく、中央部分では色毎の画像の違いが小さい。したがって、制御部２５は、中央部分に前処理画像を決定して前処理読み出し領域の設定を行い、端部側に前処理画像を決定した場合に比べて、前処理で読み出す画像データのデータ量を少なくする。したがって、撮像装置１０は処理時間や消費電力を削減できる。
図２２は、ブレやボケを生じている撮像画像を補正する場合を例示している。なお、図２２では右側に位置する人物の画像がブレやボケを生じている。画像のブレやボケの補正は、例えばディジタルフィルタを用いて行われており、フィルタ処理を行うために、補正対象の領域よりも広い領域の画像データを読み出さなければならない。また、ディジタルフィルタのタップ数を大きくすると、画像データを読み出す領域はさらに広くなる。すなわち、画像処理においてブレやボケの補正を行う場合、ブレやボケを生じている部分では、より広い領域の画像データを読み出さなければならない。
したがって、制御部２５は、ブレやボケの少ない部分に前処理画像を決定して、ブレやボケの多い部分に前処理画像の位置を決定した場合に比べて、前処理で読み出すデータ量を少なくする。したがって、撮像装置１０は処理時間や消費電力を削減できる。
さらに、撮像装置１０は、画像処理部で歪補正や色収差補正、ブレやボケの補正を行う場合、各補正で必要とされる画像データのデータ量を考慮すれば、前処理画像を最適な位置に設定することが可能となる。
図２３は、画像処理部において、揮発性メモリ部１９から読み出した画像データに対してボケ補正と歪補正を順に行う場合の前処理画像の決定動作を例示している。図２３の（Ａ）は、画像処理部１５で画像処理が行われた画像において、例えば前処理画像の３つの候補領域（例えば５画素の幅を有した領域）を示している。なお、図では左端の領域と右端の領域と中央部分の領域の３つを前処理画像の候補領域としている。
図２３の（Ｂ）は、歪補正後の前処理画像を得るために必要とされる歪補正前の前処理読み出し領域を示している。例えば、図２３の（Ｂ）は、歪曲収差等を補正して左端の候補領域の前処理画像を得るために、左端部から候補領域（５画素の幅）よりも２画素分だけ幅広い領域の画像データが歪補正前の画像から必要であることを示している。すなわち、左端部から７画素分の幅を有する前処理読み出し領域の画像データを用いて歪補正を行うと、図２３の（Ａ）に示す左端の候補領域の前処理画像を生成できることを示している。
同様に、図２３の（Ｂ）は、右端の候補領域の前処理画像を得るために、右端部から候補領域（５画素の幅）よりも２画素分だけ幅広い領域の画像データが歪補正前の画像から必要であることを示している。また、図２３の（Ｂ）は、中央の候補領域の前処理画像を得るために、中央の候補領域（５画素の幅）よりも左右がそれぞれ１画素分だけ狭い３画素分の領域の画像データが歪補正前の画像から必要であることを示している。
図２３の（Ｃ）は、ボケ補正後の候補領域の前処理画像を得るために必要とされるボケ補正前の前処理読み出し領域を示している。なお、図２３の（Ｃ）において、左端の候補領域はボケのない前処理画像の領域とする。また、中央の候補領域はボケが大きく、右端の候補領域はボケの小さい前処理画像の領域とする。
画像にボケのない左端の候補領域は、ボケを補正するためのフィルタ処理を行う必要がない。したがって、図２３の（Ｃ）は、ボケ補正後である左端の候補領域の前処理画像を得るために、左端部から歪補正前の候補領域分（７画素分の領域）の画像データがボケ補正前の画像から必要であることを示している。すなわち、左端部から７画素分の幅を有する領域の画像データを用いてボケ補正を行うと、図２３の（Ｂ）に示す左端の候補領域の前処理画像を生成できることを示している。
また、図２３の（Ｃ）は、右端の候補領域の前処理画像のボケ補正を行うために、右端部から歪補正前の候補領域分よりもさらにフィルタのタップ数に応じた画素分だけ広い領域が必要であることを示している。例えば１画素分だけ広い領域の画像データがボケ補正前の画像から必要であることを示している。また、図２３の（Ｃ）は、中央の候補領域の前処理画像のボケ補正を行うために、歪補正前の中央部の候補領域よりもさらにフィルタのタップ数に応じた画素分だけ広い領域が必要であることを示している。例えばボケが多くタップ数を増やして補正を行うため、左側に３画素分で右側に２画素分だけ広い領域の画像データがボケ補正前の画像から必要であることを示している。
すなわち、揮発性メモリ部１９から画像データを読み出してボケ補正と歪補正を行い、候補領域の前処理画像を得るために、図２３の（Ｄ）に示す領域の画像データを読み出させる必要がある。例えば、図２３の（Ａ）に示す左端の候補領域の画像を得るためには、左端から７画素分の幅を有した領域を前処理読み出し領域に設定して画像データを揮発性メモリ部１９から読み出さなければならない。また、図２３の（Ａ）に示す右端の候補領域の画像を得るためには、右端から８画素分の幅を有した領域を前処理読み出し領域に設定して画像データを揮発性メモリ部１９から読み出さなければならない。さらに、図２３の（Ａ）に示す中央の候補領域の画像を得るためには、中央の８画素分の幅を有した領域を前処理読み出し領域に設定して画像データを揮発性メモリ部１９から読み出さなければならない。
したがって、制御部２５は、揮発性メモリ部１９から読み出さなければならない画像データのデータ量を比較して、最もデータ量が少ない左端の候補領域の画像を前処理画像とする。また、制御部２５は、前処理画像である左端の候補領域の画像を得るために必要とされる画像処理前の画像の領域を前処理読み出し領域に設定する。このように、制御部２５は、複数の補正処理を組み合わせて行う場合、各処理で必要とされる領域を考慮して、前処理読み出し領域を設定する。したがって、撮像装置１０は処理時間や消費電力を最も削減できるようになる。
また、明細書中において説明した一連の処理は、ハードウェアまたはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理で画像処理や符号化を行う場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
例えば、プログラムは記録媒体としてのハードディスクやＲＯＭ（Read Only Memory)に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)，ＭＯ(Magneto optical)ディスク，ＤＶＤ(ディジタル Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから、コンピュータに無線転送したり、ＬＡＮ(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
なお、本技術は、上述した実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。
この技術を用いた画像処理装置と画像処理方法および撮像装置では、入力画像の画像処理を行い、画像処理後の画像を符号化する前に、入力画像の一部である前処理画像を画像処理して符号化を行い、入力画像の符号化に必要な情報を事前取得する前処理が行われる。この前処理では、画像処理後の前処理画像を得るために必要とされる画像処理前の画像のサイズが小さくなるよう前処理画像が決定される。したがって、前処理において、画像処理を行うために入力画像から読み出すデータ量を少なくすることが可能となり、処理時間や消費電力等を削減できる。したがって、例えばディジタルカメラ等の撮像装置に適している。
１０・・・撮像装置、１１・・・撮像光学系、１２・・・撮像部、１３・・・アナログ信号処理部、１４・・・Ａ／Ｄ変換部、１５・・・画像処理部、１６・・・符号化部、１７・・・並べ替え部、１８・・・記録部、１９・・・揮発性メモリ部、２０・・・表示部、２５・・・制御部、２６・・・入力部、２７・・・不揮発性メモリ部、２９・・・バス、１５１・・・ホワイトバランス調整部、１５２・・・色変換部、１５３・・・色偽抑圧部、１５４・・・ガンマ補正部、１５５・・・色収差補正部、１５６・・・歪補正部、１５７・・・ボケ補正部

Claims (9)

  1. 入力画像の画像処理を行い、該画像処理では前記入力画像における画像位置に応じて、画像処理後の画像を得るために必要とされる画像処理前の画像のサイズが異なる処理を行う画像処理部と、
    前記画像処理部から出力される画像処理後の画像の符号化を行う符号化部と、
    前記入力画像を画像処理して符号化する前に、前処理として、前記入力画像の一部である前処理画像を前記画像処理部で画像処理して前記符号化部に供給し、前記符号化部から前記入力画像の符号化に必要な情報を事前取得する前処理指示部とを備え、
    前記前処理指示部は、前記画像処理後の前処理画像を得るために必要とされる画像処理前の画像のサイズが小さくなるよう前記前処理画像を決定する画像処理装置。
  2. 前記画像処理部は、色の成分よって拡大縮小率が異なる画像を同一サイズとする画像処理、画像の位置によって拡大縮小率が異なる画像を同一サイズとする画像処理、画像の位置によってフィルタのタップ数が異なるフィルタをかける画像処理、レンズによって生じた画像歪みを補正する画像処理の少なくとも１つを含む画像処理を行う
    請求項１記載の画像処理装置。
  3. 前記前処理指示部は、符号化に必要な情報として符号量を取得する
    請求項１記載の画像処理装置。
  4. 前記符号化部は、予め定められた符号順序で前値差分の符号化を行い、
    前記前処理指示部は、前記前処理として前記前値差分を算出するための前値を事前取得する
    請求項１記載の画像処理装置。
  5. 前記符号化部は、ＪＰＥＧ方式を用いて符号化を行い、
    前記前処理指示部は、前記前処理で直流成分を事前取得する
    請求項４記載の画像処理装置。
  6. 前記前処理指示部は、前記画像処理後の前処理画像を前記符号化における処理単位のサイズとする
    請求項１記載の画像処理装置。
  7. 符号順序の並べ替えを行う並べ替え部を備え、
    前記符号化部は、入力された画像を予め定められた符号順序と異なる順序で符号化し、
    前記並べ替え部は、前記符号化部から出力された符号を前記予め定められた符号順序に並べ替える
    請求項１記載の画像処理装置。
  8. 入力画像の画像処理を行い、該画像処理では前記入力画像における画像位置に応じて、画像処理後の画像を得るために必要とされる画像処理前の画像のサイズが異なる処理を行う工程と、
    前記画像処理後の画像の符号化を行う工程と、
    前記符号化を行う前に前記入力画像の一部である前処理画像を画像処理して符号化を行い、前記入力画像の符号化に必要な情報を事前取得する前処理を行い、前記前処理では前記画像処理後の前処理画像を得るために必要とされる画像処理前の画像のサイズが小さくなるよう前記前処理画像を決定する工程と
    を含む画像処理方法。
  9. 撮像画像の生成を行う撮像部と、
    前記撮像画像の画像処理を行い、該画像処理では前記撮像画像における画像位置に応じて、画像処理後の画像を得るために必要とされる画像処理前の画像のサイズが異なる処理を行う画像処理部と、
    前記画像処理部から出力される画像処理後の画像の符号化を行う符号化部と、
    前記撮像画像を画像処理して符号化する前に、前処理として、前記撮像画像の一部である前処理画像を前記画像処理部で画像処理して前記符号化部に供給し、前記符号化部から前記撮像画像の符号化に必要な情報を事前取得する前処理指示部とを備え、
    前記前処理指示部は、前記画像処理後の前処理画像を得るために必要とされる画像処理前の画像のサイズが小さくなるよう前記前処理画像を決定する撮像装置。
JP2011007687A 2011-01-18 2011-01-18 画像処理装置と画像処理方法および撮像装置 Abandoned JP2012151593A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2011007687A JP2012151593A (ja) 2011-01-18 2011-01-18 画像処理装置と画像処理方法および撮像装置
US13/332,850 US8842192B2 (en) 2011-01-18 2011-12-21 Image processing apparatus, image processing method, and imaging apparatus for performing image processing and coding of a preprocess image
CN2012100065740A CN102611825A (zh) 2011-01-18 2012-01-11 图像处理设备、图像处理方法和成像设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011007687A JP2012151593A (ja) 2011-01-18 2011-01-18 画像処理装置と画像処理方法および撮像装置

Publications (2)

Publication Number Publication Date
JP2012151593A true JP2012151593A (ja) 2012-08-09
JP2012151593A5 JP2012151593A5 (ja) 2014-01-16

Family

ID=46490508

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011007687A Abandoned JP2012151593A (ja) 2011-01-18 2011-01-18 画像処理装置と画像処理方法および撮像装置

Country Status (3)

Country Link
US (1) US8842192B2 (ja)
JP (1) JP2012151593A (ja)
CN (1) CN102611825A (ja)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4569056B2 (ja) 2001-08-08 2010-10-27 ソニー株式会社 情報処理装置および情報処理方法、記録媒体、並びにプログラム
JP4151684B2 (ja) * 2005-01-26 2008-09-17 ソニー株式会社 符号化装置、符号化方法および符号化プログラム、並びに撮像装置
JP4273426B2 (ja) 2005-12-07 2009-06-03 ソニー株式会社 画像処理方法、画像処理装置、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体
US8369632B2 (en) * 2009-04-08 2013-02-05 Olympus Corporation Image processing apparatus and imaging apparatus
US8537244B2 (en) * 2009-12-16 2013-09-17 Samsung Electronics Co., Ltd. Image processing apparatus and method, and computer-readable medium having stored thereon computer program for executing the method

Also Published As

Publication number Publication date
US20120182439A1 (en) 2012-07-19
CN102611825A (zh) 2012-07-25
US8842192B2 (en) 2014-09-23

Similar Documents

Publication Publication Date Title
US8890983B2 (en) Tone mapping for low-light video frame enhancement
TWI514892B (zh) Image processing apparatus and image processing method
US7733389B2 (en) Image capturing apparatus having electronic zoom function
US9307212B2 (en) Tone mapping for low-light video frame enhancement
WO2019142821A1 (ja) 符号化装置、復号装置、符号化方法、復号方法、符号化プログラム、および復号プログラム
JP2011199786A (ja) 画像処理装置及び画像処理方法並びにプログラム
JP4916378B2 (ja) 撮像装置、画像処理装置、画像ファイル及び階調補正方法
JP2015149691A (ja) 画像補正装置、画像補正方法、及び、撮像装置
JP2008160881A (ja) 固体撮像装置および撮像方法
JP5100606B2 (ja) 撮像装置
JP6700798B2 (ja) 撮像装置及びその制御方法
JP2012151593A (ja) 画像処理装置と画像処理方法および撮像装置
JP6152642B2 (ja) 動画像圧縮装置、動画像復号装置およびプログラム
JP6467455B2 (ja) 撮像装置、その制御方法、プログラム及び記録媒体
JPWO2019142836A1 (ja) 符号化装置、復号装置、符号化方法、復号方法、符号化プログラム、および復号プログラム
WO2020188875A1 (ja) 符号化装置、復号装置、符号化方法、復号方法、符号化プログラム、および復号プログラム
JP2017200199A (ja) 動画像圧縮装置、動画像復号装置およびプログラム
JP2019022225A (ja) 画像圧縮装置およびプログラム
WO2016047250A1 (ja) 信号処理装置、撮像装置および信号処理方法
JP2018191136A (ja) 符号化装置、符号化方法およびプログラム
JP2013042216A (ja) 画像処理装置およびその制御方法
JP4402657B2 (ja) 撮像装置
JP2019036992A (ja) 圧縮装置、復号装置およびプログラム
JP6624818B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP6012167B2 (ja) 画像処理装置、画像処理方法およびコンピュータプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131126

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20131126

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150116

A762 Written abandonment of application

Free format text: JAPANESE INTERMEDIATE CODE: A762

Effective date: 20150402