JP2015095806A - 画像処理装置、画像処理方法、プログラム - Google Patents

画像処理装置、画像処理方法、プログラム Download PDF

Info

Publication number
JP2015095806A
JP2015095806A JP2013234964A JP2013234964A JP2015095806A JP 2015095806 A JP2015095806 A JP 2015095806A JP 2013234964 A JP2013234964 A JP 2013234964A JP 2013234964 A JP2013234964 A JP 2013234964A JP 2015095806 A JP2015095806 A JP 2015095806A
Authority
JP
Japan
Prior art keywords
image data
raw image
unit
compression
raw
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013234964A
Other languages
English (en)
Other versions
JP6242172B2 (ja
Inventor
晃弘 大石
Akihiro Oishi
晃弘 大石
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2013234964A priority Critical patent/JP6242172B2/ja
Publication of JP2015095806A publication Critical patent/JP2015095806A/ja
Application granted granted Critical
Publication of JP6242172B2 publication Critical patent/JP6242172B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Color Television Image Signal Generators (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Studio Devices (AREA)

Abstract

【課題】 RAW画像データの圧縮において、画質と符号量を両立させた最適な圧縮に近づけることができる画像処理装置を提供する。
【解決手段】 撮像手段により得られたRAW画像データを現像手段における現像パラメータに基づいて補正した第1のRAW画像データと、伸張手段により伸張されたRAW画像データを現像手段における現像パラメータに基づいて補正した第2のRAW画像データとを比較した結果に基づいて、圧縮手段による圧縮率を制御する。
【選択図】 図4

Description

本発明は、画像処理装置、画像処理方法、プログラムに関する。
従来、画像処理装置として、被写体を撮像して得られた画像データを記録媒体に記録する撮像装置が知られている。従来、撮像装置では、撮像素子(CCD、CMOS)により得られたRAW画像(生の画像)情報に対して、「現像処理」を施し、輝度情報および色差情報に変換した後に、たとえばJPEG、MPEG等の圧縮符号化技術で情報を圧縮して記録媒体に記録していた。近年では、「現像処理」を後で自由に行うためにRAW画像情報をそのまま記録媒体に記録することができる撮像装置も登場してきている。しかしながら、RAW画像は、データサイズが大きくなってしまいがちである。そこで、たとえば特許文献1のように、RAW画像のデータを圧縮する技術が開発されてきている。
特開2011−130273号公報
しかしながら、特許文献1では、画質を評価せずにデータを圧縮していない。そのため、たとえば、画質に対して符号量が多くなりすぎていたり、符号量は少ないが画質が低下ししまったりするという問題があった。
そこで、本発明は、たとえば、RAW画像データの圧縮において、画質と符号量を両立させた最適な圧縮に近づけることができる画像処理装置を提供することを目的とする。
このような目的を達成するために、本発明の画像処理装置は、被写体の光学像を撮像しRAW画像データを取得する撮像手段と、RAW画像データを現像する現像手段と、RAW画像データを圧縮する圧縮手段と、前記圧縮手段により圧縮されたRAW画像データを伸張する伸張手段と、前記撮像手段により得られたRAW画像データを前記現像手段における現像パラメータに基づいて補正した第1のRAW画像データと、前記伸張手段により伸張されたRAW画像データを前記現像手段における現像パラメータに基づいて補正した第2のRAW画像データとを比較した結果に基づいて、前記圧縮手段による圧縮率を制御する制御手段とを有することを特徴とする。
本発明によれば、たとえば、RAW画像データの圧縮において、画質と符号量を両立させた最適な圧縮に近づけることができる。
本実施例の撮像装置の構成を示す図。 本実施例の画像処理部の構成を示す図。 本実施例の現像前の画像の特性を示すフロー図。 本実施例の画像処理部の構成示す図。 本実施例の撮像素子のカラーフィルター配列を示す図。
以下、図面を参照して本発明の実施例を詳細に説明するが、この発明は以下の実施の形態に限定されない。なお、以下の実施の形態は特許請求の範囲に係る発明を限定するものでなく、また実施の形態で説明されている特徴の組み合わせの全てが発明の解決手段に必須のものとは限らない。
なお、本実施例において説明される各機能ブロックは必ずしも個別のハードウェアである必要はない。すなわち、例えばいくつかの機能ブロックの機能は、1つのハードウェアにより実行されても良い。また、いくつかのハードウェアの連係動作により1つの機能ブロックの機能または、複数の機能ブロックの機能が実行されても良い。また、各機能ブロックの機能は、CPUがメモリ上に展開したコンピュータプログラムにより実行されても良い。
本実施例では、撮像装置を例にとって説明するが、RAW画像データを圧縮することができる装置であればどのような装置でも良い。たとえば、携帯電話、スマートフォン、タブレット型情報端末、ノート型情報端末、コンピュータ等であってもよい。
本実施例の撮像装置は、撮像部、画像処理部、記録再生部を有する。撮像部は、レンズにより取得された被写体の光学像を撮像素子で光電変換し、得られたアナログ画像信号をAD変換部でデジタル画像信号に変換する。この画像信号は、撮像素子のカラーフィルターのベイヤー配列に応じた画像であり、一般にRAW画像データと呼ばれる。そして、画像処理部は、撮像部により得られたRAW画像データを処理する。たとえば、RAW画像データの現像処理、RAW画像データの圧縮処理、圧縮されたRAW画像データの伸張処理等を行う。このとき、画像処理部では、撮像部により得られたRAW画像データを現像した画像と、圧縮処理され伸張処理されたRAW画像データを現像した画像を比較して、圧縮処理における圧縮率を制御する。そして、画像処理部で圧縮されたRAW画像データは記録再生部により記録媒体に記録される。
このような構成とすることで、本実施例の撮像装置は、たとえば、RAW画像データの圧縮において、画質と符号量を両立させた最適な圧縮に近づけることができる。
以下、このような撮像装置について説明する。
<全体構成>
まず、図1を用いて、本実施例の撮像装置100の構成を説明する。
本実施例の撮像装置100は、図1に示すように、CPU101と、RAM102と、ROM103と、操作部104とを有する。また、撮像装置100は、撮像部110と、画像処理部111と、マイクユニット120と、音声処理部121と、スピーカユニット122とを有する。また、撮像装置100は、表示部140と、表示制御部141と、記録再生部150と、記録媒体151と、通信部160とを有する。なお、CPUは、Central Processing Unitの略称である。RAMは、Random Access Memoryの略称である。ROMは、Read Only Memoryの略称である。
本実施例の撮像装置100において、CPU101は、RAM102をワークメモリとしてROM103に記録された各種プログラムをRAM102に展開し、プログラムに応じて撮像装置100の各ブロックを制御する。操作部104は、例えば、電源ボタン、記録ボタン、ズーム調整ボタン、オートフォーカスボタン、メニュー表示ボタン、モード切替スイッチ、決定ボタン等の各種操作を入力するスイッチ類を有する。また、カーソルキー、ポインティングデバイス、タッチパネル、ダイヤル等のどのようなタイプの操作子であってもよい。操作部104は、ユーザによりこれらのキーやボタン、タッチパネルが操作されるとCPU101に操作信号を送信する。操作部104の各操作部材は、表示部に表示される種々の機能アイコンを選択操作することなどにより、場面ごとに適宜機能が割り当てられ、各種機能ボタンとして作用する。機能ボタンとしては、例えば終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン等がある。例えば、メニューボタンが押されると各種の設定可能なメニュー画面が表示部に表示される。利用者は、表示部に表示されたメニュー画面と、上下左右の4方向ボタンやSETボタンとを用いて直感的に各種設定を行うことができる。なお、操作部104は、表示部に対する接触を検知可能なタッチパネルであってもよい。タッチパネルは、抵抗膜方式や静電容量方式、表面弾性波方式、赤外線方式、電磁誘導方式、画像認識方式、光センサ方式等、様々な方式のタッチパネルのうちいずれの方式のものを用いても良い。
撮像部110は、レンズにより取り込まれた被写体の光学像を、絞りにより光量を制御して、CCDセンサやCMOSセンサ等の撮像素子により画像信号に変換し、得られたアナログ画像信号をデジタル画像信号に変換して一時的にRAM102に記憶する。この撮像部110により生成されたデジタル画像信号は、撮像素子の画素毎に配置される赤、緑、青(RGB)のカラーフィルターを透過した光を電気信号に変換したものである。図5は、撮像素子に配置されるカラーフィルターの一例を示すものである。図5に示すように撮像素子に配置されたカラーフィルターは、赤(R)、緑(G)、青(B)が画素毎にモザイク状に配置されていて、2×2の4画素につき赤1画素、青1画素、緑2画素を1セットにして規則的に並べられた構造となっている。このような画素の配置は、一般にベイヤー配列と呼ばれる。すなわち、撮像部110により生成されたデジタル画像信号はベイヤー配列のデジタル画像信号であり、一般にこの画像をRAW画像と呼ぶ。本実施例においても、撮像部110により得られた画像データをRAW画像データと呼ぶ。
画像処理部111は、記録時にはRAM102に記憶されたRAW画像データを処理し、再生時には、後述の記録媒体151から読みだされた圧縮済みのRAW画像データを処理する。たとえば、圧縮済みのRAW画像データの伸張処理、RAW画像データの現像処理、RAW画像データの圧縮処理等を行う。画像処理部111は、現像処理した画像データを、表示制御部141に送信したり、圧縮済みのRAW画像データを記録再生部150や通信部160に送信したりする。また画像処理部111では、RAW画像データの修復処理や画質調整処理を行ってもよい。画像処理部111の処理については後述する。
音声処理部121は、記録時には、マイクユニット120により得られた音声データを処理し、再生時には、後述の記録媒体151から読みだされた圧縮または非圧縮の音声データを処理する。たとえば、圧縮された音声データの伸張処理、音声データのレベル調整処理、音声データの圧縮処理等を行う。音声処理部121は、処理した音声データを、記録再生部150や通信部160に送信したり、再生時にはスピーカ122に送信したりする。なお、マイクユニット120は、たとえば、撮像装置100のハウジング内に内蔵された無指向性のマイクとAD変換部を有する。マイクユニット120では、マイクにより周囲の音声を集音(収音)し、取得したアナログ音声信号をAD変換部で、デジタル信号に変換する。また、音声処理部121では音声圧縮方式として、たとえば、AC3、AAC等の公知の一般的な音声圧縮方式を用いる。また、スピーカユニット122は、スピーカとDA変換部とを有する。
表示部140は、例えば、液晶表示デバイス、または有機EL表示デバイスなどからなり、表示制御部141の制御により画像を表示する。表示部140は、LEDディスプレイなど、ユーザに画像を提供することができればどのようなものであっても良い。表示制御部141では、画像処理部111により処理された画像データに基づいて、表示部140に画像を表示する。また、表示制御部141は、表示部140に表示するデジタル画像信号に基づく映像信号に対し、マトリクス変換、ブライト調整、コントラスト調整、ガンマ調整、クロマゲイン調整、シャープネス調整等の画像信号処理を行ってもよい。
記録再生部150は、記録時においては、画像処理部111により処理された圧縮済みのRAW画像データや音声データを記録媒体151に記録し、再生時においては、記録媒体151に記録された圧縮済みのRAW画像データや音声データを再生する。なお、以後の説明において、音声データの処理については説明を省略する。記録再生部150は、記録時においては、圧縮済みのRAW画像データとともに、撮影日や、圧縮に関する情報、撮像部110の設定等の各種情報を記録媒体151に書き込む。なお、記録再生部150は、圧縮済みのRAW画像データを記録媒体151に記録する際は、たとえばFATやexFAT等のファイルフォーマットに適合した形でファイルとして記録媒体に記録する。また、記録媒体151は、撮像装置に内蔵された記録媒体でも、取外し可能な記録媒体でもよい。例えば、ハードディスク、光ディスク、光磁気ディスク、CD−R、DVD−R、磁気テープ、不揮発性の半導体メモリ、フラッシュメモリ、などのあらゆる方式の記録媒体を含む。取り外し可能な記録媒体を用いる場合には、記録再生部150は、それらの取り外し可能な記録媒体を装着、排出するための機構を含む。
また、通信部160は、撮像装置100とは異なる外部装置との間で、制御信号や画像データ、音声データ、各種データ等を送受信するものであり、有線接続、無線接続を問わず接続可能である。なお、通信方式はどのような方式であっても良い。
ここで、画像処理部111、音声処理部121、表示制御部141、記録再生部150は、それぞれ、前述の各機能を実行するプログラムを搭載したマイクロコンピュータであってもよい。また、CPU101がROM103に記録された前述の処理を実行する為のプログラムをRAM102に展開して実行するようにしてもよい。
<画像処理部111について>
続いて、画像処理部111の構成及び動作について説明する。
画像処理部111は、撮像部110により得られたRAW画像データを圧縮する処理を行う。画像処理部111では、RAW画像データを所定の圧縮率で圧縮し、圧縮済みのRAW画像データを伸張する。そして、撮像部110により得られたRAW画像データと圧縮伸張されたRAW画像データとを、同じパラメータで現像し、現像後のそれぞれの画像を比較する。そして、その画質を評価して、画質に応じて圧縮処理における圧縮率を制御する。本実施例では画質評価の例としてPSNRを用いるが、これ以外の評価手法を用いてもよい。
図2は、画像処理部111の構成を示すブロック図である。本実施例の画像処理部111は、図2に示すように、信号処理部201、簡易現像部210、高画質現像部211、RAW圧縮部220、RAW伸張部221、画質評価部231を有する。
信号処理部201は、RAW画像データの修復処理を実行する。修復処理には、撮像部110の撮像素子における欠落画素や信頼性の低い画素の値に対し、周辺画素値を用いて修復対象の画素を補間したり、所定のオフセット値を減算したりする処理がある。
簡易現像部210、高画質現像部211は、RAW画像データを現像する処理を行う。簡易現像部210においては、高画質現像部211よりも限定された条件で現像を行うものとする。簡易現像部210、高画質現像部211はそれぞれ、RAW画像データに対して、ホワイトバランス調整処理、デベイヤー処理(デモザイク処理)等のいわゆる現像処理を行う。他にも、デベイヤー処理後の画像データを輝度と色差から成る信号に変換する処理、各信号に含まれるノイズを除去する処理、光学的な歪を補正する処理、ガンマ補正処理等をおこなう。なお、「現像処理」とは、デベイヤー処理(デモザイク処理)、ホワイトバランス調整処理、ガンマ補正処理のそれぞれのうち一つの処理のみを示すこともあるし、これらのうち複数の処理を含む処理を示すこともある。なお、簡易現像部210は高画質現像部211よりも処理を簡易化して高速に処理を行うものとする。そのため、たとえば、簡易現像部では、RAW画像データを所定のサイズ(たとえば2000×2000以下)に縮小してから処理を行う。また、光学的な歪みを補正する処理やノイズを除去する処理に関しても、補正対象の画像の前後に撮影された画像データの解析等を行わずに処理をすることで処理を簡易化することができる。逆に、高画質現像部211では、サイズを制限せずに現像処理を行い、また補正対象の画像の前後に撮影された画像データの解析を行い、高精度な補正処理、ノイズ除去処理を行う。
このように、高画質現像部211は、簡易現像部210よりも処理負荷が大きいため、記録時に高画質現像部211を動作させずに、たとえば再生時や記録終了後に高画質現像部211による処理を実行するようにしてもよい。他方、簡易現像部210は、高画質現像部211よりも、処理負荷が小さいので、記録時の現像の際には簡易現像部211を用いるようしてもよい。そうすることで、記録時の消費電力の増大(ピーク)を低く抑えることができる。なお、本実施例では、簡易現像部210、高画質現像部211の2つの現像部を有するものとして説明するが、一つの現像部が動作モードを切り替えて、簡易現像と高画質現像の処理を行う構成であってもよい。
RAW圧縮部220は、信号処理部201で処理されたRAW画像データのデータ量を圧縮するものである。RAW圧縮部220では、たとえば、ウェーブレット変換、差分符号化等の圧縮符号化技術を用いてRAW画像データを圧縮する。本実施例では、たとえばJPEG2000や、MotionJPEG2000で用いられていたように、ウェーブレット変換された情報を量子化する構成であるものとする。そのため、RAW圧縮部220において、量子化ステップ数を減らすことで圧縮率を上げることができ、量子化ステップ数を増やすことで圧縮率を下げ画質を向上させることができる。なお、量子化ステップ数を増減させるほか、算術符号化の精度を変更することでも圧縮率を変更することもできるので、圧縮率の変更をする方法は、量子化ステップ数の変更に限られるものではない。また、本実施例では、ウェーブレット変換を用いて画像を圧縮するものとするが、H.265、H.264、MPEG、MPEG2等の既存の技術でRAW画像を圧縮してもよい。
RAW伸張部221は、記録時には、RAW圧縮部220により圧縮された、圧縮済みのRAW画像データを伸張し、再生時には、記録媒体151から読みだされた圧縮済みのRAW画像データを伸張するものである。RAW伸張部221では、たとえば、ウェーブレット逆変換、差分復号化等の復号化技術を用いて圧縮済みのRAW画像データを伸張する。本実施例では、ウェーブレット変換され、量子化された情報を伸長するため、逆量子化、ウェーブレット逆変換をする構成であるものとする。
次に、画質評価部231は、簡易現像部210から出力された2つの現像された画像データを比較するものである。具体的には、信号処理部201から出力され簡易現像部210で現像された第1の現像画像データと、RAW圧縮部220で圧縮されRAW伸張部221で伸張され簡易現像部210で現像された第2の現像画像データとを比較する。このとき、簡易現像部210では、同じパラメータで現像処理を行う。画質評価部231では、入力された第1の現像画像データと、第2の現像画像データとを比較し、「ピーク信号対雑音比」(一般に、PSNRと呼ばれる)を求める。そして画質評価部231は、算出された「ピーク信号対雑音比(PSNR)」に応じて、RAW圧縮部220における圧縮率を制御する。
本実施例の画像処理部111は、このような構成により、現像処理されないRAW画像データを圧縮する場合に、現像処理された後の画質に基づいて、より最適な圧縮率になるように制御することができる。
次に画像処理部111の記録時の動作について説明する。
記録動作が開始すると、撮像部110から出力されたRAW画像データは画像処理部111に送信される。画像処理部111においては、まず、信号処理部201でRAW画像データの修復処理が行われる。次に、RAW画像データは簡易現像部210及びRAW圧縮部220に送られる。RAW圧縮部220においては、画質評価部231の指示に基づく圧縮率でRAW画像データを圧縮する。RAW圧縮部220で圧縮された圧縮済みのRAW画像データは、RAW伸張部221および記録再生部150に送信される。RAW伸張部221では、RAW圧縮部220で圧縮された圧縮済みのRAW画像データを伸張する。そして、簡易現像部210に伸張したRAW画像データを送信する。
簡易現像部210では、信号処理部201により処理されたRAW画像データ、及び、RAW伸張部221により伸張されたRAW画像データを同じパラメータで現像する。そして、信号処理部201により処理されたRAW画像データを現像した第1の現像画像データ、及び、RAW伸張部221により伸張されたRAW画像データを現像した第2の現像画像データを画質評価部231に送信する。なお、第1の現像画像データは表示制御部141に送信され、表示制御部141の制御のもと表示部140に表示される。
画質評価部231では、第1の現像画像データと第2の現像画像データを比較し、「ピーク信号対雑音比(PSNR)」を算出する。そして、「ピーク信号対雑音比(PSNR)」が所定の上限値を超えていた場合には、画質が良好であることを示しているので、圧縮率を上げても画質がさほど低下しない。そのため、そして、「ピーク信号対雑音比(PSNR)」が所定の上限値を超えていた場合には、圧縮率を上げる指示をRAW圧縮部220に出す。一方、所定の下限値を下回っていた場合には、画質が所定のレベルよりも低下してしまっていること示しているので画質を良くするために圧縮率を下げる指示をRAW圧縮部220に出す。なお、「ピーク信号対雑音比(PSNR)」が、前述の所定の上限値を超えず、所定の下限値を下回らない場合には圧縮率を変更しないようにする。
RAW圧縮部220においては、圧縮率を上げる指示が画質評価部231から入力されると、圧縮処理における量子化ステップ数を減らし、圧縮率を下げる指示が入力されると圧縮処理における量子化ステップ数を増やすように動作する。前述したように、圧縮率を上げる方法は量子化ステップ数を変更する以外の方法であってもよい。
以上の動作により、記録時においては、入力されたRAW画像データを現像せずに圧縮する場合に、現像後の画質を考慮した圧縮を行うことができる。そのために、本実施例では、撮像により得られたRAW画像データを現像した第1の現像画像データと、圧縮したRAW画像データを再伸張したRAW画像データを現像した第2の現像画像データとを比較して、現像後の画質評価を行う。そして、圧縮したRAW画像データを再伸張したRAW画像データを現像した際の画質が所定のレベルに収まるように現像していないRAW画像データの圧縮動作を制御する。このように、本実施例の撮像装置は、RAW画像データの圧縮において、画質と符号量を両立させた最適な圧縮に近づけることができる。
本実施例では、動画、静止画の撮影に特に限定して説明を行わなかったがどちらの撮影においても適用可能である。動画の場合は、画質評価部231によって決定された圧縮率を次のフレームの圧縮において適用し、静止画の場合は、同じ画像に対して再度画質評価部231で決定した圧縮率で同じフレーム画像を圧縮するようにしてもよい。
また、本実施例の簡易現像部210で用いられた現像パラメータは撮像時に設定されたホワイトバランス調整値に対応したパラメータや、撮像装置100のCPU101により撮像画像を解析した結果、自動的に設定されたパラメータである。
ここで、補足説明として、現像後の画像同士を比較する理由について説明する。一言でいえば、現像後の画像同士を比較する理由は、圧縮前のRAW画像と圧縮され伸張されたRAW画像との誤差が所定の範囲に収まるように圧縮を行ったとしても現像後の画像においては所定の範囲より大きい誤差が発生してしまうからである。そのため、本実施例では、単純に圧縮前のRAW画像と圧縮され伸張されたRAW画像と誤差が所定範囲に収まるように圧縮率を制御するのではなく、現像した画像同士の誤差が所定の範囲に収まるように圧縮率を制御している。
図3(a)は、特定の被写体をある環境光のもとで撮影をした場合に得られた、ホワイトバランス調整処理をする前のRAW画像データのRGB各成分のヒストグラムを示している。一方、図3(b)は、同じ特定の被写体を図3(a)の場合とは異なる環境光のもとで撮影をした場合に得られたホワイトバランス調整をする前のRAW画像データのRGB各成分のヒストグラムを示している。簡易現像部210や高画質現像部211で、ホワイトバランス調整処理が適正に行われた場合には、同じ被写体を撮影した結果であるため、調整後のヒストグラムはほぼ同じものとなる。たとえば、特定の被写体が無彩色の被写体であったとするならば、ホワイトバランス調整処理の結果RGB成分は等しい値になる。
しかしながら、たとえばR成分に着目してみてみるとG成分に対して図3(a)では暗くなっているのがわかる。そのため、撮像部110によって得られたRAW画像データと、圧縮伸張後のRAW画像データとを現像前の状態で比較すると、たとえばR成分においては、目標となる信号のレベルが低いために誤差(ノイズ)成分の割合が現像後に比べて低くなってしまうことがある。この画像を現像すると、ホワイトバランス調整処理によりR成分のレベルが補正されるので、小さかった誤差(ノイズ)成分が大きくなってしまうことがある。このように現像前のRAW画像データを比較すると、ホワイトバランス調整処理やガンマ補正処理のように現像処理によって変化する画質に関して最適な比較を行うことができなくなってしまうことがあるからである。そのため、本実施例では、RAW画像データを圧縮する場合であっても、圧縮前のRAW画像データと圧縮伸張されたRAW画像データとを比較するのではなく、現像後の画像同士を比較してRAW画像データの圧縮率を調整している。
なお、本実施例では、簡易現像部210により現像された画像同士を、画質評価部231で比較するものとして説明したが、高画質現像部211で現像された画像同士を比較するようにしてもよい。
また、本実施例の画質評価部231において、現像した画像データの特定の領域のみまたは任意の一部を比較するようにしてもよい。また、簡易現像部210において、信号処理部201により処理されたRAW画像データ、及び、RAW伸張部221により伸張されたRAW画像データを同じパラメータで現像する。このときのパラメータは、ホワイトバランス調整処理における各色成分データに対するレベル調整パラメータや、ガンマ補正処理におけるガンマ補正パラメータを含む。
また、本実施例においては、高画質現像部210、簡易現像部211で現像した画像について、表示するために用いるものとして説明したが、たとえば、高画質現像部210、簡易現像部211で現像した画像を静止画または動画として圧縮してもよい。このとき用いる圧縮方式は、ウェーブレット変換を用いたJPEG2000やMotionJPEG2000であってもよいし、H.264、H.265、MPEG、MPEG2などどのような形式の圧縮方式を用いてもよい。
なお、本実施例では、撮像装置を例にとって説明したが、RAW画像データを圧縮することができる装置であればどのような装置でも良い。たとえば、携帯電話、スマートフォン、タブレット型情報端末、ノート型情報端末、コンピュータ等であってもよい。
次に、実施例2について説明する。実施例2においても実施例1と同様に、撮像装置について説明する。撮像装置の基本的な構成は実施例1と同様であるため、撮像装置の基本的な構成は実施例1と同様のものとして説明を省略する。
実施例2では、実施例1と比べて、画像処理部111の動作が異なるので、画像処理部111の説明を行う。
<画像処理部111について>
画像処理部111は、撮像部110により得られたRAW画像データを圧縮する処理を行う。画像処理部111では、RAW画像データを所定の圧縮率で圧縮し、圧縮済みのRAW画像データを伸張する。そして、撮像部110により得られたRAW画像データと圧縮伸張されたRAW画像データとを、現像パラメータで補正して、補正後のそれぞれの画像を比較する。そして、その画質を評価して、画質に応じて圧縮処理における圧縮率を制御する。本実施例では画質評価の例としてPSNRを用いるが、これ以外の評価手法を用いてもよい。
図4は、画像処理部111の構成を示すブロック図である。本実施例の画像処理部111は、図4に示すように、信号処理部401、簡易現像部410、高画質現像部411、RAW圧縮部420、RAW伸張部421、データ補正部430、画質評価部431を有する。
信号処理部401は、RAW画像データの修復処理を実行する。修復処理には、撮像部110の撮像素子における欠落画素や信頼性の低い画素の値に対し、周辺画素値を用いて修復対象の画素を補間したり、所定のオフセット値を減算したりする処理がある。
簡易現像部410、高画質現像部411は、RAW画像データを現像する処理を行う。簡易現像部410においては、高画質現像部411よりも限定された条件で現像を行うものとする。簡易現像部410、高画質現像部411はそれぞれ、RAW画像データに対して、ホワイトバランス調整処理、デベイヤー処理(デモザイク処理)等のいわゆる現像処理を行う。他にも、デベイヤー処理後の画像データを輝度と色差から成る信号に変換する処理、各信号に含まれるノイズを除去する処理、光学的な歪を補正する処理、ガンマ補正処理等をおこなう。なお、「現像処理」とは、デベイヤー処理(デモザイク処理)、ホワイトバランス調整処理、ガンマ補正処理のそれぞれのうち一つの処理のみを示すこともあるし、これらのうち複数の処理を含む処理を示すこともある。なお、簡易現像部410は高画質現像部411よりも処理を簡易化して高速に処理を行うものとする。そのため、たとえば、簡易現像部では、RAW画像データを所定のサイズ(たとえば2000×2000以下)に縮小してから処理を行う。また、光学的な歪みを補正する処理やノイズを除去する処理に関しても、補正対象の画像の前後に撮影された画像データの解析等を行わずに処理をすることで処理を簡易化することができる。逆に、高画質現像部411では、サイズを制限せずに現像処理を行い、また補正対象の画像の前後に撮影された画像データの解析を行い、高精度な補正処理、ノイズ除去処理を行う。
このように、高画質現像部411は、簡易現像部410よりも処理負荷が大きいため、記録時に高画質現像部411を動作させずに、たとえば再生時や記録終了後に高画質現像部411による処理を実行するようにしてもよい。他方、簡易現像部410は、高画質現像部411よりも、処理負荷が小さいので、記録時の現像の際には簡易現像部211を用いるようしてもよい。そうすることで、記録時の消費電力の増大(ピーク)を低く抑えることができる。なお、本実施例では、簡易現像部410、高画質現像部411の2つの現像部を有するものとして説明するが、一つの現像部が動作モードを切り替えて、簡易現像と高画質現像の処理を行う構成であってもよい。
RAW圧縮部420は、信号処理部401で処理されたRAW画像データのデータ量を圧縮するものである。RAW圧縮部420では、たとえば、ウェーブレット変換、差分符号化等の圧縮符号化技術を用いてRAW画像データを圧縮する。本実施例では、たとえばJPEG2000や、MotionJPEG2000で用いられていたように、ウェーブレット変換された情報を量子化する構成であるものとする。そのため、RAW圧縮部420において、量子化ステップ数を減らすことで圧縮率を上げることができ、量子化ステップ数を増やすことで圧縮率を下げ画質を向上させることができる。なお、量子化ステップ数を増減させるほか、算術符号化の精度を変更することでも圧縮率を変更することもできるので、圧縮率の変更をする方法は、量子化ステップ数の変更に限られるものではない。
RAW伸張部421は、記録時には、RAW圧縮部420により圧縮された、圧縮済みのRAW画像データを伸張し、再生時には、記録媒体151から読みだされた圧縮済みのRAW画像データを伸張するものである。RAW伸張部421では、たとえば、ウェーブレット逆変換、差分復号化等の復号化技術を用いて圧縮済みのRAW画像データを伸張する。本実施例では、ウェーブレット変換され、量子化された情報を伸長するため、逆量子化、ウェーブレット逆変換をする構成であるものとする。
次に、データ補正部430は、簡易現像部410で使用された現像パラメータに基づいて、RAW画像データを補正する。具体例をあげると、ホワイトバランス調整処理における各色のレベル補正パラメータに応じてRAW画像データを補正したり、ガンマ補正処理における補正パラメータに応じてRAW画像データを補正したりする。補正されるRAW画像データは、信号処理部401で処理されたRAW画像データおよび、RAW圧縮部420で圧縮されRAW伸張部421で伸張されたRAW画像データである。データ補正部430は補正したRAW画像データは画質評価部431に送信する。
画質評価部431は、データ補正部430から出力された2つの未現像のRAW画像データを比較するものである。信号処理部201から出力されたRAW画像データをデータ補正部430で補正した第1のRAW画像データと、RAW圧縮部220で圧縮されRAW伸張部221で伸張されたRAW画像データをデータ補正部430で補正した第2のRAW画像データとを比較する。画質評価部431では、入力された第1のRAW画像データと、第2のRAW画像データとを比較し、「ピーク信号対雑音比」(一般に、PSNRと呼ばれる)を求める。そして画質評価部431は、算出された「ピーク信号対雑音比(PSNR)」に応じて、RAW圧縮部420における圧縮率を制御する。
本実施例の画像処理部111は、このような構成により、現像処理されないRAW画像データを圧縮する場合に、現像パラメータを用いて補正されたRAW画像データの画質に基づいて、より最適な圧縮率になるように制御することができる。
次に画像処理部111の記録時の動作について説明する。
記録動作が開始すると、撮像部110から出力されたRAW画像データは画像処理部111に送信される。画像処理部111においては、まず、信号処理部401でRAW画像データの修復処理が行われる。次に、RAW画像データは簡易現像部410、データ補正部430及びRAW圧縮部420に送られる。RAW圧縮部420においては、画質評価部431の指示に基づく圧縮率でRAW画像データを圧縮する。RAW圧縮部420で圧縮された圧縮済みのRAW画像データは、RAW伸張部421および記録再生部150に送信される。RAW伸張部421では、RAW圧縮部420で圧縮された圧縮済みのRAW画像データを伸張する。そして、データ補正部430に伸張したRAW画像データを送信する。
簡易現像部410では、信号処理部201により処理されたRAW画像データを現像して表示制御部141に送信する。一方で、現像パラメータをデータ補正部430に送信する。
データ補正部430は、信号処理部401から出力されたRAW画像データと、RAW圧縮部420で圧縮されRAW伸張部で伸張されたRAW画像データを取得し、簡易現像部410から送信された現像パラメータを用いて、2つのRAW画像データを補正する。ここで、信号処理部401から出力されたRAW画像データを補正した画像を第1のRAW画像データ、RAW圧縮部420で圧縮されRAW伸張部で伸張されたRAW画像データを補正した画像を第2のRAW画像データと呼ぶものとする。
画質評価部431では、第1のRAW画像データと第2のRAW画像データを比較し、「ピーク信号対雑音比(PSNR)」を算出する。そして、「ピーク信号対雑音比(PSNR)」が所定の上限値を超えていた場合には、画質が良好であることを示しているので、圧縮率を上げても画質がさほど低下しない。そのため、そして、「ピーク信号対雑音比(PSNR)」が所定の上限値を超えていた場合には、圧縮率を上げる指示をRAW圧縮部420に出す。一方、所定の下限値を下回っていた場合には、画質が所定のレベルよりも低下してしまっていること示しているので画質を良くするために圧縮率を下げる指示をRAW圧縮部420に出す。なお、「ピーク信号対雑音比(PSNR)」が、前述の所定の上限値を超えず、所定の下限値を下回らない場合には圧縮率を変更しないようにする。
RAW圧縮部420においては、圧縮率を上げる指示が画質評価部431から入力されると、圧縮処理における量子化ステップ数を減らし、圧縮率を下げる指示が入力されると圧縮処理における量子化ステップ数を増やすように動作する。前述したように、圧縮率を上げる方法は量子化ステップ数を変更する以外の方法であってもよい。
以上の動作により、記録時においては、入力されたRAW画像データを現像せずに圧縮する場合に、現像後の画質を考慮した圧縮を行うことができる。そのために、本実施例では、撮像により得られたRAW画像データを現像したパラメータを用いて、RAW画像データを補正してから画像比較を行う。具体的には、撮像により得られたRAW画像データを撮像パラメータを用いて補正した第1のRAW画像データと、圧縮したRAW画像データを再伸張したRAW画像データを撮像パラメータを用いて補正した第2のRAW画像データとを比較して、現像後の画質評価を行う。そして、圧縮したRAW画像データを再伸張したRAW画像データを現像パラメータで補正した画質が所定のレベルに収まるようにRAW画像データの圧縮動作を制御する。このように、本実施例の撮像装置は、RAW画像データの圧縮において、画質と符号量を両立させた最適な圧縮に近づけることができる。
本実施例では、動画、静止画の撮影に特に限定して説明を行わなかったがどちらの撮影においても適用可能である。動画の場合は、画質評価部431によって決定された圧縮率を次のフレームの圧縮において適用し、静止画の場合は、同じ画像に対して再度画質評価部431で決定した圧縮率で同じフレーム画像を圧縮するようにしてもよい。
また、本実施例の簡易現像部410で用いられた現像パラメータは撮像時に設定されたホワイトバランス調整値に対応したパラメータや、撮像装置100のCPU101により撮像画像を解析した結果、自動的に設定されたパラメータである。
なお、本実施例では、簡易現像部410で使用された現像パラメータを用いて補正したRAW画像データ同士を、画質評価部431で比較するものとして説明した。しかし、高画質現像部411で使用された現像パラメータを用いて補正されたRAW画像データ同士を比較するようにしてもよい。
また、本実施例の画質評価部431において、RAW画像データの特定の領域のみを比較するようにしてもよい。また、簡易現像部410における現像パラメータは、ホワイトバランス調整処理における各色成分データに対するレベル調整パラメータや、ガンマ補正処理におけるガンマ補正パラメータ等を含む。
また、本実施例においては、高画質現像部410、簡易現像部411で現像した画像について、表示するために用いるものとして説明したが、たとえば、高画質現像部410、簡易現像部411で現像した画像を静止画または動画として圧縮してもよい。このとき用いる圧縮方式は、ウェーブレット変換を用いたJPEG2000やMotionJPEG2000であってもよいし、H.264、H.265、MPEG、MPEG2などどのような形式の圧縮方式を用いてもよい。
なお、本実施例では、撮像装置を例にとって説明したが、RAW画像データを圧縮することができる装置であればどのような装置でも良い。たとえば、携帯電話、スマートフォン、タブレット型情報端末、ノート型情報端末、コンピュータ等であってもよい。
(他の実施形態)
上述の実施形態は、システム或は装置のコンピュータ(或いはCPU、MPU等)によりソフトウェア的に実現することも可能である。従って、上述の実施形態をコンピュータで実現するために、該コンピュータに供給されるコンピュータプログラム自体も本発明を実現するものである。つまり、上述の実施形態の機能を実現するためのコンピュータプログラム自体も本発明の一つである。
なお、上述の実施形態を実現するためのコンピュータプログラムは、コンピュータで読み取り可能であれば、どのような形態であってもよい。例えば、オブジェクトコード、インタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等で構成することができるが、これらに限るものではない。上述の実施形態を実現するためのコンピュータプログラムは、記憶媒体又は有線/無線通信によりコンピュータに供給される。プログラムを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、磁気テープ等の磁気記憶媒体、MO、CD、DVD等の光/光磁気記憶媒体、不揮発性の半導体メモリなどがある。
有線/無線通信を用いたコンピュータプログラムの供給方法としては、コンピュータネットワーク上のサーバを利用する方法がある。この場合、本発明を形成するコンピュータプログラムとなりうるデータファイル(プログラムファイル)をサーバに記憶しておく。プログラムファイルとしては、実行形式のものであっても、ソースコードであっても良い。そして、このサーバにアクセスしたクライアントコンピュータに、プログラムファイルをダウンロードすることによって供給する。この場合、プログラムファイルを複数のセグメントファイルに分割し、セグメントファイルを異なるサーバに分散して配置することも可能である。つまり、上述の実施形態を実現するためのプログラムファイルをクライアントコンピュータに提供するサーバ装置も本発明の一つである。
また、上述の実施形態を実現するためのコンピュータプログラムを暗号化して格納した記憶媒体を配布し、所定の条件を満たしたユーザに、暗号化を解く鍵情報を供給し、ユーザの有するコンピュータへのインストールを許可してもよい。鍵情報は、例えばインターネットを介してホームページからダウンロードさせることによって供給することができる。また、上述の実施形態を実現するためのコンピュータプログラムは、すでにコンピュータ上で稼働するOSの機能を利用するものであってもよい。さらに、上述の実施形態を実現するためのコンピュータプログラムは、その一部をコンピュータに装着される拡張ボード等のファームウェアで構成してもよいし、拡張ボード等が備えるCPUで実行するようにしてもよい。

Claims (13)

  1. 被写体の光学像を撮像しRAW画像データを取得する撮像手段と、
    RAW画像データを現像する現像手段と、
    RAW画像データを圧縮する圧縮手段と、
    前記圧縮手段により圧縮されたRAW画像データを伸張する伸張手段と、
    前記撮像手段により得られたRAW画像データを前記現像手段における現像パラメータに基づいて補正した第1のRAW画像データと、前記伸張手段により伸張されたRAW画像データを前記現像手段における現像パラメータに基づいて補正した第2のRAW画像データとを比較した結果に基づいて、前記圧縮手段による圧縮率を制御する制御手段とを有することを特徴とする画像処理装置。
  2. 前記現像手段は、前記RAW画像データを縮小して現像することを特徴とする請求項1に記載の画像処理装置。
  3. 前記現像手段は、前記RAW画像データに対してホワイトバランス調整処理をすることを特徴とする請求項1または2に記載の画像処理装置。
  4. 前記現像手段は、前記RAW画像データに対してガンマ補正処理をすることを特徴とする請求項1から3のいずれか1項に記載の画像処理装置。
  5. 前記制御手段は、前記第1のRAW画像データと前記第2のRAW画像データの一部を比較した結果に基づいて、前記圧縮手段による圧縮率を制御する制御手段とを有することを特徴とする請求項1から4のいずれか1項に記載の画像処理装置。
  6. 前記圧縮手段は、前記RAW画像データを示す情報を量子化し、
    前記制御手段は、前記圧縮手段における量子化ステップ数を変更することを特徴とする請求項1から5のいずれか1項に記載の画像処理装置。
  7. 被写体の光学像を撮像しRAW画像データを取得する撮像ステップと、
    RAW画像データを現像する現像ステップと、
    RAW画像データを圧縮する圧縮ステップと、
    前記圧縮ステップで圧縮されたRAW画像データを伸張する伸張ステップと、
    前記撮像ステップで得られたRAW画像データを前記現像ステップにおける現像パラメータに基づいて補正した第1のRAW画像データと、前記伸張ステップにより伸張されたRAW画像データを前記現像ステップにおける現像パラメータに基づいて補正した第2のRAW画像データとを比較した結果に基づいて、前記圧縮ステップにおける圧縮率を制御する制御ステップとを有することを特徴とする画像処理方法。
  8. 前記現像ステップは、前記RAW画像データを縮小して現像することを特徴とする請求項7に記載の画像処理方法。
  9. 前記現像ステップは、前記RAW画像データに対してホワイトバランス調整処理をすることを特徴とする請求項7または8に記載の画像処理方法。
  10. 前記現像ステップは、前記RAW画像データに対してガンマ補正処理をすることを特徴とする請求項7から9のいずれか1項に記載の画像処理方法。
  11. 前記制御ステップは、前記第1のRAW画像データと前記第2のRAW画像データの一部を比較した結果に基づいて、前記圧縮ステップにおける圧縮率を制御する制御ステップとを有することを特徴とする請求項7から10のいずれか1項に記載の画像処理方法。
  12. 前記圧縮ステップは、前記RAW画像データを示す情報を量子化し、
    前記制御ステップは、前記圧縮ステップにおける量子化ステップ数を変更することを特徴とする請求項7から11のいずれか1項に記載の画像処理方法。
  13. コンピュータに請求項7から12のいずれか1項に記載の各ステップを実行させるためのコンピュータプログラム。
JP2013234964A 2013-11-13 2013-11-13 画像処理装置、画像処理方法、プログラム Expired - Fee Related JP6242172B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013234964A JP6242172B2 (ja) 2013-11-13 2013-11-13 画像処理装置、画像処理方法、プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013234964A JP6242172B2 (ja) 2013-11-13 2013-11-13 画像処理装置、画像処理方法、プログラム

Publications (2)

Publication Number Publication Date
JP2015095806A true JP2015095806A (ja) 2015-05-18
JP6242172B2 JP6242172B2 (ja) 2017-12-06

Family

ID=53197922

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013234964A Expired - Fee Related JP6242172B2 (ja) 2013-11-13 2013-11-13 画像処理装置、画像処理方法、プログラム

Country Status (1)

Country Link
JP (1) JP6242172B2 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001238213A (ja) * 2000-02-25 2001-08-31 Canon Inc 画像処理装置およびその方法
JP2008124530A (ja) * 2006-11-08 2008-05-29 Tokyo Institute Of Technology Rawデータ圧縮方法
JP2009130741A (ja) * 2007-11-26 2009-06-11 Canon Inc 画像処理装置および画像処理方法
JP2012147303A (ja) * 2011-01-13 2012-08-02 Canon Inc 画像処理システム及びその制御方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001238213A (ja) * 2000-02-25 2001-08-31 Canon Inc 画像処理装置およびその方法
JP2008124530A (ja) * 2006-11-08 2008-05-29 Tokyo Institute Of Technology Rawデータ圧縮方法
JP2009130741A (ja) * 2007-11-26 2009-06-11 Canon Inc 画像処理装置および画像処理方法
JP2012147303A (ja) * 2011-01-13 2012-08-02 Canon Inc 画像処理システム及びその制御方法

Also Published As

Publication number Publication date
JP6242172B2 (ja) 2017-12-06

Similar Documents

Publication Publication Date Title
JP6242171B2 (ja) 画像処理装置、画像処理方法、プログラム
US9918062B2 (en) Image capturing apparatus, control method of image capturing apparatus, and image processing method
US9894270B2 (en) Image processing apparatus and image processing method for handling a raw image, of a moving image or a still image
EP2974265B1 (en) Imaging apparatus and imaging apparatus control method
US7750972B2 (en) Digital camera
US20160105632A1 (en) Image processing apparatus, method for controlling image processing apparatus, and non-transitory computer readable storage medium
JP2015195582A (ja) 画像処理装置及びその制御方法、撮像装置及びその制御方法、並びに、記録媒体
US10491854B2 (en) Image capturing apparatus, image processing method, and non-transitory computer-readable storage medium
JP2017224939A (ja) 撮像装置
JP2018088652A (ja) 撮像装置、画像処理方法、及び、プログラム
RU2655662C1 (ru) Устройство обработки изображений и способ обработки изображений
US10375348B2 (en) Image capturing apparatus operable to store captured image data in image memory, method of controlling same, and storage medium
JP6741532B2 (ja) 撮像装置および記録方法
JP6242172B2 (ja) 画像処理装置、画像処理方法、プログラム
JP2019075638A (ja) 画像処理装置
JP6198428B2 (ja) 撮像装置
US9521327B2 (en) Image capturing apparatus, method for controlling image capturing apparatus, display control apparatus, and method for controlling display control apparatus
JP6104017B2 (ja) 撮像装置
JP2015050688A (ja) 撮像装置、撮像装置の制御方法、プログラム
JP2011239424A (ja) デジタルカメラ
JP2011239240A (ja) 撮像装置
JP2001358983A (ja) 画像入力装置、画像記録方法、およびその方法を実行するためのプログラムを格納したコンピュータが読取可能な記録媒体
KR20070070626A (ko) 촬영 장치 및 영상 보정 방법
JP2018082238A (ja) 画像符号化装置、画像符号化方法、及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161111

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170927

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171010

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171107

R151 Written notification of patent or utility model registration

Ref document number: 6242172

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees