JP2008021129A - 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム - Google Patents
画像処理装置、および画像処理方法、並びにコンピュータ・プログラム Download PDFInfo
- Publication number
- JP2008021129A JP2008021129A JP2006192418A JP2006192418A JP2008021129A JP 2008021129 A JP2008021129 A JP 2008021129A JP 2006192418 A JP2006192418 A JP 2006192418A JP 2006192418 A JP2006192418 A JP 2006192418A JP 2008021129 A JP2008021129 A JP 2008021129A
- Authority
- JP
- Japan
- Prior art keywords
- image
- pixel value
- pixel
- area
- raw image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims description 22
- 238000012545 processing Methods 0.000 claims abstract description 166
- 230000009467 reduction Effects 0.000 claims abstract description 92
- 239000000470 constituent Substances 0.000 claims description 62
- 238000000034 method Methods 0.000 claims description 58
- 230000008569 process Effects 0.000 claims description 51
- 238000004364 calculation method Methods 0.000 claims description 47
- 238000004590 computer program Methods 0.000 claims description 17
- 230000015556 catabolic process Effects 0.000 abstract description 8
- 238000006731 degradation reaction Methods 0.000 abstract description 8
- 238000011161 development Methods 0.000 description 25
- 238000003384 imaging method Methods 0.000 description 15
- 238000011946 reduction process Methods 0.000 description 9
- 239000003086 colorant Substances 0.000 description 7
- 238000012937 correction Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000010365 information processing Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 238000003705 background correction Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- ORQBXQOJMQIAOY-UHFFFAOYSA-N nobelium Chemical compound [No] ORQBXQOJMQIAOY-UHFFFAOYSA-N 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Landscapes
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
Abstract
【課題】Raw画像などの画像を任意の縮小比で縮小し画質劣化の少ない縮小画像の提示を可能とする構成を実現する。
【解決手段】オリジナル画像において各チャネル対応画素の画素値の有効領域を設定し、さらに、縮小画像構成画素を中心として周囲に拡張した拡大領域を設定して拡大領域に含まれる有効領域の面積に応じた寄与率の下に各有効領域の設定画素値を勘案して縮小画像構成画素の画素値を算出する。本構成によれば、任意倍率の縮小画像の効率的な生成が可能となり、かつ、画質劣化の発生を抑えた高品質な縮小画像の生成が実現される。例えば、ユーザの希望に応じた任意サイズの縮小比の設定が可能となり、その大きさに応じた最低限の計算量の現像処理で縮小画像を生成することができる。
【選択図】図1
【解決手段】オリジナル画像において各チャネル対応画素の画素値の有効領域を設定し、さらに、縮小画像構成画素を中心として周囲に拡張した拡大領域を設定して拡大領域に含まれる有効領域の面積に応じた寄与率の下に各有効領域の設定画素値を勘案して縮小画像構成画素の画素値を算出する。本構成によれば、任意倍率の縮小画像の効率的な生成が可能となり、かつ、画質劣化の発生を抑えた高品質な縮小画像の生成が実現される。例えば、ユーザの希望に応じた任意サイズの縮小比の設定が可能となり、その大きさに応じた最低限の計算量の現像処理で縮小画像を生成することができる。
【選択図】図1
Description
本発明は、画像処理装置、および画像処理方法、並びにコンピュータ・プログラムに関する。特に、画像データの縮小処理を実行する画像処理装置、および画像処理方法、並びにコンピュータ・プログラムに関する。
さらに、詳細には、本発明は、例えばデジタルカメラ等の撮像装置において撮影され、現像処理の施されていないRaw画像データに対する処理を行う画像処理装置、および画像処理方法、並びにコンピュータ・プログラムに関する。
昨今の電子スチルカメラには、撮像結果をいわゆるRaw画像データの形式で記録媒体に記録可能としたものがある。Raw画像データは、撮像素子から得られる撮像結果による画像データであって、ガンマ補正処理、オートホワイトバランス調整処理、色相補正処理、周波数特性の補正処理等の、撮像結果の表示に供する一連の画質補正処理を実行していない画質補正前の画像データである。
Raw画像データは、画像処理が施されていない未加工のデータであり、このRaw画像データを記憶部に格納して保持することで、その後、例えばパソコンなどの装置において、任意の画像処理パラメータを選択適用して画像処理(現像処理)を行なうことが可能となる。すなわち、Rawデータに基づいて、ユーザは様々な画質を持つ画像を自由に生成してプリントあるいはディスプレイ表示を行なうことができる。
例えば、このようなRaw画像の編集を行なう場合、編集対象とするRaw画像の確認が行なわれる。この確認処理に際しては、Raw画像に基づく一時的な現像画像を生成してユーザに提示する処理が行なわれる。しかし、Raw画像の現像には大きな計算量が必要であり、複数のRaw画像の確認のため、複数のRaw画像の現像処理を行うと多くの時間を要することになる。
このような問題を解決するため、まずRaw画像の縮小画像を生成し、縮小画像に対する現像を行なってユーザに提示する処理が提案されている。このようなRaw画像に対する縮小処理を行なう構成について開示した従来技術として、例えば、特許文献1(特開平6−90435号公報)、特許文献2(特開2003−346143号公報)がある。これらの文献には、記録媒体に記録された撮像結果をコンピュータにより処理する際に、記録媒体に記録されたRawデータを間引きしてサムネイル画像(縮小画像)を生成し、このサムネイル画像により撮像結果を表示する方法が記載されている。このように縮小画像の適用により、現像処理時間を短くすることができる。
Raw画像データに対する縮小画像の生成アルゴリズムは、いわゆる1/N間引き(Nは整数)を行う処理が一般的である。すなわち、例えばN=10とした1/10間引き、N=5とした1/5間引きであり、1/2,1/3・・といった固定的な縮小率に従った間引き処理を実行するものとなっている。従って、ディスプレイの表示領域に応じた任意の縮小率の縮小画像を取得して閲覧するといった処理が出来ないという問題がある。
1/2,1/3・・といった固定的な縮小率に従った間引き処理を行った画像を単純に拡大した場合には、偽色や折りかえりなどの問題が発生する。これは、Raw画像データは、撮像素子から取得したままのデータであり、各画素には、撮像素子の構成に応じた色情報、例えばRGBのいずれかの色情報しか存在せず、各画素に対応するRGBデータを得るための処理(同時化処理)が行なわれていないためである。従って、Raw画像から各画素に対応する色情報が設定された正しい現像画像を得るためには、Raw画像に対する拡縮率に応じたアルゴリズムに従った処理を行なうことが必要となる。
従って、例えばユーザが設定した任意の画像サイズの現像画像を、Raw画像に基づいて生成し表示するためには、元画像の整数分の1(1/N)の画像中から、ユーザの設定した領域より大きい画像サイズとなる整数Nを計算して、そのNを適用した縮小処理を実行して、1/Nの縮小Raw画像を生成して現像処理を行った後にその領域と同じサイズになるように現像後の画像を再度縮小するという処理が必要となる。しかし、このような処理は、現像処理工程が複雑になるだけでなく、実際に必要な大きさよりも大きい画像を現像することになり、結果として無駄な処理時間が含まれ効率を低下させることになる。
特開平6−90435号公報
特開2003−346143号公報
本発明は、上述の問題点に鑑みてなされたものであり、画像データに対する高品質な画像を任意の縮小率で得ることを可能とした画像処理装置、および画像処理方法、並びにコンピュータ・プログラムを提供することを目的とする。
本発明は、Raw画像データに対する1/N縮小(Nは整数)ではなく、任意のサイズへの縮小を実行して、偽色や折りかえりなどの画像品質低下を発生させることのない高品質な画像を生成することを可能とした画像処理装置、および画像処理方法、並びにコンピュータ・プログラムを提供することを目的とする。
本発明の第1の側面は、
画像データの縮小処理を実行する画像処理装置であり、
オリジナル画像に対する縮小画像の縮小比を算出する縮小比算出部と、
前記オリジナル画像における各チャネル対応画素の画素値の有効領域を規定する区分線を設定する区分線設定部と、
縮小画像構成画素を中心として周囲に拡張した画素値決定用拡大領域を、前記オリジナル画像において設定する拡大領域設定部と、
前記画素値決定用拡大領域に含まれる有効領域の面積に応じて寄与率を決定し、決定した寄与率に従って各有効領域の設定画素値を積算して縮小画像構成画素の画素値を算出する画素値算出部と、
を有することを特徴とする画像処理装置にある。
画像データの縮小処理を実行する画像処理装置であり、
オリジナル画像に対する縮小画像の縮小比を算出する縮小比算出部と、
前記オリジナル画像における各チャネル対応画素の画素値の有効領域を規定する区分線を設定する区分線設定部と、
縮小画像構成画素を中心として周囲に拡張した画素値決定用拡大領域を、前記オリジナル画像において設定する拡大領域設定部と、
前記画素値決定用拡大領域に含まれる有効領域の面積に応じて寄与率を決定し、決定した寄与率に従って各有効領域の設定画素値を積算して縮小画像構成画素の画素値を算出する画素値算出部と、
を有することを特徴とする画像処理装置にある。
さらに、本発明の画像処理装置の一実施態様において、前記オリジナル画像は、Raw画像であり、前記縮小比算出部は、オリジナルRaw画像に対する縮小Raw画像の縮小比を算出する構成であり、前記区分線設定部は、前記オリジナルRaw画像における各チャネル対応画素の画素値の有効領域を規定する区分線を設定する構成であり、前記拡大領域設定部は、縮小Raw画像構成画素を中心として周囲に拡張した画素値決定用拡大領域を、前記オリジナルRaw画像において設定する構成であり、前記画素値算出部は、前記画素値決定用拡大領域に含まれる有効領域の面積に応じて寄与率を決定し、決定した寄与率に従って各有効領域の設定画素値を積算して縮小Raw画像構成画素の画素値を算出する構成であることを特徴とする。
さらに、本発明の画像処理装置の一実施態様において、前記画像処理装置は、さらに、前記拡大領域設定部の設定した前記画素値決定用拡大領域を、前記区分線の規定する有効領域に基づいて、9つの領域に分割する領域分割部を有し、前記画素値算出部は、前記領域分割部の分割処理によって生成された9つの分割領域に含まれる有効領域の面積に応じて設定される寄与率に基づいて、各有効領域の設定画素値を積算して縮小画像構成画素の画素値を算出する構成であることを特徴とする。
さらに、本発明の画像処理装置の一実施態様において、前記拡大領域設定部は、縮小画像構成画素を中心として周囲に拡張した画素値決定用拡大領域を、前記縮小画像構成画素の面積の倍以上の領域に設定する処理を行なう構成であることを特徴とする。
さらに、本発明の画像処理装置の一実施態様において、前記区分線設定部は、前記オリジナル画像における各チャネル対応画素の各々を中心として周囲に領域を拡張して規定される有効領域の境界として区分線を設定する処理を実行する構成であることを特徴とする。
さらに、本発明の第2の側面は、
画像処理装置において、画像データの縮小処理を実行する画像処理方法であり、
縮小比算出部において、オリジナル画像に対する縮小画像の縮小比を算出する縮小比算出ステップと、
区分線設定部において、前記オリジナル画像における各チャネル対応画素の画素値の有効領域を規定する区分線を設定する区分線設定ステップと、
拡大領域設定部において、縮小画像構成画素を中心として周囲に拡張した画素値決定用拡大領域を、前記オリジナル画像において設定する拡大領域設定ステップと、
画素値算出部において、前記画素値決定用拡大領域に含まれる有効領域の面積に応じて寄与率を決定し、決定した寄与率に従って各有効領域の設定画素値を積算して縮小画像構成画素の画素値を算出する画素値算出ステップと、
を有することを特徴とする画像処理方法にある。
画像処理装置において、画像データの縮小処理を実行する画像処理方法であり、
縮小比算出部において、オリジナル画像に対する縮小画像の縮小比を算出する縮小比算出ステップと、
区分線設定部において、前記オリジナル画像における各チャネル対応画素の画素値の有効領域を規定する区分線を設定する区分線設定ステップと、
拡大領域設定部において、縮小画像構成画素を中心として周囲に拡張した画素値決定用拡大領域を、前記オリジナル画像において設定する拡大領域設定ステップと、
画素値算出部において、前記画素値決定用拡大領域に含まれる有効領域の面積に応じて寄与率を決定し、決定した寄与率に従って各有効領域の設定画素値を積算して縮小画像構成画素の画素値を算出する画素値算出ステップと、
を有することを特徴とする画像処理方法にある。
さらに、本発明の画像処理方法の一実施態様において、前記オリジナル画像は、Raw画像であり、前記縮小比算出ステップは、オリジナルRaw画像に対する縮小Raw画像の縮小比を算出するステップであり、前記区分線設定ステップは、前記オリジナルRaw画像における各チャネル対応画素の画素値の有効領域を規定する区分線を設定するステップであり、前記拡大領域設定ステップは、縮小Raw画像構成画素を中心として周囲に拡張した画素値決定用拡大領域を、前記オリジナルRaw画像において設定するステップであり、前記画素値算出ステップは、前記画素値決定用拡大領域に含まれる有効領域の面積に応じて寄与率を決定し、決定した寄与率に従って各有効領域の設定画素値を積算して縮小Raw画像構成画素の画素値を算出するステップであることを特徴とする。
さらに、本発明の画像処理方法の一実施態様において、前記画像処理方法は、さらに、領域分割部において、前記拡大領域設定部の設定した前記画素値決定用拡大領域を、前記区分線の規定する有効領域に基づいて、9つの領域に分割する領域分割ステップを有し、前記画素値算出ステップは、前記領域分割部の分割処理によって生成された9つの分割領域に含まれる有効領域の面積に応じて設定される寄与率に基づいて、各有効領域の設定画素値を積算して縮小画像構成画素の画素値を算出するステップであることを特徴とする。
さらに、本発明の画像処理方法の一実施態様において、前記拡大領域設定ステップは、縮小画像構成画素を中心として周囲に拡張した画素値決定用拡大領域を、前記縮小画像構成画素の面積の倍以上の領域に設定する処理を行なうステップであることを特徴とする。
さらに、本発明の画像処理方法の一実施態様において、前記区分線設定ステップは、前記オリジナル画像における各チャネル対応画素の各々を中心として周囲に領域を拡張して規定される有効領域の境界として区分線を設定する処理を実行するステップであることを特徴とする。
さらに、本発明の第3の側面は、
画像処理装置において、画像データの縮小処理を実行させるコンピュータ・プログラムであり、
縮小比算出部において、オリジナル画像に対する縮小画像の縮小比を算出させる縮小比算出ステップと、
区分線設定部において、前記オリジナル画像における各チャネル対応画素の画素値の有効領域を規定する区分線を設定させる区分線設定ステップと、
拡大領域設定部において、縮小画像構成画素を中心として周囲に拡張した画素値決定用拡大領域を、前記オリジナル画像において設定させる拡大領域設定ステップと、
画素値算出部において、前記画素値決定用拡大領域に含まれる有効領域の面積に応じて寄与率を決定し、決定した寄与率に従って各有効領域の設定画素値を積算して縮小画像構成画素の画素値を算出させる画素値算出ステップと、
を実行させることを特徴とするコンピュータ・プログラムにある。
画像処理装置において、画像データの縮小処理を実行させるコンピュータ・プログラムであり、
縮小比算出部において、オリジナル画像に対する縮小画像の縮小比を算出させる縮小比算出ステップと、
区分線設定部において、前記オリジナル画像における各チャネル対応画素の画素値の有効領域を規定する区分線を設定させる区分線設定ステップと、
拡大領域設定部において、縮小画像構成画素を中心として周囲に拡張した画素値決定用拡大領域を、前記オリジナル画像において設定させる拡大領域設定ステップと、
画素値算出部において、前記画素値決定用拡大領域に含まれる有効領域の面積に応じて寄与率を決定し、決定した寄与率に従って各有効領域の設定画素値を積算して縮小画像構成画素の画素値を算出させる画素値算出ステップと、
を実行させることを特徴とするコンピュータ・プログラムにある。
さらに、本発明のコンピュータ・プログラムの一実施態様において、前記オリジナル画像は、Raw画像であり、前記縮小比算出ステップは、オリジナルRaw画像に対する縮小Raw画像の縮小比を算出させるステップであり、前記区分線設定ステップは、前記オリジナルRaw画像における各チャネル対応画素の画素値の有効領域を規定する区分線を設定させるステップであり、前記拡大領域設定ステップは、縮小Raw画像構成画素を中心として周囲に拡張した画素値決定用拡大領域を、前記オリジナルRaw画像において設定させるステップであり、前記画素値算出ステップは、前記画素値決定用拡大領域に含まれる有効領域の面積に応じて寄与率を決定し、決定した寄与率に従って各有効領域の設定画素値を積算して縮小Raw画像構成画素の画素値を算出させるステップであることを特徴とする。
なお、本発明のコンピュータ・プログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、CDやFD、MOなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なコンピュータ・プログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づく、より詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
本発明の一実施例構成によれば、例えばRaw画像データなどの画像データの縮小処理を実行する構成において、N=整数とした1/N倍の縮小比にとらわれることなく、任意の縮小比で縮小することが可能となる。本発明の構成においては、オリジナル画像における各チャネル対応画素の画素値の有効領域を設定し、さらに、縮小画像構成画素を中心として周囲に拡張した拡大領域を設定して拡大領域に含まれる有効領域の面積に応じた寄与率の下に各有効領域の設定画素値を勘案して縮小画像構成画素の画素値を算出する構成としたので、任意倍率の縮小画像の効率的な生成が可能となり、かつ、画質劣化の発生を抑えた高品質な縮小画像の生成が実現される。例えば、ユーザが現像された画像を確認する場合、ユーザの希望する大きさの設定が可能であり、その大きさに応じた最低限の計算量の現像処理で処理可能となり、例えばRaw画像の現像、閲覧処理などにおけるワークフロー全体の時間短縮が実現される。
以下、図面を参照しながら、本発明の画像処理装置、および画像処理方法、並びにコンピュータ・プログラムの詳細について説明する。
本発明の画像処理装置は、例えばRaw画像データに対する任意の縮小率の縮小処理を実行して、高品質な縮小画像を得ることを可能とする。すなわち、Raw画像データに対する1/N縮小(Nは整数)ではなく、任意のサイズへ縮小した縮小Raw画像を生成して、偽色や折りかえりなどの画像品質低下を発生させることのない縮小画像を生成可能とするものである。
Raw画像データはCCDやCMOSなどの画像撮像素子の原信号そのもの、または欠陥画素補正やシェーディング補正など、多少の処理を加えた画像である。例えばユーザは、PCなどの画像処理装置において、Raw画像データに対する様々な調整を行いながら好みの画像を得ることができる。Raw画像を記録メディアに記録することで、通常の撮影では行えなかった現像処理が可能となるばかりでなく、後で、様々なパラメータの設定による様々な態様の現像が可能となるため、撮影時には露出やホワイトバランスなどを考慮せずに撮影することができ、ユーザは撮影のみに集中することができるというメリットがある。
しかし、Raw画像は非常に情報量が多く、画像ファイル本体も非常に大きくなり、画像ファイルの大きさに伴ってRaw画像を現像する装置の負荷が大きくなる。例えば多数のRaw画像を続けて現像する場合には、処理時間が長時間となってしまうという問題が発生する。Raw画像の現像時の代表的な処理としては、例えば「露出調整」と「ホワイトバランス調整」がある。ユーザはこれらの調整を行う場合、一般的に撮影画像の全体または一部を見ながら調整を行う。すなわち、1画素を画面の1ピクセルで見る100%表示をするのではなく、全体的な概観を見るために縮小した画像を見ながら調整するのが一般的である。
このような調整処理に際しては、ユーザは画像の概観を示した画像が必要なのであって、全ての処理が完全に施された画像が必要なわけではない。調整作業が終了し、現像して保存または印刷を行う場合には完全な処理が必要であるが、Raw現像調整フローの中で、これらの作業はあまり多くはなく、ほとんどの時間は、「ユーザによる調整」→「画面に反映」→「ユーザがその効果を確認」の3つの操作を繰り返す処理に費やされる。よってユーザがRaw画像の現像調整作業を快適に行うためにはユーザが行った調整作業の結果をいち早く画面に反映させることが重要となる。
このような処理を行なう場合、Raw画像データの全てを現像し、得られた画像を画面の大きさ(またはユーザの求める大きさ)に縮小して表示することが可能であるが、この方法はフルサイズのRaw画像の現像が必要となるため、非常に計算量が多く時間がかかる。従って、現像処理を行う前にRaw画像の縮小画像を作成し、RA画像の縮小画像に対する現像を実行することによって処理時間の短縮が可能となる。
しかし、ユーザが求める表示画像の大きさはその時々によって大きく異なり、また元のRaw画像も撮像装置の機種または設定に依存する。前述したように元のRaw画像データを1/N(ただしNは整数)とする縮小法を適用した場合、ユーザの求める画像の大きさにすることは困難となる。本発明では、任意のサイズへのRaw画像の縮小を実現し、偽色や折りかえりなどの画像品質低下を発生させることのない縮小画像の生成を可能とする。
まず、図1を参照して、撮像装置におけるRaw画像データの取得、記録メディアに対する格納、記録メディアに格納されたRaw画像データに対する画像処理を実行する構成例について説明する。
撮像装置であるデジタルカメラ100の撮像素子(CCD)101に被写体像が撮りこまれる。被写体像は撮像素子101において光電変換され、アナログ電気信号に変換されてA/D変換部102に入力される。アナログ電気信号は、A/D変換部102においてデジタル信号に変換される。
このデジタルデータがRaw画像データ121である。デジタルカメラ100では、このRaw画像データ121をフォーマット処理部103に入力する。フォーマット処理部103は、Raw画像データ121を入力するとともに、撮影条件に従って設定されたパラメータ、あるいはユーザ設定パラメータなどのパラメータ104を入力し、Raw画像データ121と、パラメータ104とを格納したファイルを、所定のファイルフォーマットに従って生成し、Raw画像データとパラメータとを含む画像データファイル151としてフラッシュメモリ等によって構成される記録メディア150に格納する。なお、パラメータ104は、例えば、明るさ、色調、ホワイトバランス、コントラスト、シャープネスなどの調整を行うパラメータによって構成されるパラメータである。
PCなど画像処理を実行する画像処理装置200は、記録メディア150に格納されたRawデータとパラメータとを含む画像データファイル151を読み出して、画像処理装置200内の記憶部にRawデータとパラメータとを含む画像データファイル201を記憶する。
画像処理装置200は、Raw画像縮小処理部202において、Raw画像に対する任意の縮小率の縮小処理を実行する。ここで実行する処理が本発明の特徴となるRaw画像に対する縮小処理である。Raw画像縮小処理部202は、Raw画像の縮小によって、縮小されたRaw縮小データとパラメータからなるデータファイル203を出力する。
この縮小されたRaw縮小データとパラメータからなるデータファイル203が現像処理部204に入力され、現像処理が実行され、縮小画像205が出力される。この縮小画像205は、例えば情報処理装置200のディスプレイに表示される。なお、情報処理装置200では、画像処理装置200内の記憶部に記憶されたRawデータとパラメータとを含む画像データファイル201を、縮小することなく、現像処理部204において現像することで、フル画像206を出力することも可能である。なお、現像処理部204では、ユーザの好みに応じた画質を生成するための現像処理パラメータを自由に設定することができる。
Raw画像縮小処理部202の構成を図2に示す。Raw画像縮小処理部202は、図2に示すように、縮小比算出部301、区分線設定部302、拡大領域設定部303、領域分割部304、画素値算出部305を有する。これらの各構成部において実行する処理について、図3以下の処理例を示す図を参照して説明する。
縮小比算出部301は、オリジナルRaw画像を入力するととともに、生成する縮小Raw画像の画像サイズ情報を入力する。縮小Raw画像の画像サイズ情報は、例えば画像処理装置の入力部を介するユーザ入力に基づく情報である。縮小比算出部301は、これらの入力情報に基づいて、縮小比を算出する。
ここでは、撮像装置で撮影され保存されたオリジナルRaw画像[R]から縮小Raw画像[r]を生成する場合について説明する。
オリジナルRaw画像[R]の幅と高さを、それぞれ、Rwidth、Rheightとする。単位はピクセルとする。
一方、縮小Raw画像[r]の幅と高さを、それぞれ、rwidth、rheightとする。単位はピクセルである。
このとき、縮小比算出部301は、これらの入力情報に基づいて、以下のように縮小比[Wratio,Hratio]を算出する。
Wratio=(rwidth)/(Rwidth)
Hratio=(rheight)/(Rheight)
オリジナルRaw画像[R]の幅と高さを、それぞれ、Rwidth、Rheightとする。単位はピクセルとする。
一方、縮小Raw画像[r]の幅と高さを、それぞれ、rwidth、rheightとする。単位はピクセルである。
このとき、縮小比算出部301は、これらの入力情報に基づいて、以下のように縮小比[Wratio,Hratio]を算出する。
Wratio=(rwidth)/(Rwidth)
Hratio=(rheight)/(Rheight)
縮小比算出部301は、上記の縮小比[Wratio,Hratio]を算出する。
オリジナルRaw画像[R]を縮小して縮小Raw画像[r]を生成する際、オリジナルRaw画像[R]の複数の画素が、縮小Raw画像[r]の1画素として設定されることになる。図3には、オリジナルRaw画像の画素を細線で示し、縮小処理によって生成する縮小Raw画像[r]の画素を太線で示している。オリジナルRaw画像の1つの画素は、例えば図3に示すオリジナルRaw画像画素401であり、生成する縮小Raw画像[r]の1つの画素は、例えば図3に示す縮小Raw画像画素402となる。
図3に示す例は、Bayer配列の撮像素子によって取得されるRaw画像の例である。Bayer配列では、Gr,R,B,Gbの4チャネル(色)のいずれかの色情報が各画素位置において取得される。Gr,R,B,Gbは、それぞれ
Gr:赤みのある緑、
R:赤
B:青
Gb:青みのある緑
である。
Gr:赤みのある緑、
R:赤
B:青
Gb:青みのある緑
である。
なお、図3には、縮小Raw画像[r]に対応するGr,R,B,Gbの4色の配列情報を全て標記し、細線で示すオリジナルRaw画像[R]に対応するGr,R,B,Gbの4色の配列情報の一部を図の左上部のみに示し、他の領域は省略しているが、省略領域においても、オリジナルRaw画像[R]に対応するGr,R,B,Gbの4色の配列は、すべて左上部の配列パターンに対応するパターンで設定されている。なお、本実施例では、Gr,R,B,Gbの4色のBayer配列を持つRaw画像に対する処理例について説明するが、その他の色配列、例えばRGBなどの配列を持つRaw画像に対しても、本発明は適用可能である。
図3に示すように、オリジナルRaw画像[R]の1つの画素(1ピクセル)の1辺の長さを[1]、すなわち、
Rwidth=1、
Rheight=1
としたとき、
縮小Raw画像[r]の1つの画素に集約されるオリジナルRaw画像[R]の幅と高さを[Pwidth]、[Pheight]とすると、
幅[Pwidth]と高さ[Pheight]は、以下のように示される。
Pwidth=1/Wratio
Pheight=1/Hratio
となる。
Rwidth=1、
Rheight=1
としたとき、
縮小Raw画像[r]の1つの画素に集約されるオリジナルRaw画像[R]の幅と高さを[Pwidth]、[Pheight]とすると、
幅[Pwidth]と高さ[Pheight]は、以下のように示される。
Pwidth=1/Wratio
Pheight=1/Hratio
となる。
上記式において、幅[Pwidth]と高さ[Pheight]は、縮小Raw画像[r]における1つの画素(ピクセル)に集約されるオリジナルRaw画像[R]の幅と高さの画素数に相当する。例えば、図3に示す例では、
Pwidth≒4.2、
Pheight≒4.2、
となり、縮小Raw画像[r]における1つの画素(ピクセル)に集約されるオリジナルRaw画像[R]の幅と高さの画素数は4.2であり、オリジナルRaw画像[R]の4.2×4.2の画素が、縮小Raw画像[r]における1つの画素(ピクセル)に集約される縮小処理が行なわれることになる。
Pwidth≒4.2、
Pheight≒4.2、
となり、縮小Raw画像[r]における1つの画素(ピクセル)に集約されるオリジナルRaw画像[R]の幅と高さの画素数は4.2であり、オリジナルRaw画像[R]の4.2×4.2の画素が、縮小Raw画像[r]における1つの画素(ピクセル)に集約される縮小処理が行なわれることになる。
本発明において実行するRaw画像の縮小処理においては、前述したように1/2,1/3のようなN=整数とした1/Nの縮小処理に限られず、任意の縮小率の縮小処理を実現するものであり、図3に示すように、縮小Raw画像[r]における1つの画素(ピクセル)に集約されるオリジナルRaw画像[R]の画素数が整数になるとは限らない。
任意の縮小率を設定した場合、多くの場合、図3の様に縮小Raw画像[r]における1つの画素(ピクセル)に集約されるオリジナルRaw画像[R]の画素は、複数のオリジナルRaw画像[R]の画素と、一部のオリジナルRaw画像[R]の画素断片によって構成されることになる。
Raw画像の縮小処理を行なう場合、各チャネル(Bayerの場合はGr/R/B/Gb)各々について、それぞれ独立に縮小処理を行う。
例えば、チャネルGrの縮小Raw画像の画素値を計算するときにはオリジナルRaw画像に含まれるGr画素のみの情報を適用して縮小Raw画像におけるGbの画素値を決定する。すなわち、R/B/Gb画素データは使用しない。他のチャネルの処理においても、それぞれオリジナルRaw画像に含まれる各チャネルの情報のみを適用して、縮小Raw画像の対応するチャネルの画素値を計算する
例えば、チャネルGrの縮小Raw画像の画素値を計算するときにはオリジナルRaw画像に含まれるGr画素のみの情報を適用して縮小Raw画像におけるGbの画素値を決定する。すなわち、R/B/Gb画素データは使用しない。他のチャネルの処理においても、それぞれオリジナルRaw画像に含まれる各チャネルの情報のみを適用して、縮小Raw画像の対応するチャネルの画素値を計算する
本発明における縮小Raw画像の生成処理では、Gr/R/B/Gb各チャネルの処理を実行する際、オリジナルRaw画像に対して、処理対象とするチャネルの設定された画素を中心として周囲に拡張した有効領域を設定する。図2に示す区分線設定部302が、この各チャネル対応の有効領域を規定する区分線を設定する。
区分線設定部302は、各Gr/R/B/Gb各チャネルの処理に際して、各チャネルに対応する画素を中心とした区分線を設定する。区分線設定部302の実行する各チャネル対応の区分線設定処理例について、図4、図5を参照して説明する。図4は、チャネル(Gr)に対応する有効領域を規定する区分線の設定例であり、図5は、チャネル(R)に対応する有効領域を規定する区分線の設定例である。チャネル(B),(Gb)についても、図示しないが、(Gr)、(R)の処理と同様に各チャネルの画素を中心として周囲に拡張した有効領域が区分線によって設定される。
図4は、チャネル(Gr)に対応する有効領域を規定する区分線の設定例を示している。図4では、オリジナルRaw画像420におけるGr画素のみを(Gr)の表記とともにグレー塗りつぶし領域として示してある。(Gr)の表記のない、その他の白領域は、(Gr)以外のR/B/Gbいずれかのチャネルの色に対応する画素である。
区分線421は、図に示す破線である。オリジナルRaw画像420におけるGr画素の各々を中心として周囲に領域を拡張して規定される有効領域の境界として区分線421が設定される。区分線は各Grチャネルの画素の中間に引かれ、処理対象とするチャネル(Gr)が存在しない行、列を横切る。例えば、図4に示す1つのGr画素431の周囲に区分線によって区切られた有効領域432が設定され、この有効領域432は、その周囲の有効領域に、区分線を介して隣接する。
区分線で囲まれた領域は領域中にある処理対象画素(図4ではGr)の有効領域となる。それぞれの有効領域は、その有効領域に含まれる処理対象のチャネルの画素の画素値が設定された領域として設定される領域である。例えば、有効領域432は、有効領域432に含まれる1つのGr画素431の画素値が全て設定されている領域として設定する。なお、画素値は、例えば8ビットデータであれば0〜255のビット値のいずれかに設定される。例えば、Gr画素431の画素値が0〜255中の180であれば、有効領域432の全体が、画素値180を持つGr画素領域として解釈する。この有効領域に設定された画素値に基づいて、縮小画像における各チャネルの画素値が決定される。この処理については後述する。
図5は、チャネル(R)に対応する有効領域を規定する区分線の設定例を示している。図4と比較すると理解されるように、図4では、左上端にGr画素が示されているが、図5では、左上端は白領域(=Gr)として示され、その右側の画素に(R)を示している。図5では、オリジナルRaw画像420におけるB画素のみを(R)の表記とともにグレー塗りつぶし領域として示してある。(R)の表記のない、その他の白領域は、(R)以外のGr/B/Gbいずれかのチャネルの色に対応する画素である。
区分線441は、図に示す破線である。オリジナルRaw画像420におけるR画素の各々を中心として周囲に領域を拡張して規定される有効領域の境界として区分線441が設定される。この区分線は、図4と比較すると理解されるが、図4のチャネル(Gr)に対応して設定される区分線とは異なる位置に設定される。例えば、図5に示す1つのR画素451の周囲に有効領域452が設定され、この有効領域452は、その周囲の有効領域に、区分線を介して隣接する。
それぞれの有効領域は、その有効領域に含まれる処理対象のチャネルの画素(図5では(R))の画素値の設定領域として解釈する領域である。この有効領域に基づいて、縮小画像における各チャネルの画素値が決定される。この処理については後述する。
その他のチャネル(B)、(Gb)についても、図示しないが、やはり各チャネルの画素を中心として周囲に拡張した有効領域が、相互に隣接するように設定される。区分線は、各有効領域の境界線として設定される。図2に示すRaw画像縮小処理部200の区分線設定部302は、このように、オリジナルRaw画像に対して、各チャネル対応の区分線の設定処理を実行する。
オリジナルRaw画像[R]に基づく縮小処理によって生成する縮小Raw画像[r]を構成する画素は、図4、図5に示す区分線の上にまたがって配置される。チャネル(Gr)の画素について、オリジナルRaw画像[R]と、縮小Raw画像[r]の画素対応について、図6を参照して説明する。
図6には、図3を参照して説明したと同様、太線で、縮小Raw画像[r]に対応するGr,R,B,Gbの4色の配列を示し、細線でオリジナルRaw画像[R]に対応するGr,R,B,Gbの4色の配列情報の一部を図の左上部のみに示し、チャネル(Gr)についてのみグレー領域として標記してある。
図6に示す縮小Raw画像[r]に対応する画素領域中、チャネル(Gr)の縮小Raw画像構成画素481,482,483,491の各画素領域は、チャネル(Gr)の画素値を決定する必要がある領域である。
この縮小画像(r)におけるチャネル(Gr)の画素値の決定処理について、図6に示す縮小Raw画像構成画素491を例として説明する。縮小Raw画像[r]の1つのチャネル(Gr)の1つの縮小Raw画像構成画素491の画素値を決定する処理について説明する。なお、画素値は、例えば8ビットデータであれば0〜255のビット値のいずれかに設定される。
縮小Raw画像[r]の1つのチャネル(Gr)の1つの縮小Raw画像構成画素491の画素値を決定する際には、図に示すように、縮小Raw画像構成画素の画素値決定用拡大領域492に含まれるオリジナルRaw画像[R]中のチャネル(Gr)の画素値が適用される。画素値決定用拡大領域492は、図2に示す拡大領域設定部303の処理として実行される。
拡大領域設定部303は、例えば、縮小Raw画像構成画素の画素値決定用拡大領域492を、縮小Raw画像構成画素491を中心として、周囲に拡張した領域として設定する。例えば、
縮小Raw画像構成画素491の高さ×幅=L×Hとしたとき、
画素値決定用拡大領域492は、高さ×幅=2L×2Hとした領域として設定される。
この例では、拡大率を縦、横2倍として、中心をずらさずに面積を4倍にした領域を画素値決定用拡大領域492としている。なお、この拡大処理例は、1つの処理例であり、拡大率については、適宜、設定可能である。
縮小Raw画像構成画素491の高さ×幅=L×Hとしたとき、
画素値決定用拡大領域492は、高さ×幅=2L×2Hとした領域として設定される。
この例では、拡大率を縦、横2倍として、中心をずらさずに面積を4倍にした領域を画素値決定用拡大領域492としている。なお、この拡大処理例は、1つの処理例であり、拡大率については、適宜、設定可能である。
拡大領域設定部303は、このように縮小画像構成画素を中心として周囲に拡張した画素値決定用拡大領域を設定する。なお、画素値決定用拡大領域は、縮小画像構成画素の面積の倍以上の領域に設定することが好ましい。この拡大領域を使用した画素値決定処理を行なうことで、偽色や解像度の減衰を抑えることができる。
縮小Raw画像構成画素491のチャネル(Gr)の画素値は、画素値決定用拡大領域492に含まれるオリジナルRaw画像のチャネル(Gr)の画素の有効領域に対応する画素値によって算出される。有効領域は、図に示す破線によって区分された領域である。
具体的な縮小Raw画像の画素値算出処理例について、図7を参照して説明する。図7は、図6に示す縮小Raw画像構成画素491と、画素値決定用拡大領域492を含む領域を拡大して示している。図に示す破線は、オリジナルRaw画像のチャネル(Gr)に対応して設定された区分線である。先に図4を参照して説明したように、区分線によって囲まれた1つの領域は、その領域に含まれるチャネル(Gr)の画素の画素値がすべて設定されていると仮定された有効領域である。
図7に示すように、画素値決定用拡大領域492は、予め設定された区分線(破線)によって、(1)〜(9)の各領域に分割する。この処理は、図2に示す領域分割部304の処理として実行される。領域分割部304は、処理対象画素のチャネルに応じて、チャネルに対応する区分線を適用して、拡大領域設定部303の設定した画素値決定用拡大領域492を分割する。分割領域(9)は、区分線によって設定される有効領域を100%含む有効領域の群によって構成される。その他の分割領域(1)〜(8)は、有効領域の部分領域、またはその集合によって構成される分割領域である。
このように、領域分割部304は、画素値決定用拡大領域492を、予め設定されたチャネル対応の区分線(破線)によって、(1)〜(9)の各領域に分割する。
図2に示す画素値算出部305は、これらの分割領域に基づいて縮小Raw画像構成画素491の画素値を算出する。まず、画素値算出部305は、分割領域を規定する領域幅、および領域高さを以下のように定義する。
画素値決定用拡大領域492の左端に設定された3つの分割領域(1),(4),(6)の領域幅をwleft、
画素値決定用拡大領域492の左右方向の中央に設定された3つの分割領域(2),(9),(7)の領域幅をwmiddle、
画素値決定用拡大領域492の右端に設定された3つの分割領域(3),(5),(8)の領域幅をwright、
画素値決定用拡大領域492の上端に設定された3つの分割領域(1),(2),(3)の領域高さhtop、
画素値決定用拡大領域492の上下方向の中央に設定された3つの分割領域(4),(9),(5)の領域高さをhmiddle、
画素値決定用拡大領域492の下端に設定された3つの分割領域(6),(7),(8)の領域高さをhbottom、
とする。
画素値決定用拡大領域492の左端に設定された3つの分割領域(1),(4),(6)の領域幅をwleft、
画素値決定用拡大領域492の左右方向の中央に設定された3つの分割領域(2),(9),(7)の領域幅をwmiddle、
画素値決定用拡大領域492の右端に設定された3つの分割領域(3),(5),(8)の領域幅をwright、
画素値決定用拡大領域492の上端に設定された3つの分割領域(1),(2),(3)の領域高さhtop、
画素値決定用拡大領域492の上下方向の中央に設定された3つの分割領域(4),(9),(5)の領域高さをhmiddle、
画素値決定用拡大領域492の下端に設定された3つの分割領域(6),(7),(8)の領域高さをhbottom、
とする。
また、分割領域(1)〜(9)の各々の面積をS1〜S9とする。このとき、分割領域(1)〜(9)の各々の面積:S1〜S9は、以下のように示すことができる。
S1=wlefthtop、
S2=wmidlehtop、
S3=wrighthtop、
S4=wlefthmiddle、
S5=wrighthmiddle、
S6=wlefthbottom、
S7=wmiddlehbottom、
S8=wrighthbottom、
S9=wmiddlehmiddle、
S1=wlefthtop、
S2=wmidlehtop、
S3=wrighthtop、
S4=wlefthmiddle、
S5=wrighthmiddle、
S6=wlefthbottom、
S7=wmiddlehbottom、
S8=wrighthbottom、
S9=wmiddlehmiddle、
画素値算出部305は、縮小Raw画像構成画素491の画素値算出処理を以下の用にして実行する。すなわち、画素値決定用拡大領域492に含まれる分割領域(1)〜(9)に含まれる有効領域の各々に設定された画素値の寄与率を、面積比率で配分するように決定して、寄与率に従って各有効領域の設定画素値を積算して縮小Raw画像構成画素491の画素値を決定する。
具体的な処理について説明する。各分割領域に含まれる有効領域に設定された画素値の合計値を分割領域合計画素値viとする。
例えば、図7に示す分割領域(1),(3),(6),(8)には、1つの有効領域の一部のみから構成されているので、これらの分割領域に対応する分割領域合計画素値は、それぞれの分割領域に含まれる1つの有効領域の画素値となる。
また、分割領域(2),(4),(5),(7)には、それぞれ3つの有効領域が含まれているので、これら3つの有効領域に設定された画素値の合計値が、各分割領域に対応する分割領域合計画素値viとして算出される。
また、分割領域(9)には、9つの有効領域が含まれているので、これら9つの有効領域に設定された画素値の合計値が、分割領域(9)に対応する分割領域合計画素値viとして算出される。
例えば、図7に示す分割領域(1),(3),(6),(8)には、1つの有効領域の一部のみから構成されているので、これらの分割領域に対応する分割領域合計画素値は、それぞれの分割領域に含まれる1つの有効領域の画素値となる。
また、分割領域(2),(4),(5),(7)には、それぞれ3つの有効領域が含まれているので、これら3つの有効領域に設定された画素値の合計値が、各分割領域に対応する分割領域合計画素値viとして算出される。
また、分割領域(9)には、9つの有効領域が含まれているので、これら9つの有効領域に設定された画素値の合計値が、分割領域(9)に対応する分割領域合計画素値viとして算出される。
このように、各分割領域(1)〜(9)に対応する分割領域合計画素値viが算出される。さらに、分割領域合計画素値viと各分割領域の面積Siとに基づいて、以下の式(式1)によって、縮小Raw画像構成画素491の画素値[V]を決定する。
上記式(式1)により、縮小Raw画像構成画素491の画素値[V]を決定する。上記式は、縮小Raw画像構成画素491を拡大して設定された画素値決定用拡大領域492に含まれる分割領域(1)〜(9)に含まれる有効領域の面積比に応じて、各有効領域に設定された画素値の寄与率を設定して、縮小Raw画像構成画素491の画素値[V]を決定する処理である。
上記処理例では、画素値決定用拡大領域492を9つの分割領域に分けて、それぞれの面積を算出するという処理工程を実行しているが、画素値決定用拡大領域492に含まれる有効領域単位で、面積を算出して、その面積に応じた寄与率を設定して縮小Raw画像構成画素491の画素値[V]を決定するという処理を実行してもよい。
このようにして、画素値算出部305は、図7に示す縮小Raw画像構成画素491の画素値[V]を決定する。その他の縮小Raw画像構成画素の画素値も同様の処理によって算出する。なお、先に、図4、図5を参照して説明したように、各チャネル(Gr,R,B,Gb)に応じて設定される区分線は異なる位置となる。
従って、それぞれのチャネル画素に応じて設定される区分線によって規定される有効領域、さらに、縮小Raw画像構成画素領域と、画素値決定用拡大領域とを、チャネルに応じて個別に設定して、それぞれのチャネルに対応する縮小Raw画像構成画素の画素値[V]を決定する。
上述した本発明の画像処理の処理シーケンスを図8のフローチャートに示す。フローチャートの各ステップの処理について説明する。まず、ステップS101において、オリジナルRaw画像に対する縮小Raw画像の縮小比[Wratio,Hratio]を算出する。これは、図2に示す縮小比算出部301の処理として実行される。
縮小比算出部301は、先に説明したように、オリジナルRaw画像を入力するととともに、生成する縮小Raw画像の画像サイズ情報を入力し、これらの入力情報に基づいて、縮小比を算出する。
オリジナルRaw画像[R]の幅と高さをRwidth、Rheight、
縮小Raw画像[r]の幅と高さをrwidth、rheightとして、
縮小比[Wratio,Hratio]を、以下のように算出する。
Wratio=(rwidth)/(Rwidth)
Hratio=(rheight)/(Rheight)
オリジナルRaw画像[R]の幅と高さをRwidth、Rheight、
縮小Raw画像[r]の幅と高さをrwidth、rheightとして、
縮小比[Wratio,Hratio]を、以下のように算出する。
Wratio=(rwidth)/(Rwidth)
Hratio=(rheight)/(Rheight)
次に、ステップS102において、各チャネルの区分線を設定する。この処理は、図2に示す区分線設定部302において実行される処理であり、例えばGr/R/B/Gb各チャネルに対応する画素を中心とした区分線を図4、図5のように設定する。すなわち、各チャネルの画素を中心として周囲に拡張した有効領域が区分線によって設定される。有効領域は、その有効領域に含まれる処理対象のチャネルの画素の画素値が設定された領域として設定される領域である。
次に、ステップS103以下において、縮小Raw画像の各画素の画素値を決定する処理が開始される。まず、ステップS103において、画素値の決定を行なう最初の画素を選択する。この処理は、図2に示す拡大領域設定部303の処理として実行される。たとえば、縮小Raw画像の先頭画素、例えば、縮小Raw画像における左上端の画素を最初の画素値決定処理対象の画素として選択する。図3に示す例では、左上端の太線枠の縮小Raw画像の先頭画素(Gr)を選択する。以下、処理対象画素を右に1つずつ移動して、右タンに至った場合は、第2行目の左端に戻り、以下、順次、処理対象画素を1つずつずらして、すべての画素の処理を行なう。なお、処理順はどのような設定としてもよい。
次に、ステップS104において、拡大領域設定部303は、先に図6を参照して説明したように、処理対象画素として選択した縮小Raw画像構成画素の画素値決定用拡大領域を、縮小Raw画像構成画素を中心として、周囲に拡張した領域として設定する。例えば、図6を参照して説明したように、
縮小Raw画像構成画素491の高さ×幅=L×Hとしたとき、
画素値決定用拡大領域492は、高さ×幅=2L×2Hとした領域として設定する。なお、前述したように、拡大率については、様々な拡大率が適用可能である。この拡大領域を使用した画素値決定処理を行なうことで、偽色や解像度の減衰を抑えることができる。
縮小Raw画像構成画素491の高さ×幅=L×Hとしたとき、
画素値決定用拡大領域492は、高さ×幅=2L×2Hとした領域として設定する。なお、前述したように、拡大率については、様々な拡大率が適用可能である。この拡大領域を使用した画素値決定処理を行なうことで、偽色や解像度の減衰を抑えることができる。
次に、ステップS105において、注目画素のチャネルの選択を実行し、チャネルに応じてステップS106a〜S106dのいずれかの処理を実行する。すなわち、処理対象画素のチャネルに応じて、チャネルに対応する区分線を適用して、拡大領域設定部303の設定した画素値決定用拡大領域を分割する。この処理は、図2に示す領域分割部304の処理であり、先に、図7を参照して説明した処理である。
すなわち、領域分割部304は、先に、図7を参照して説明したように、区分線を適用して、拡大領域設定部303の設定した画素値決定用拡大領域を、図7に示すように、分割領域(1)〜(9)に分割する。
次に、ステップS107において、分割領域合計画素値viと各分割領域の面積Siとに基づいて、先に説明した画素値算出式(式1)によって、縮小Raw画像構成画素の画素値[V]を決定する。この処理は、図2に示す画素値算出部305の処理として実行される。
次にステップS108において、算出した画素値を縮小Rw画像の処理対象画素の画素値として設定し、ステップS109において、縮小Raw画像のすべての構成画素の画素値が決定されたか否かを判定し、未処理の画素がある場合は、ステップトヌヌワにおいて、次の処理画素を注目画素として設定して、注目が祖を処理対象として、ステップS104以下の処理を繰り返し実行する。
ステップS109において、縮小Raw画像のすべての構成画素の画素値が決定されたと判定されると、処理を終了する。この処理によって、オリジナルRaw画像から縮小Raw画像の生成処理が終了し、図1に示す現像処理部204へ縮小Raw画像が出力されて縮小Raw画像の現像処理が実行され、縮小画像205が生成され、ディスプレイやプリンタに出力される。
本発明の処理によれば、オリジナルRaw画像に基づく縮小Raw画像の生成において、N=整数とした1/Nへの縮小に限らず、任意のサイズへの縮小を、偽色や解像度の減衰を抑えて画質劣化を発生させることなく実現することが可能となる。
なお、上述した処理例では、1つのBayer配列(Gr/R/B/Gb)の配列を持つRaw画像に対する処理例を説明したが、本発明は、上述したBayer型と異なる色配列を持つRaw画像においても適応可能である。例えばデジタルビデオカメラに見られるCYMK型、RGB、RGBに他の1色を加えた原色4色型のイメージャーで撮影されたRaw画像にもそのまま適応することができる。
また、本発明はRaw画像でない、通常の画像にも区分線の引き方を変化させることで適応することができる。Raw画像の場合は各チャネルの画素が全て埋まっているわけではないので区分線を適応したが、RGB画像やグレースケール画像などの通常画像は各チャネルに全ての画素が埋まっている。よって区分線を各画素の境界領域(画素の境目)と考えて同様の処理を行うことで、通常画像の任意サイズ縮小が可能となる。通常画像の画像縮小方法は数多く考案されているが、本発明の手法は他の代表的な縮小方に比べて、ノイズの低減などの効果がある。
また、上述した実施例では、処理対象としたRaw画像は静止画像と仮定して説明したが、デジタルビデオカメラやデジタルスチルカメラ、携帯電話などの動画撮像装置が撮影する動画像においても、各フレームごとに、上述した処理を行うことが可能であり、動画像に対する適用も可能である。すなわち任意サイズの高品質なRaw縮小動画を作成することができる。
また、上述した処理例では、先に図1を参照して説明したようにRaw画像の縮小処理を実行する装置は、撮像装置とは異なるPCなどの画像処理装置とした例を説明したが、Raw画像の縮小処理は、撮像装置において実行する構成とすることも可能である。また、テレビ、ビデオに内蔵された回路や装置、遠隔のサーバー内部の回路や装置において実行する構成としてもよい。
次に、本発明の画像処理装置のハードウェア構成例について、図9を参照して説明する。CPU(Central Processing Unit)501は、OS(Operating System)に対応する処理や、上述の実施例において説明したRaw画像データに対する縮小処理、現像処理などを実行する画像処理部として機能する。これらの処理は、画像処理装置のROM、ハードディスクなどのデータ記憶部に格納されたコンピュータ・プログラムに従って実行可能である。
ROM(Read Only Memory)502は、CPU501が使用するプログラムや演算パラメータ等を格納する。RAM(Random Access Memory)503は、CPU501の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を格納する。これらはCPUバスなどから構成されるホストバス504により相互に接続されている。
ホストバス504は、ブリッジ505を介して、PCI(Peripheral Component Interconnect/Interface)バスなどの外部バス506に接続されている。
キーボード508、ポインティングデバイス509は、ユーザにより操作される入力デバイスである。ディスプレイ510は、液晶表示装置またはCRT(Cathode Ray Tube)などから成り、各種情報をテキストやイメージで表示する。現像結果データの表示にも適用される。
HDD(Hard Disk Drive)511は、ハードディスクを内蔵し、ハードディスクを駆動し、CPU501によって実行するプログラムや情報を記録または再生させる。ハードディスクは、例えば、画像データファイルの格納領域として利用されるとともに、データ処理プログラム等、各種コンピュータ・プログラムが格納される。
ドライブ512は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体521に記録されているデータまたはプログラムを読み出して、そのデータまたはプログラムを、インタフェース507、外部バス506、ブリッジ505、およびホストバス504を介して接続されているRAM503に供給する。リムーバブル記録媒体521は、上述したRawデータとパラメータを含む画像データファイルを格納した記録メディアとしても利用される。
接続ポート514は、外部接続機器522を接続するポートであり、USB,IEEE1394等の接続部を持つ。接続ポート514は、インタフェース507、および外部バス506、ブリッジ505、ホストバス504等を介してCPU501等に接続されている。通信部515は、ネットワークに接続され、その他の情報処理装置との通信を実行する。
なお、図9に示す画像処理装置のハードウェア構成例は、装置の一例であり、画像処理装置は、図9に示す構成に限らず、上述した実施例において説明した処理を実行可能な構成であればよい。
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
例えば、プログラムは記録媒体としてのハードディスクやROM(Read Only Memory)に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、CD−ROM(Compact Disc Read Only Memory),MO(Magneto optical)ディスク,DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体に、一時的あるいは永続的に格納(記録)しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウエアとして提供することができる。
なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから、コンピュータに無線転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
以上、説明したように、本発明の一実施例構成によれば、例えばRaw画像データなどの画像データの縮小処理を実行する構成において、N=整数とした1/N倍の縮小比にとらわれることなく、任意の縮小比で縮小することが可能となる。本発明の構成においては、オリジナル画像における各チャネル対応画素の画素値の有効領域を設定し、さらに、縮小画像構成画素を中心として周囲に拡張した拡大領域を設定して拡大領域に含まれる有効領域の面積に応じた寄与率の下に各有効領域の設定画素値を勘案して縮小画像構成画素の画素値を算出する構成としたので、任意倍率の縮小画像の効率的な生成が可能となり、かつ、画質劣化の発生を抑えた高品質な縮小画像の生成が実現される。例えば、ユーザが現像された画像を確認する場合、ユーザの希望する大きさの設定が可能であり、その大きさに応じた最低限の計算量の現像処理で処理可能となり、例えばRaw画像の現像、閲覧処理などにおけるワークフロー全体の時間短縮が実現される。
100 デジタルカメラ
101 撮像素子
102 A/D変換部
103 フォーマット処理部
104 パラメータ
121 Raw画像データ
150 記録メディア
151 画像データファイル
200 画像処理装置
201 画像データファイル
202 Raw画像縮小処理部
203 データファイル
204 現像処理部
205 縮小画像
206 フル画像
301 縮小比算出部
302 区分線設定部
303 拡大領域設定部
304 領域分割部
305 画素値算出部
401 オリジナルRaw画像画素
402 縮小Raw画像画素
420 オリジナルRaw画像画素
421 区分線
431 Gr画素
432 有効領域
441 区分線
451 R画素
452 有効領域
481〜483 縮小Raw画像構成画素
491 縮小Raw画像構成画素
492 画素値決定用拡大領域
501 CPU(Central Processing Unit)
502 ROM(Read-Only-Memory)
503 RAM(Random Access Memory)
504 ホストバス
505 ブリッジ
506 外部バス
507 インタフェース
508 キーボード
509 ポインティングデバイス
510 ディスプレイ
511 HDD(Hard Disk Drive)
512 ドライブ
514 接続ポート
515 通信部
521 リムーバブル記録媒体
522 外部接続機器
101 撮像素子
102 A/D変換部
103 フォーマット処理部
104 パラメータ
121 Raw画像データ
150 記録メディア
151 画像データファイル
200 画像処理装置
201 画像データファイル
202 Raw画像縮小処理部
203 データファイル
204 現像処理部
205 縮小画像
206 フル画像
301 縮小比算出部
302 区分線設定部
303 拡大領域設定部
304 領域分割部
305 画素値算出部
401 オリジナルRaw画像画素
402 縮小Raw画像画素
420 オリジナルRaw画像画素
421 区分線
431 Gr画素
432 有効領域
441 区分線
451 R画素
452 有効領域
481〜483 縮小Raw画像構成画素
491 縮小Raw画像構成画素
492 画素値決定用拡大領域
501 CPU(Central Processing Unit)
502 ROM(Read-Only-Memory)
503 RAM(Random Access Memory)
504 ホストバス
505 ブリッジ
506 外部バス
507 インタフェース
508 キーボード
509 ポインティングデバイス
510 ディスプレイ
511 HDD(Hard Disk Drive)
512 ドライブ
514 接続ポート
515 通信部
521 リムーバブル記録媒体
522 外部接続機器
Claims (12)
- 画像データの縮小処理を実行する画像処理装置であり、
オリジナル画像に対する縮小画像の縮小比を算出する縮小比算出部と、
前記オリジナル画像における各チャネル対応画素の画素値の有効領域を規定する区分線を設定する区分線設定部と、
縮小画像構成画素を中心として周囲に拡張した画素値決定用拡大領域を、前記オリジナル画像において設定する拡大領域設定部と、
前記画素値決定用拡大領域に含まれる有効領域の面積に応じて寄与率を決定し、決定した寄与率に従って各有効領域の設定画素値を積算して縮小画像構成画素の画素値を算出する画素値算出部と、
を有することを特徴とする画像処理装置。 - 前記オリジナル画像は、Raw画像であり、
前記縮小比算出部は、オリジナルRaw画像に対する縮小Raw画像の縮小比を算出する構成であり、
前記区分線設定部は、前記オリジナルRaw画像における各チャネル対応画素の画素値の有効領域を規定する区分線を設定する構成であり、
前記拡大領域設定部は、縮小Raw画像構成画素を中心として周囲に拡張した画素値決定用拡大領域を、前記オリジナルRaw画像において設定する構成であり、
前記画素値算出部は、前記画素値決定用拡大領域に含まれる有効領域の面積に応じて寄与率を決定し、決定した寄与率に従って各有効領域の設定画素値を積算して縮小Raw画像構成画素の画素値を算出する構成であることを特徴とする請求項1に記載の画像処理装置。 - 前記画像処理装置は、
さらに、前記拡大領域設定部の設定した前記画素値決定用拡大領域を、前記区分線の規定する有効領域に基づいて、9つの領域に分割する領域分割部を有し、
前記画素値算出部は、前記領域分割部の分割処理によって生成された9つの分割領域に含まれる有効領域の面積に応じて設定される寄与率に基づいて、各有効領域の設定画素値を積算して縮小画像構成画素の画素値を算出する構成であることを特徴とする請求項1または請求項2に記載の画像処理装置。 - 前記拡大領域設定部は、縮小画像構成画素を中心として周囲に拡張した画素値決定用拡大領域を、前記縮小画像構成画素の面積の倍以上の領域に設定する処理を行なう構成であることを特徴とする請求項1または請求項2に記載の画像処理装置。
- 前記区分線設定部は、
前記オリジナル画像における各チャネル対応画素の各々を中心として周囲に領域を拡張して規定される有効領域の境界として区分線を設定する処理を実行する構成であることを特徴とする請求項1または請求項2に記載の画像処理装置。 - 画像処理装置において、画像データの縮小処理を実行する画像処理方法であり、
縮小比算出部において、オリジナル画像に対する縮小画像の縮小比を算出する縮小比算出ステップと、
区分線設定部において、前記オリジナル画像における各チャネル対応画素の画素値の有効領域を規定する区分線を設定する区分線設定ステップと、
拡大領域設定部において、縮小画像構成画素を中心として周囲に拡張した画素値決定用拡大領域を、前記オリジナル画像において設定する拡大領域設定ステップと、
画素値算出部において、前記画素値決定用拡大領域に含まれる有効領域の面積に応じて寄与率を決定し、決定した寄与率に従って各有効領域の設定画素値を積算して縮小画像構成画素の画素値を算出する画素値算出ステップと、
を有することを特徴とする画像処理方法。 - 前記オリジナル画像は、Raw画像であり、
前記縮小比算出ステップは、オリジナルRaw画像に対する縮小Raw画像の縮小比を算出するステップであり、
前記区分線設定ステップは、前記オリジナルRaw画像における各チャネル対応画素の画素値の有効領域を規定する区分線を設定するステップであり、
前記拡大領域設定ステップは、縮小Raw画像構成画素を中心として周囲に拡張した画素値決定用拡大領域を、前記オリジナルRaw画像において設定するステップであり、
前記画素値算出ステップは、前記画素値決定用拡大領域に含まれる有効領域の面積に応じて寄与率を決定し、決定した寄与率に従って各有効領域の設定画素値を積算して縮小Raw画像構成画素の画素値を算出するステップであることを特徴とする請求項6に記載の画像処理方法。 - 前記画像処理方法は、さらに、
領域分割部において、前記拡大領域設定部の設定した前記画素値決定用拡大領域を、前記区分線の規定する有効領域に基づいて、9つの領域に分割する領域分割ステップを有し、
前記画素値算出ステップは、前記領域分割部の分割処理によって生成された9つの分割領域に含まれる有効領域の面積に応じて設定される寄与率に基づいて、各有効領域の設定画素値を積算して縮小画像構成画素の画素値を算出するステップであることを特徴とする請求項6または請求項7に記載の画像処理方法。 - 前記拡大領域設定ステップは、縮小画像構成画素を中心として周囲に拡張した画素値決定用拡大領域を、前記縮小画像構成画素の面積の倍以上の領域に設定する処理を行なうステップであることを特徴とする請求項6または請求項7に記載の画像処理方法。
- 前記区分線設定ステップは、
前記オリジナル画像における各チャネル対応画素の各々を中心として周囲に領域を拡張して規定される有効領域の境界として区分線を設定する処理を実行するステップであることを特徴とする請求項6または請求項7に記載の画像処理方法。 - 画像処理装置において、画像データの縮小処理を実行させるコンピュータ・プログラムであり、
縮小比算出部において、オリジナル画像に対する縮小画像の縮小比を算出させる縮小比算出ステップと、
区分線設定部において、前記オリジナル画像における各チャネル対応画素の画素値の有効領域を規定する区分線を設定させる区分線設定ステップと、
拡大領域設定部において、縮小画像構成画素を中心として周囲に拡張した画素値決定用拡大領域を、前記オリジナル画像において設定させる拡大領域設定ステップと、
画素値算出部において、前記画素値決定用拡大領域に含まれる有効領域の面積に応じて寄与率を決定し、決定した寄与率に従って各有効領域の設定画素値を積算して縮小画像構成画素の画素値を算出させる画素値算出ステップと、
を実行させることを特徴とするコンピュータ・プログラム。 - 前記オリジナル画像は、Raw画像であり、
前記縮小比算出ステップは、オリジナルRaw画像に対する縮小Raw画像の縮小比を算出させるステップであり、
前記区分線設定ステップは、前記オリジナルRaw画像における各チャネル対応画素の画素値の有効領域を規定する区分線を設定させるステップであり、
前記拡大領域設定ステップは、縮小Raw画像構成画素を中心として周囲に拡張した画素値決定用拡大領域を、前記オリジナルRaw画像において設定させるステップであり、
前記画素値算出ステップは、前記画素値決定用拡大領域に含まれる有効領域の面積に応じて寄与率を決定し、決定した寄与率に従って各有効領域の設定画素値を積算して縮小Raw画像構成画素の画素値を算出させるステップであることを特徴とする請求項11に記載のコンピュータ・プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006192418A JP2008021129A (ja) | 2006-07-13 | 2006-07-13 | 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006192418A JP2008021129A (ja) | 2006-07-13 | 2006-07-13 | 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2008021129A true JP2008021129A (ja) | 2008-01-31 |
Family
ID=39077012
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006192418A Pending JP2008021129A (ja) | 2006-07-13 | 2006-07-13 | 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2008021129A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101827214A (zh) * | 2009-03-05 | 2010-09-08 | 卡西欧计算机株式会社 | 图像处理装置及图像处理方法 |
-
2006
- 2006-07-13 JP JP2006192418A patent/JP2008021129A/ja active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101827214A (zh) * | 2009-03-05 | 2010-09-08 | 卡西欧计算机株式会社 | 图像处理装置及图像处理方法 |
JP2010206685A (ja) * | 2009-03-05 | 2010-09-16 | Casio Computer Co Ltd | 画像処理装置及びプログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9998702B2 (en) | Image processing device, development apparatus, image processing method, development method, image processing program, development program and raw moving image format | |
US8223219B2 (en) | Imaging device, image processing method, image processing program and semiconductor integrated circuit | |
JP5240194B2 (ja) | 信号処理方法および信号処理装置 | |
CN102143322B (zh) | 摄像设备及其控制方法 | |
JP2000078597A (ja) | デジタルカラ―イメ―ジ値の処理装置 | |
JP2004208336A (ja) | 輝度勾配を用いたフルカラーイメージ適応的補間装置 | |
JP2005275977A (ja) | 画像表示方法、画像表示装置及び画像表示プログラム | |
US20060050956A1 (en) | Signal processing apparatus, signal processing method, and signal processing program | |
JP4433883B2 (ja) | ホワイトバランス補正装置及びホワイトバランス補正方法、プログラム、電子カメラ装置 | |
JP2008283291A (ja) | 未現像画像データの現像処理装置、現像処理方法、および現像処理のためのコンピュータプログラム | |
JP2008072390A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP2009147770A (ja) | 色収差補正装置、撮像装置、色収差算出方法および色収差算出プログラム | |
JP2003346143A (ja) | 画像処理方法及び画像処理プログラム | |
JP2007228099A (ja) | 撮像装置 | |
JP2007274504A (ja) | デジタルカメラ | |
JP2010210704A (ja) | 画像表示装置 | |
JP2004023683A (ja) | 固体撮像素子の欠陥補正装置及び方法 | |
WO2017187508A1 (ja) | 表示処理装置および撮像装置 | |
JP2008021129A (ja) | 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム | |
JP6702792B2 (ja) | 画像処理装置およびその制御方法 | |
JP2009033385A (ja) | 画像処理装置、画像処理方法、画像処理プログラム及び撮像装置 | |
JP2008035124A (ja) | 画像再生装置及び画像再生方法 | |
JP4689243B2 (ja) | 画像処理装置、画像処理方法、及びデジタルカメラ | |
JP2000232618A (ja) | フォトフィニッシング方法およびシステム並びに記録媒体 | |
US8804014B2 (en) | Imaging device for reducing color moire |