JP2007034995A - 画像処理装置 - Google Patents

画像処理装置 Download PDF

Info

Publication number
JP2007034995A
JP2007034995A JP2005227094A JP2005227094A JP2007034995A JP 2007034995 A JP2007034995 A JP 2007034995A JP 2005227094 A JP2005227094 A JP 2005227094A JP 2005227094 A JP2005227094 A JP 2005227094A JP 2007034995 A JP2007034995 A JP 2007034995A
Authority
JP
Japan
Prior art keywords
data
image
processing
restored
restoration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005227094A
Other languages
English (en)
Other versions
JP4598623B2 (ja
Inventor
Fuminori Takahashi
史紀 高橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nitto Optical Co Ltd
Original Assignee
Nitto Optical Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nitto Optical Co Ltd filed Critical Nitto Optical Co Ltd
Priority to JP2005227094A priority Critical patent/JP4598623B2/ja
Priority to US11/917,980 priority patent/US20100013940A1/en
Priority to PCT/JP2006/311946 priority patent/WO2006137309A1/ja
Publication of JP2007034995A publication Critical patent/JP2007034995A/ja
Application granted granted Critical
Publication of JP4598623B2 publication Critical patent/JP4598623B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Editing Of Facsimile Originals (AREA)
  • Image Processing (AREA)

Abstract

【課題】 画像を復元するに当たり、装置の大型化を防止すると共に、現実性のある回路処理方式を提供し、併せて、処理時間の短縮化を図ることである。
【解決手段】 この画像処理装置は、画像を処理する処理部をする。この処理部は、既知画像データに基づき重ね合わせ用の画像データを生成し、この重ね合わせ用の画像データから重ね合わせ画像データを生成する。また、変化要因情報のデータを利用して、任意の画像のデータから比較用データを生成する。そして、重ね合わせ画像データと比較用データとを比較し、得られた差分のデータを利用して復元データを生成する処理を繰り返しし、重畳画像の復元データを生成する。この重畳画像の復元データから上記既知画像データを取り去り、劣化する前の原画像に近似する画像の復元データを生成する。
【選択図】 図16

Description

本発明は、画像処理装置に関する。
従来から、カメラ等で撮影した際には、画像劣化が生ずることが知られている。画像劣化の要因としては撮影時の手ぶれ、光学系の各種の収差、レンズの歪み等がある。
撮影時の手ぶれを補正するためには、レンズを動かす方式と、回路処理する方式とが知られている。たとえば、レンズを動かす方式としては、カメラの手ぶれを検出し、所定のレンズを、その検出した手ぶれに合わせて動かすことで補正する方式が知られている(特許文献1参照)。
また、回路処理する方式としては、カメラの光軸の変動を角加速度センサで検出し、検出した角速度等から撮影時のぼけ状態を表す伝達関数を取得し、撮影画像に対し、取得した伝達回数の逆変換を行い、画像を復元する方式が知られている(特許文献2参照)。
特開平6−317824号公報(要約書参照) 特開平11−24122号公報(要約書参照)
特許文献1記載の手ぶれ補正を採用したカメラは、モータ等レンズを駆動するハードウェアのスペースが必要となり大型化してしまう。また、そのようなハードウェア自体やそのハードウェアを動かす駆動回路が必要となり、コストアップとなってしまう。
また、特許文献2記載の手ぶれ補正の場合は、上述した問題点はなくなるものの、次のような問題を有する。すなわち、取得した伝達関数の逆変換で画像復元がなされることは理論上成り立つが、実際問題として、以下の2つの理由で、画像復元が困難である。
第1に、取得する伝達関数は、ノイズやブレ情報誤差等に非常に弱く、これらのわずかな変動により、値が大きく変動する。このため、逆変換で得られる復元画像は、手ぶれがない状態で写した画像とはほど遠いものとなり、実際上は利用できない。第2に、ノイズ等を考慮した逆変換を行う場合、連立方程式の解の特異値分解等で解を推定する方法も採用できるが、その推定のための計算値が天文学的な大きさになり、実際的には解くことができなくなるリスクが高い。
上述したように、本発明の課題は、画像を復元するに当たり、装置の大型化を防止すると共に、現実性のある回路処理方式を有する画像処理装置を提供し、併せて、処理時間の短縮化を図ることである。
上記課題を解決するために、本発明の画像処理装置は、画像を処理する処理部を有する画像処理装置において、処理部は、画像変化の要因となる変化要因情報のデータを利用して、画像のデータの内容が特定されている既知画像データから重ね合わせ用の画像データを生成し、この重ね合わせ用の画像データを処理対象となる原画像のデータに重ね合わせて重ね合わせ画像データを生成する重ね合わせ画像データ生成処理と、変化要因情報のデータを利用して、任意の画像のデータから比較用データを生成する比較用データ生成処理と、重ね合わせ画像データと比較用データとを比較し、得られた差分のデータを利用して復元データを生成し、この復元データを任意の画像データの代わりに使用し、同様の処理を繰り返し、変化する前の原画像に近似する画像と既知画像データとを重ね合わせた重畳画像の復元データを生成する重畳画像復元データ生成処理と、この重畳画像の復元データから既知画像データを取り去り、変化する前の原画像に近似する画像の復元データを生成する原画像復元データ生成処理とを行うこととした。
この発明によれば、既知画像データに基づく重ね合わせ用の画像データを、処理対象となる原画像のデータに重ね合わせているので、処理対象となる原画像が、復元に時間がかかるような画像であっても、画像の性質が変化することにより処理時間の短縮化を図ることができる。また、装置の大型化を防止すると共に、現実性のある回路処理方式を有する画像処理装置を提供することができる。
また、他の発明は、上述の発明に加え、既知画像データは、変化する前の原画像に比べてコントラストの少ない画像のデータであることとしている。この構成を採用した場合、重畳画像復元データ生成処理の処理対象となるデータをよりコントラストの少ない画像のデータとすることができ、処理時間の短縮を図ることができる。
さらに、他の発明は、画像を処理する処理部を有する画像処理装置において、処理部は、画像変化の要因となる変化要因情報のデータを利用して、任意の画像のデータから比較用データを生成し、処理対象となる原画像のデータと比較用データとを比較し、得られた差分のデータを利用して復元データを生成し、この復元データを任意の画像データの代わりに使用し、同様の処理を繰り返すことで、変化する前の原画像に近似する第1の復元データを生成する復元データ生成処理と、第1の復元データに含まれる誤差成分データを算出する誤差成分データ算出処理と、第1の復元データから誤差成分データを取り去り、変化する前の原画像に近似する復元データを生成する原画像復元データ生成処理とを行うこととした
この発明によれば、誤差成分データを求めることができ、しかも、第1の復元データからこの第1の復元データに含まれる誤差成分データを取り去ることで原画像に近似する復元データを算出しているので、処理時間の短縮化を図ることができる。また、装置の大型化を防止すると共に、現実性のある回路処理方式を有する画像処理装置を提供することができる。
さらに、他の発明は、誤差成分データ算出処理は、変化要因情報のデータを利用して第1の復元データからこの第1の復元データの変化画像のデータを生成し、この変化画像のデータに処理対象となる原画像のデータを加算した加算データに対し、復元データ生成処理を行い、第2の復元データを生成し、この第2の復元データと第1の復元データとを利用して誤差成分データを得る処理とした。この構成を採用した場合、第2の復元データを第1の復元データを生成したのと同様の復元データ生成処理により生成しているので、処理の構成を簡略化することができる。
本発明によれば、画像を復元するに当たり、装置の大型化を防止すると共に、現実性のある回路処理方式を有する画像処理装置を提供し、併せて、処理時間の短縮化を図ることができる。
(第1の実施の形態)
先ず、最初に本発明の各実施の形態の前提となる基本的な動作について図1から図12を参照しながら説明する。なお、各実施の形態に係る画像処理装置1は、民生用のカメラとしているが、監視用カメラ、テレビ用カメラ、内視鏡カメラ、等他の用途のカメラとしたり、顕微鏡、双眼鏡、さらにはNMR撮影等の画像診断装置等、カメラ以外の機器にも適用できる。
画像処理装置1は、人物等の映像を撮影する撮影部2と、その撮影部2を駆動する制御系部3と、撮影部2で撮影された画像を処理する処理部4と、を有している。また、この実施の形態に係る画像処理装置1は、さらに処理部4で処理された画像を記録する記録部5と、角速度センサ等からなり、画像劣化など変化の要因となる変化要因情報を検知する検出部6と、画像劣化などを生じさせる既知の変化要因情報を保存する要因情報保存部7を有する。
撮像部2は、レンズを有する撮影光学系やレンズを通過した光を電気信号に変換するCCD(Charge Coupled Devices)やC−MOS(Complementary Metal Oxide Semiconduct)等の撮像素子を備える部分である。制御系部3は、撮影部2,処理部4,記録部5、検出部6,および要因情報保存部7等、画像処理装置1内の各部を制御するものである。
処理部4は、画像処理プロセサで構成されており、ASIC(Application Specific Integrated Circuit)のようなハードウェアで構成されている。この処理部4には、後述する比較用データを生成する際の元となる画像が保管されることもある。処理部4は、ASICのようなハードウェアとして構成されるのではなく、ソフトウェアで処理する構成としても良い。記録部5は、半導体メモリで構成されているが、ハードディスクドライブ等の磁気記録手段や、DVD(Digital Versatile Disk)等を使用する光記録手段等を採用しても良い。
検出部6は、図2に示すように、画像処理装置1の光軸であるZ軸に対して垂直方向となるX軸、Y軸の回りの速度を検出する2つの角速度センサを備えるものである。ところで、カメラで撮影する際の手ぶれは、X方向、Y方向、Z方向の各方向への移動やZ軸回りの回動も生ずるが、各変動により最も大きな影響を受けるのは、Y軸回りの回転とX軸回りの回転である。これら2つの変動は、ほんのわずかに変動しただけで、その撮影された画像は大きくぼける。このため、この実施の形態では、図2のX軸回りとY軸回りの2つの角速度センサのみを配置している。しかし、より完全を期すためZ軸回りの角速度センサをさらに付加したり、X方向やY方向への移動を検出するセンサを付加しても良い。また、使用するセンサとしては、角速度センサではなく、角加速度センサとしても良い。
要因情報保存部7は、既知の劣化要因情報などの変化要因情報、たとえば光学系の収差等を保存しておく記録部である。なお、この実施の形態では、要因情報保存部7には、光学系の収差やレンズのひずみの情報が保存されているが、後述する手ぶれのぼけの復元の際にはそれらの情報は、利用していない。
次に、以上のように構成された画像処理装置1の処理部4の処理方法の概要を、図3に基づいて説明する。
図3中、「Io」は、任意の初期画像であって、処理部4の記録部に予め保存されている画像のデータである。「Io′」は、その初期画像のデータのIoの劣化画像のデータを示し、比較のための比較用データである。「G」は、検出部6で検出された変化要因情報(=劣化要因情報(点像関数))のデータで、処理部4の記録部に保存されるものである。「Img′」は、撮影された画像、すなわち劣化画像のデータを指し、この処理において処理対象となる原画像のデータである。
「δ」は、原画像のデータImg′と、比較用データIo′との差分のデータである。「k」は、変化要因情報のデータに基づく配分比である。「Io+n」は、初期画像のデータIoに、差分のデータδを変化要因情報のデータに基づいて配分して新たに生成した復元画像のデータ(復元データ)である。「Img」は、撮影された劣化画像である原画像のデータImg′の基となった、劣化のない本来の正しい画像のデータである。ここで、ImgとImg′の関係は、次の(1)式で現されるとする。
Img′=Img×G …(1)
なお、差分のデータδは、対応する画素の単純な差分でも良い場合もあるが、一般的には、変化要因情報のデータGにより異なり、次の(2)式で現される。
δ=f(Img′,Img,G)…(2)
処理部4の処理ルーチンは、まず、任意の画像のデータIoを用意する(ステップS101)ことから始まる。この初期画像のデータIoとしては、撮影された劣化画像のデータImg′を用いても良く、また、黒ベタ、白ベタ、灰色ベタ、市松模様等どのような画像のデータを用いても良い。ステップS102で、(1)式のImgの代わりに初期画像となる任意の画像のデータIoを入れ、劣化画像である比較用データIo′を求める。次に、撮影された劣化画像である原画像のデータImg′と比較用データIo′と比較し、差分のデータδを算出する(ステップS103)。
次に、ステップS104で、この差分のデータδが所定値以上であるか否かを判断し、所定値以上であれば、ステップS105で新たな復元画像のデータ(=復元データ)を生成する処理を行う。すなわち、差分のデータδを変化要因情報のデータGに基づいて、任意の画像のデータIoに配分し、新たな復元データIo+nを生成する。その後、ステップS102,S103,S104を繰り返す。
ステップS104において、差分のデータδが所定値より小さい場合、処理を終了する(ステップS106)。そして、処理を終了した時点での復元データIo+nを正しい画像、すなわち劣化のない画像のデータImgと推定し、そのデータを記録部5に記録する。なお、記録部5には、初期画像のデータIoや変化要因情報のデータGを記録しておき、必要により処理部4に渡すようにしても良い。
以上の処理方法の考え方をまとめると以下のようになる。すなわち、この処理方法においては、処理の解を逆問題としては解かず、合理的な解を求める最適化問題として解くのである。逆問題として解く場合、特許文献2の記載にもあるように、理論上は可能であるが、現実問題としては困難である。
最適化問題として解くということは、次の条件を前提としている。
すなわち、
(1)入力に対する出力は、一意に決まる。
(2)出力が同じであれば、入力は同じである。
(3)出力が同じになるように、入力を更新しながら反復処理することにより、解を収束させていく。
このことを換言すれば、図4(A)(B)に示すように、撮影された画像である原画像のデータImg′と近似である比較用データIo′(Io+n′)を生成できれば、その生成の元データとなる初期画像のデータIoまたは復元データIo+nは、原画像のデータImg′の元となる正しい画像のデータImgに近似したものとなる。
なお、この実施の形態では、角速度検出センサは5μsec毎に角速度を検出している。また、差分のデータδの判定基準となる値は、各データを8ビット(0〜255)で現した場合に、この実施の形態では「6」としている。すなわち、6より小さい、つまり5以下の時は、処理を終了している。また、角速度検出センサで検出したブレの生データは、センサ自体の校正が不十分なときは、実際のブレとは対応しない。よって実際のブレに対応させるため、センサが校正されていないときは、センサで検出した生データに所定の倍率をかけたりする補正が必要とされる。
次に、図3および図4に示す処理方法の詳細を、図5,図6,図7,図8,図9,図10,図11および図12に基づいて説明する。
(手ぶれの復元アルゴリズム)
手ぶれが無いとき、所定の画素に対応する光エネルギーは、露光時間中、その画素に集中する。また、手ぶれがある場合、光エネルギーは、露光時間中にぶれた画素に分散する。さらに、露光時間中のブレがわかれば、露光時間中のエネルギーの分散の仕方がわかるため、ぶれた画像からブレの無い画像を作ることが可能となる。
以下、簡単のため、横一次元で説明する。画素を左から順に、n-1,n,n+1,n+2,n+3,…,とし、ある画素nに注目する。ブレが無いとき、露光時間中のエネルギーは、その画素に集中するため、エネルギーの集中度は「1.0」である。この状態を図5に示す。このときの撮影結果を、図6の表に示す。図6に示すものが、劣化しなかった場合の正しい画像データImgとなる。なお、各データは、8ビット(0〜255)のデータで現している。
露光時間中にブレがあり、露光時間中の50%の時間はn番目の画素に、30%の時間はn+1番目の画素に、20%の時間はn+2番目の画素に、それぞれぶれていたとする。エネルギーの分散の仕方は、図7に示す表のとおりとなる。これが変化要因情報のデータGとなる。
ブレは、全ての画素で一様であるので、上ぶれ(縦ぶれ)が無いとすると、ブレの状況は、図8に示す表のとおりとなる。図8中の「撮影結果」として示されるデータが、元の正しい画像のデータImgで、「ブレ画像」として示されるデータが、撮影された劣化画像のデータImg′となる。具体的には、たとえば「n−3」の画素の「120」は、ぶれ情報である変化要因情報のデータGの「0.5」「0.3」「0.2」の配分比に従い、「n−3」の画素に「60」、「n−2」の画素に「36」、「n−1」の画素に「24」というように分散する。同様に、「n−2」の画素のデータである「60」は、「n−2」に「30」、「n−1」に「18」、「n」に「12」として分散する。この劣化画像のデータImg′と、図7に示す変化要因情報のデータGからぶれの無い撮影結果を算出することとなる。
ステップS101に示す任意の画像のデータIoとしては、どのようなものでも採用できるが、この説明に当たっては、撮影した原画像のデータImg′を用いる。すなわち、Io=Img′として処理を開始する。図9の表中に「入力」とされたものが初期画像のデータIoに相当する。このデータIoすなわちImg′に、ステップS102で変化要因情報のデータGをかける。すなわち、たとえば、初期画像のデータIoの「n−3」の画素の「60」は、n−3の画素に「30」が、「n−2」の画素に「18」が、「n−1」の画素に「12」がそれぞれ割り振られる。他の画素についても同様に配分され、「出力Io′」として示される比較用データIo′が生成される。このため、ステップS103の差分のデータδは、図9の最下欄に示すようになる。
この後、ステップS104にて差分のデータδの大きさを判断する。具体的には、差分のデータδが全て絶対値で5以下となった場合に処理を終了するが、図9に示す差分のデータδは、この条件に合わないため、ステップS105に進む。すなわち、差分のデータδを変化要因情報のデータGを使用して、任意の画像のデータIoに配分して、図10中の「次回入力」として示される復元データIo+nを生成する。この場合、第1回目であるため、図10では、Io+1と現している。
差分のデータδの配分は、たとえば「n−3」の画素のデータ「30」に自分の所(=「n−3」の画素)の配分比である0.5をかけた「15」を「n−3」の画素に配分し、また「n−2」の画素のデータ「15」にその「n−2」の画素にきているはずの配分比である0.3をかけた「4.5」を配分し、さらに、「n−1」の画素のデータ「9.2」に、その「n−1」の画素にきているはずの配分比である0.2をかけた「1.84」を配分する。「n−3」の画素に配分された総量は、「21.34」となり、この値を初期画像のデータIo(ここでは撮影された原画像のデータImg′を使用)にプラスして、復元データIo+1を生成している。
図11に示すように、この復元データIo+1がステップS102の入力画像のデータ(=初期画像のデータIo)になり、ステップS102が実行され、ステップS103へと移行し、新しい差分のデータδを得る。その新しい差分のデータδの大きさをステップS104で判断し、所定値より大きい場合、ステップS105で新しい差分のデータδを前回の復元データIo+1に配分し、新しい復元データIo+2を生成する(図12参照)。その後、ステップS102の遂行により、復元データIo+2から新しい比較用データIo+2′が生成される。このように、ステップS102,S103が実行された後、ステップS104へ行き、そこでの判断によりステップS105へ行ったり、ステップS106へ移行する。このような処理を繰り返す。
この画像処理装置1では、処理するに当たり、ステップ104Sにおいて、事前に処理回数と、差分のデータδの判断基準値のいずれか一方または両者を設定できる。たとえば処理回数として20回、50回等任意の回数を設定できる。また、処理を停止させる差分のデータδの値を8ビット(0〜255)中の「5」と設定し、5以下になったら処理を終了させたり、「0.5」と設定し「0.5」以下になったら処理を終了させることができる。この設定値を任意に設定できる。処理回数と判断基準値の両者を入力した場合、いずれか一方が満足されたとき処理は停止される。なお、両者の設定を可能としたとき、判断基準値を優先し、所定の回数の処理では判断基準値内に入らなかった場合、さらに所定回数の処理を繰り返すようにしても良い。
この実施の形態の説明の中では、要因情報保存部7に保存されている情報を利用しなかったが、ここに保存されている既知の劣化要因、たとえば光学収差やレンズのひずみなどのデータを使用するようにしても良い。その場合、たとえば、先の例(図3)の処理方法では、ブレの情報と光学収差の情報を合わせて1つの劣化要因として捉えて処理を行うのが好ましいが、ブレの情報での処理を終了した後に光学収差の情報での補正を行うようにしても良い。また、この要因情報保存部7を設置しないようにして、撮影時の動的要因、たとえばブレのみで画像を修正したり復元したりしても良い。
以上、本発明の実施の形態に係る画像処理装置1に関し、基本的な動作について図1から図12を参照しながら説明したが、この基本的な動作により、画像処理装置1は、画像を復元するに当たり、装置の大型化を防止すると共に、現実性のある回路処理方式となる。処理部4で行った処理は、ソフトウエアで構成しているが、それぞれ、一部の処理を分担して行うようにした部品からなるハードウェアで構成しても良い。
また、処理対象となる原画像としては撮影画像の他に、その撮影画像を色補正したり、フーリエ変換したり等、加工を施したものとしても良い。さらに、比較用データとしては、変化要因情報のデータGを使用して生成したデータ以外に、変化要因情報のデータGを使用して生成したものに色補正を加えたり、フーリエ変換したりしたデータとしても良い。また、変化要因情報のデータとしては、劣化要因情報のデータのみではなく、単に画像を変化させる情報や、劣化とは逆に、画像を良くする情報を含むものとする。
また、処理の反復回数が画像処理装置1側で自動的にまたは固定的に設定されている場合、その設定された回数を変化要因情報のデータGによって変更するようにしても良い。たとえば、ある画素のデータがブレにより多数の画素に分散している場合は、反復回数を多くし、分散が少ない場合は反復回数を少なくするようにしても良い。
さらに、反復処理中に、差分のデータδが発散してきたら、すなわち大きくなっていったら処理を中止させるようにても良い。発散しているか否かは、たとえば差分のデータδの平均値を見てその平均値が前回より大きくなったら発散していると判断する方法を採用できる。また、反復処理中に、入力を異常な値に変更しようとしたときには、処理を中止させるようにしても良い。たとえば8ビットの場合、変更されるようとする値が255を超える値であるときには、処理を中止させる。また、反復処理中、新たなデータである入力を異常な値に変更しようとしたとき、その値を使用せず、正常な値とするようにしても良い。たとえば、8ビットの0〜255の中で、255を超える値を入力データとしようとした際は、マックスの値である255として処理するようにする。
また、出力画像となる復元データを生成する際、変化要因情報のデータGによっては、復元させようとする画像の領域外へ出てしまうようなデータが発生する場合がある。このような場合、領域外へはみ出るデータは反対側へ入れる。また、領域外から入ってくるべきデータがある場合は、そのデータは反対側から持ってくるようにするのが好ましい。たとえば、領域内の最も下に位置する画素XN1のデータから、さらに下の画素に割り振られるデータが発生した場合、その位置は領域外になる。そこで、そのデータは画素XN1の真上で最も上に位置する画素X11に割り振られる処理をする。画素XN1の隣の画素N2についても同様に真上で最上欄の画素X12(=画素X11の隣り)に割り振ることとなる。
また、復元データIo+nを生成するとき、配分比kを使用せず、対応する画素の差分のデータδをそのまま前回の復元データIo+n−1に加えたり、対応する画素の差分のデータδを変倍した後に加えたり、また差分のデータδが割り振られた後のデータkδ(図10、図12中の「更新量」として示される値)を変倍して、前回の復元データIo+n−1に加えるようにしても良い。これらの処理方法をうまく活用すると、処理速度が速くなる。
また、復元データIo+nを生成するとき、劣化要因の重心を算出し、その重心のみの差分、またはその差分の変倍を前回の復元データIo+n−1に加えるようにしても良い。先の例で言えば、「0.5」「0.3」「0.2」の3つの重心は、最も値が大きい「0.5」の位置であり、自分の位置となる。よって「0.3」や「0.2」の割り振りを考慮せず、差分のデータδの「0.5」または0.5の変倍分のみ自己の位置に割り振るようにすることとなる。このような処理は、ブレのエネルギーが集中している場合に好適となる。
さらに、変化要因情報のデータGの内容によって自動的に上述した各処理方法を選択させるようにすることもできる。たとえば、処理方法として、図5〜図12に示したように、(1)配分比kを使用して差分のデータδを配分する方法(実施例方式)、(2)対応する画素の差分、または差分のデータδを変倍する方法(対応画素方式)、(3)劣化要因の重心を検出してその重心部分のデータを利用する方法(重心方法)の3方法を実行できるプログラムを処理部4内に保存しておき、劣化要因の状況を分析し、その分析結果に基づき、その3つの方法のいずれか1つを選択するようにする。また、3つの方法のうちいずれか複数を選択し、1ルーチンの度に交互に利用したり、最初の数回はある方式で処理し、その後は他の方式で処理するようにしても良い。
また、復元処理の高速化を図る意味で、逆問題と組み合わせる方法が存在する。すなわち、縮小データで反復処理を行い、縮小した原画像から縮小した復元データへの伝達関数を算出する。そして算出された伝達関数を拡大、補間し、その拡大、補間された伝達関数を使って原画像の復元データを得る。この処理方法は大きな画像の処理に有利となる。
このような処理方法としては、2つの方法が考えられる。第1は、データを間引くことで縮小データとする方法である。間引く場合、たとえば、図13に示すように、原画像のデータImg′が、画素11〜16,21〜26,31〜36,41〜46,51〜56,61〜66で構成されているとき、1つおきに画素を間引き、画素11,13,15,31,33,35,51,53,55からなる4分の1の大きさの縮小Img′を生成する方法がある。
このように、原画像のデータImg′を間引き、間引かれたデータである縮小Img′を生成し、その縮小Img′用いて、図3に示す反復処理を行い、充分満足な間引かれた復元データIo+nを得る。縮小復元データIo+nは充分満足なデータではあるが、あくまで近似である。したがって、復元データIo+nと原画像のデータImg′の伝達関数は、縮小データの反復処理で用いた伝達関数ではない。そこで、縮小復元データIo+nと縮小した原画像のデータである縮小Img′から伝達関数を算出し、算出した伝達関数を拡大し、拡大した間を補間して、その修正した伝達関数を、元データとなる原画像のデータImg′に対する伝達関数とする。そして、その修正した伝達関数を使用し、周波数空間でデコンボリューション計算(ボケを含む画像群から計算によってボケを除去する計算)を行い、完全な復元データIo+nを得て、それを劣化していない元の正しい画像Imgと推定する。
なお、この処理の場合、得られた正しい画像と推定された復元データIo+nを図3に示す処理の初期画像のデータIoとして使用し、変化要因情報のデータGと劣化した原画像のデータImg′とを用い、さらに処理するようにしても良い。
縮小データを利用する方法の第2は、原画像のデータImg′の一部の領域のデータを取り出すことで縮小データとする方法である。たとえば、図14に示すように、原画像のデータImg′が、画素11〜16,21〜26,31〜36,41〜46,51〜56,61〜66で構成されているとき、その中央の領域である、画素32,33,34,42,43,44からなる領域を取り出し、縮小Img′を生成する方法がある。
このように、画像領域全体を反復処理で復元せず、領域の一部分を反復処理し良好な復元画像を求め、それを使ってその部分に対する伝達関数を求め、その伝達関数自体またはそれを修正(拡大など)したものを用いて画像全体の復元を行うものである。ただし、取り出してくる領域は、変動領域よりも充分大きな領域とする必要がある。図5等に示した先の例では、3画素に渡って変動しているので、3画素以上の領域を取り出してくる必要がある。
なお、この縮小領域を取り出してくる方法の場合、原画像のデータImg′を、たとえば図15に示すように、4分割し、各分割領域から一部の領域を取り出し、小さい領域である4つの縮小Img′をそれぞれ反復処理し、4分割された分割区域をそれぞれ復元し、復元された4つの分割画像を一つにすることで元の全体画像としても良い。なお、複数に分割する際、必ず複数領域に渡って重なる領域(オーバーラップ領域)を持つようにするのが好ましい。また、各復元された画像のオーバーラップ領域は、平均値を使かったり、オーバーラップ領域で滑らかにつなぐなどの処理を行うようにするのが好ましい。
さらに、図1から図12の基本的な動作により処理を行った場合、コントラストの急激な変化のある画像等については、良好な近似の復元画像への収束が遅いことがある。このように、元の画像である被写体の性質によっては、反復処理の収束スピードが遅く、反復回数を多くしなければならない場合がある。そこで、次のような処理方法によりこの問題の解決を行うことができる。
コントラストの急激な変化のある被写体は、図3に示す処理方法による復元の反復処理を使用し、元の画像に近似したものを得ようとすると、反復回数が非常に多くなる。そこで、既知の画像のデータBから撮影時の変化要因情報のデータGを用いてブレ画像のデータB′を生成し、そのデータB′に撮影された原画像(ブレ画像)のデータImg′を重ね合わせ、「Img′+B′」を作る。その後、重ね合わせた画像を図3に示す処理にて復元処理し、その復元データIo+nから既知の加えた画像のデータBを取り去り、求めたい復元画像のデータImg、すなわち劣化する前の原画像に近似する画像の復元データを取り出す。
この方法について、図16を用いて以下にさらに詳しく説明する。
先ず、画像のデータの内容が判っている既知画像データとしての画像データBから撮影時の変化要因情報のデータGを用いて、重ね合わせ用の画像データとしてのブレ画像のデータB′を生成する(ステップS201)。つまり、このブレ画像のデータB′は、画像データBが、変化要因情報によってブラされた画像のデータとなっている。そして、撮影された原画像(ブレ画像)である処理対象となる原画像のデータImg′に、ブレ画像のデータB′を重ね合わせた画像データC′=Img′+B′を作る(ステップS202)。このように、ステップS201およびステップS202においては、重ね合わせ画像データC′を生成する重ね合わせ画像データ生成処理が行われる。
一方、任意の画像のデータIoを用意する(ステップS203)。このデータIoとしては、撮影された劣化画像のデータImg′を用いても良く、また、黒ベタ、白ベタ、灰色ベタ、市松模様等どのような画像のデータを用いても良い。そして、ステップS204において、(1)式のImgの代わりに任意の画像のデータIoを入れ、劣化画像である比較用データIo′を求める。このように、ステップS203およびステップS204においては、比較用データを生成する比較用データ生成処理が行われる。
そして、重ね合わせ画像データC′と比較用データIo′とを比較し、差分のデータδを算出する(ステップS205)。そしてさらに、ステップS206で、この差分のデータδが所定値以上であるか否かを判断し、所定値以上であれば、ステップS207で新たな復元画像のデータ(=復元データ)を生成する処理を行う。すなわち、差分のデータδを変化要因情報のデータGに基づいて、任意の画像のデータIoに配分し、新たな復元データIo+nを生成する。その後、ステップS204,S205,S206を繰り返す。
ステップS206において、差分のデータδが所定値より小さい場合、この場合の復元データIo+nを、劣化のない本来の画像のデータImgに近似する画像と既知画像データBとが重ね合わされた重畳画像の復元データと推定する。このように、ステップS203からステップS207においては、重ね合わせ画像の復元データを生成する重畳画像復元データ生成処理が行われる。
このステップS203からステップS207の重畳画像復元データ生成処理は、上述した、図3における復元データを生成する処理と同様な処理である。したがって、変化要因情報のデータGの設定や差分のデータδに関する判断手法などについては、図3を参照して説明した基本的な動作の内容を同様に適用することができる。
そして、この重畳画像の復元データから既知画像データBを取り去り、劣化する前の原画像に近似する画像の復元データDを生成する原画像復元画像データ生成処理が行われる(ステップ208)。このステップS208における復元データDを、劣化のない画像データImgに近似する画像データと推定し、この復元データDを記録部5に記憶する。
この方法では、正しい画像のデータImgが急激なコントラスト変化を含んでいたとしても、既知の画像のデータBを加えることで、この急激なコントラスト変化を軽減することができ、復元処理の反復回数を低減する事ができる。既知の画像のデータとしては、例えば、劣化する前の正しい画像Imgに比べ、コントラストが少ないかあるいはコントラストの無い画像のデータ、または撮影された画像のデータImg′などが考えられる。特に、正しい画像Imgに比べてコントラストが非常に少ないか、あるいは無い画像のデータを用いることにより、重ね合わせ画像データを、効果的にコントラストの少ない画像のデータとすることができ、復元処理の反復回数を効率的に低減することができる。
(第2の実施の形態)
また、復元の困難な被写体の処理方法および高速な処理方法として、図17に示す処理方法も採用できる。たとえば、復元処理の反復回数を多くすれば良好な復元画像により近づけることができるが、処理に時間がかかる。そこで、ある程度の反復処理数で得られた画像を用いて、そこに含まれる誤差成分データを算出し、誤差成分データを含む復元画像から、算出した誤差成分データを取り去ることで良好な復元画像すなわち復元データIo+nを得ることができる。
この方法を第2の実施の形態として以下に説明する。
先ず、求めたい正しい画像をAとし、撮影した原画像をA′とし、この撮影した原画像A′から復元した画像のデータを、求めたい正しい画像Aと誤差成分データνが合わされたA+νとし、その復元データから生成したブレた比較用データをA′+ν′とする。この「A′+ν′」に、撮影した原画像「A′」を付加し、それを復元処理すると、「A+ν+A+ν+ν」となり、これは「2A+3ν」であり、また、「2(A+ν)+ν」である。「A+ν」は前回の復元処理で求まっているので、「2(A+ν)+ν−2(A+ν)」が計算でき、「ν」が求まる。よって、復元した画像のデータである「A+ν」から「ν」を取り去ることで、求めたい正しい画像Aが得られる。
上記の方法について、図17を用いて、以下にさらに詳しく説明する。
先ず、任意の画像のデータIoを用意する(ステップS301)ことから始まる。この初期画像のデータIoとしては、撮影された劣化した原画像A′のデータImg′を用いても良く、また、黒ベタ、白ベタ、灰色ベタ、市松模様等どのような画像のデータを用いても良い。ステップS302で、(1)式のImgの代わりに初期画像となる任意の画像のデータIoを入れ、劣化画像である比較用データIo′を求める。次に、撮影された劣化画像である原画像A′のデータImg′と比較用データIo′とを比較し、差分のデータδを算出する(ステップS303)。
次に、ステップS304で、この差分のデータδが所定値以上であるか否かを判断し、所定値以上であれば、ステップS305で新たな復元画像のデータ(=復元データ)を生成する処理を行う。すなわち、差分のデータδを変化要因情報のデータGに基づいて、任意の画像のデータIoに配分し、新たな復元データIo+nを生成する。その後、ステップS302,S303,S304を繰り返す。
ステップS304において、差分のデータδが所定値より小さくなったところで、復元データ生成処理としてのステップS301からステップS304の処理を終了し、この時点での復元データIo+nを第1の復元データImg1とする(ステップS306)。そして、この第1の復元データImg1を、求めたい画像Aの画像データであるImgと誤差成分データνを含む画像データ、つまりImg+νと推定する。
ところで、差分のデータδの大きさを判断するステップ304において、上述した図1から図12を参照しながら説明した第1の実施の形態の基本的な動作では、差分のデータδが5あるいは0.5など十分小さくなり、撮影された劣化した原画像のデータImg′と劣化画像である比較用データIo′が、概ね同じ値になったと判断することができるまで、復元データ生成処理を行った。しかしながら、この第2の実施の形態においては、差分のデータδが、撮影された劣化した原画像のデータImg′と劣化画像である比較用データIo′が、概ね同じ値になる判断することができるよりも大きな値のときに、ステップS302からステップS305の復元データ生成処理を終了する。例えば、差分のデータδの一回目の計算値の2分の1、あるいは3分の1などになった時点で、ステップS302からステップS305の復元データ生成処理を終了する。
次に、誤差成分データ算出処理を行う。先ず、ステップS307で、(1)式のImgの代わりに第1の復元データImg1を入れ、第1の復元データImg1(=Img+ν)が変化要因情報Gによってブラされた画像のデータであるImg1′を求める。この画像データImg1′は、ブレた比較用データであるA′+ν′であり、Img′+ν′となっている。
そして、撮影された劣化画像である原画像A′のデータImg′にImg1の劣化画像のデータであるImg′+ν′を加えた加算データImg2′を算出する(ステップS308)。そして、加算データImg2′を撮影された劣化画像として扱いこの加算データImg2′の復元データを求める処理を行う(ステップS309からステップS313)を行う。このステップS309からステップS313の処理は、撮影された劣化画像Img′を加算データImg2′に換える点を除いて上述したステップS301からステップS305の復元データ生成処理と同様の処理を行う。
すなわち、任意の画像のデータIoを用意する(ステップS309)。そして、ステップS310で、(1)式のImgの代わりに任意の画像のデータIoを入れ、劣化画像である比較用データIo′を求める。次に、加算データImg2′と比較用データIo′とを比較し、差分のデータδを算出する(ステップS311)。
そして、ステップS312で、この差分のデータδが所定値以上であるか否かを判断し、所定値以上であれば、ステップS313で新たな復元画像のデータ(=復元データ)を生成する処理を行う。すなわち、差分のデータδを変化要因情報のデータGに基づいて、任意の画像のデータIoに配分し、新たな復元データIo+nを生成する。その後、ステップS310,S311,S312を繰り返す。
ステップS312において、差分のデータδが、所定値より小さくなったところで、復元データ生成処理としてのステップS310からステップS313の処理を終了する。
ステップS310からステップS313の処理を終了した時点の復元データIo+nを第2の復元データImg3とする(ステップS314)。この第2の復元データImg3の内容は、「A+ν+A+ν+ν」、すなわち、「Img+ν+Img+ν+ν」、つまり「2(Img+ν)+ν」となっている。すなわち、加算データImg2′のデータの内容は、「Img′+Img′+ν′」であるため、Img′に関しては、復元データ生成処理(ステップS309からステップS313)により、「Img+ν」に復元され、また、「ν′」に関しては復元データ生成処理(ステップS309からステップS313)により「ν」に復元されている。
そして、「Img+ν」は、スッテプS306において、第1の復元データImg1として求まっているので、第2の復元データImg3(=2(Img+ν)+ν)から、2Img1(=2(Img+ν))を減ずると、誤差成分データνが求まる(ステップS315)。すなわち、ステップS307からステップS315において、誤差成分データ算出処理が行われる。
そして、ステップS316において、第1の復元データImg1から、誤差成分データνを減じ、劣化する前の原画像Imgを求める原画像復元データ生成処理を行う。そうして、ステップS316で求められた復元データImgを記録部5に記録する。なお、記録部5には、初期画像のデータIoや変化要因情報のデータGを記録しておき、必要により処理部4に渡すようにしても良い。
以上説明した各処理方法、すなわち、(1)配分比kを使用して差分のデータδを配分する方法(実施例方式)、(2)対応する画素の差分、または差分のデータδを変倍する方法(対応画素方式)、(3)劣化要因の重心を検出してその重心部分のデータを利用する方法(重心方法)、(4)データを間引き、逆問題と組み合わせる方法(逆問題間引き方法)、(5)縮小領域を取り出し、逆問題と組み合わせる方法(逆題間領域取り出し方法)、(6)所定の画像を重ね合わせて反復処理し、その後、その所定の画像を取り去る方法(苦手画像対策重ね合わせ方法)、(7)誤差を含む復元画像から、算出した誤差を取り去る方法(誤差取り出し方法)の各処理方法のプログラムを処理部4に保存しておき、使用者の選択または画像の種類に応じて自動的に、処理方法を選択できるようにしても良い。
また、これら(1)〜(7)のいずれか複数を処理部4に保存しておき、使用者の選択または画像の種類に応じて自動的に、処理方法を選択できるようにしても良い。また、これら7つの方法のうちいずれか複数を選択し、1ルーチンの度に交互または順番に利用したり、最初の数回はある方式で処理し、その後は他の方式で処理するようにしても良い。なお、画像処理装置1は、上述した(1)〜(7)のいずれか1つまたは複数の他に、それらとは異なる処理方法をも有するようにしても良い。
また、上述した各処理方法は、プログラム化されても良い。また、プログラム化されたものが記憶媒体、たとえばCD(Compact Disc)、DVD、USB(Universal Serial Bus)メモリに入れられ、コンピュータによって読みとり可能とされても良い。この場合、画像処理装置1は、その記憶媒体内のプログラムを読み込む読み込み手段を持つこととなる。さらには、そのプログラム化されたものが画像処理装置1の外部のサーバに入れられ、必要によりダウンロードされ、使用されるようにしても良い。この場合、画像処理装置1は、その記憶媒体内のプログラムをダウンロードする通信手段を持つこととなる。
本発明の各実施の形態に係る画像処理装置の主要構成を示すブロック図である。 図1に示す画像処理装置の概要を示す外観斜視図で、角速度センサの配置位置を説明するための図である。 図1に示す画像処理装置の処理部で行う第1の実施の形態に係る基本的な処理方法(処理ルーチン)を説明するための処理フロー図である。 図3に示す処理方法の概念を説明するための図である。 図3に示す処理方法を、手ぶれを例にして具体的に説明するための図で、手ぶれのないときのエネルギーの集中を示す表である。 図3に示す処理方法を、手ぶれを例にして具体的に説明するための図で、手ぶれのないときの画像データを示す図である。 図3に示す処理方法を、手ぶれを例にして具体的に説明するための図で、手ぶれが生じたときのエネルギーの分散を示す図である。 図3に示す処理方法を、手ぶれを例にして具体的に説明するための図で、任意の画像から比較用データを生成する状況を説明するための図である。 図3に示す処理方法を、手ぶれを例にして具体的に説明するための図で、比較用データと、処理対象となるぶれた原画像とを比較して、差分のデータを生成する状況を説明するための図である。 図3に示す処理方法を、手ぶれを例にして具体的に説明するための図で、差分のデータを配分し任意の画像に加えることで復元データを生成する状況を説明するための図である。 図3に示す処理方法を、手ぶれを例にして具体的に説明するための図で、生成された復元データから新たな比較用データを生成し、そのデータと処理対象となるぶれた原画像とを比較して差分のデータを生成する状況を説明するための図である。 図3に示す処理方法を、手ぶれを例にして具体的に説明するための図で、新たに生成された差分のデータを配分し、新たな復元データを生成する状況を説明するための図である。 図3に示す処理方法を利用した他の処理方法を説明するための図で、(A)は処理対象となる原画像のデータを示し、(B)は(A)のデータを間引いたデータを示す図である。 図3に示す処理方法を利用した、さらに他の処理方法を説明するための図で、(A)は処理対象となる原画像のデータを示し、(B)は(A)のデータの一部を取り出したデータを示す図である。 図14に示す処理方法の変形例を説明するための図で、原画像のデータを4分割し、各分割領域から、反復処理するための一部の領域を取り出すことを示す図である。 図1に示す画像処理装置の処理部で行う第1の実施の形態に係る処理方法(処理ルーチン)を説明するための処理フロー図である。 図1に示す画像処理装置の処理部で行う第2の実施の形態に係る処理方法(処理ルーチン)を説明するための処理フロー図である。
符号の説明
1 画像処理装置
4 処理部
5 記録部
Io 初期画像のデータ(任意の画像のデータ)
Io′比較用データ
G 変化要因情報のデータ(劣化要因情報のデータ)
Img′ 原画像のデータ(撮影された画像)
δ 差分のデータ
k 配分比
Io+n 復元データ(復元画像のデータ)
Img 劣化のない本来の正しい画像のデータ
B 既知画像データ
B′ 重ね合わせ用の画像データ
C′ 重ね合わせ画像データ
D 原画像復元画像データ
Img1 第1の復元データ
ν 誤差成分データ
Img2′ 加算データ
Img3 第2の復元データ

Claims (4)

  1. 画像を処理する処理部を有する画像処理装置において、
    上記処理部は、
    画像変化の要因となる変化要因情報のデータを利用して、画像のデータの内容が特定されている既知画像データから重ね合わせ用の画像データを生成し、この重ね合わせ用の画像データを処理対象となる原画像のデータに重ね合わせて重ね合わせ画像データを生成する重ね合わせ画像データ生成処理と、
    上記変化要因情報のデータを利用して、任意の画像のデータから比較用データを生成する比較用データ生成処理と、
    上記重ね合わせ画像データと上記比較用データとを比較し、得られた差分のデータを利用して復元データを生成し、この復元データを上記任意の画像データの代わりに使用し、同様の処理を繰り返し、変化する前の原画像に近似する画像と上記既知画像データとを重ね合わせた重畳画像の復元データを生成する重畳画像復元データ生成処理と、
    この重畳画像の復元データから上記既知画像データを取り去り、変化する前の原画像に近似する画像の復元データを生成する原画像復元データ生成処理と、
    を行うことを特徴とする画像処理装置。
  2. 前記既知画像データは、前記変化する前の原画像に比べてコントラストの少ない画像のデータであることを特徴とする請求項1記載の画像処理装置。
  3. 画像を処理する処理部を有する画像処理装置において、
    上記処理部は、
    画像変化の要因となる変化要因情報のデータを利用して、任意の画像のデータから比較用データを生成し、処理対象となる原画像のデータと上記比較用データとを比較し、得られた差分のデータを利用して復元データを生成し、この復元データを上記任意の画像データの代わりに使用し、同様の処理を繰り返すことで、変化する前の原画像に近似する第1の復元データを生成する復元データ生成処理と、
    上記第1の復元データに含まれる誤差成分データを算出する誤差成分データ算出処理と、
    上記第1の復元データから上記誤差成分データを取り去り、変化する前の原画像に近似する復元データを生成する原画像復元データ生成処理と、
    を行うことを特徴とする画像処理装置。
  4. 前記誤差成分データ算出処理は、前記変化要因情報のデータを利用して前記第1の復元データからこの第1の復元データの変化画像のデータを生成し、この変化画像のデータに処理対象となる原画像のデータを加算した加算データに対し、前記復元データ生成処理を行い、第2の復元データを生成し、この第2の復元データと前記第1の復元データとを利用して前記誤差成分データを得る処理であることを特徴とする請求項3記載の画像処理装置。
JP2005227094A 2005-06-21 2005-08-04 画像処理装置 Expired - Fee Related JP4598623B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2005227094A JP4598623B2 (ja) 2005-06-21 2005-08-04 画像処理装置
US11/917,980 US20100013940A1 (en) 2005-06-21 2006-06-14 Image processing apparatus
PCT/JP2006/311946 WO2006137309A1 (ja) 2005-06-21 2006-06-14 画像処理装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2005180336 2005-06-21
JP2005227094A JP4598623B2 (ja) 2005-06-21 2005-08-04 画像処理装置

Publications (2)

Publication Number Publication Date
JP2007034995A true JP2007034995A (ja) 2007-02-08
JP4598623B2 JP4598623B2 (ja) 2010-12-15

Family

ID=37794132

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005227094A Expired - Fee Related JP4598623B2 (ja) 2005-06-21 2005-08-04 画像処理装置

Country Status (1)

Country Link
JP (1) JP4598623B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007116332A (ja) * 2005-10-19 2007-05-10 Nitto Kogaku Kk 画像処理装置
JP2011217087A (ja) * 2010-03-31 2011-10-27 Canon Inc 画像処理装置及びそれを用いた撮像装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11252440A (ja) * 1997-11-12 1999-09-17 Sarnoff Corp 画像を整列させて目標点にカメラを固定する方法及び装置
JP2000004363A (ja) * 1998-06-17 2000-01-07 Olympus Optical Co Ltd 画像復元方法
JP2004235700A (ja) * 2003-01-28 2004-08-19 Fuji Xerox Co Ltd 画像処理装置、画像処理方法、およびそのプログラム
JP2005006191A (ja) * 2003-06-13 2005-01-06 Casio Comput Co Ltd 静止画合成装置、及び動画像からの静止画合成方法
JP2005117462A (ja) * 2003-10-09 2005-04-28 Seiko Epson Corp 印刷装置、画像読み取り装置、印刷方法及び印刷システム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11252440A (ja) * 1997-11-12 1999-09-17 Sarnoff Corp 画像を整列させて目標点にカメラを固定する方法及び装置
JP2000004363A (ja) * 1998-06-17 2000-01-07 Olympus Optical Co Ltd 画像復元方法
JP2004235700A (ja) * 2003-01-28 2004-08-19 Fuji Xerox Co Ltd 画像処理装置、画像処理方法、およびそのプログラム
JP2005006191A (ja) * 2003-06-13 2005-01-06 Casio Comput Co Ltd 静止画合成装置、及び動画像からの静止画合成方法
JP2005117462A (ja) * 2003-10-09 2005-04-28 Seiko Epson Corp 印刷装置、画像読み取り装置、印刷方法及び印刷システム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007116332A (ja) * 2005-10-19 2007-05-10 Nitto Kogaku Kk 画像処理装置
JP2011217087A (ja) * 2010-03-31 2011-10-27 Canon Inc 画像処理装置及びそれを用いた撮像装置

Also Published As

Publication number Publication date
JP4598623B2 (ja) 2010-12-15

Similar Documents

Publication Publication Date Title
JP5007241B2 (ja) 画像処理装置
JP3895357B2 (ja) 信号処理装置
JP4885150B2 (ja) 画像処理装置
JP4965179B2 (ja) 画像処理装置
JP4598623B2 (ja) 画像処理装置
JP4926450B2 (ja) 画像処理装置
JP4602860B2 (ja) 画像処理装置
JP5133070B2 (ja) 信号処理装置
JP4763415B2 (ja) 画像処理装置
JP4606976B2 (ja) 画像処理装置
JP4975644B2 (ja) 画像処理装置
JP4629537B2 (ja) 画像処理装置
JP5005319B2 (ja) 信号処理装置および信号処理方法
JP4763419B2 (ja) 画像処理装置
JP4718618B2 (ja) 信号処理装置
JP4629622B2 (ja) 画像処理装置
JP2007081905A (ja) 画像処理装置
JP5007234B2 (ja) 画像処理装置
JP4869971B2 (ja) 画像処理装置および画像処理方法
JP5007245B2 (ja) 信号処理装置
WO2006137309A1 (ja) 画像処理装置
JP5057665B2 (ja) 画像処理装置
JP5005553B2 (ja) 信号処理装置
JPWO2008090858A1 (ja) 画像処理装置および画像処理方法
JPWO2007122883A1 (ja) 信号処理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080710

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100914

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100924

R150 Certificate of patent or registration of utility model

Ref document number: 4598623

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131001

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees