JP2007274213A - 画像処理装置及び方法、及び撮像装置 - Google Patents

画像処理装置及び方法、及び撮像装置 Download PDF

Info

Publication number
JP2007274213A
JP2007274213A JP2006095848A JP2006095848A JP2007274213A JP 2007274213 A JP2007274213 A JP 2007274213A JP 2006095848 A JP2006095848 A JP 2006095848A JP 2006095848 A JP2006095848 A JP 2006095848A JP 2007274213 A JP2007274213 A JP 2007274213A
Authority
JP
Japan
Prior art keywords
image
images
luminance
image processing
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006095848A
Other languages
English (en)
Other versions
JP4597087B2 (ja
JP2007274213A5 (ja
Inventor
Masashi Kimura
正史 木村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2006095848A priority Critical patent/JP4597087B2/ja
Publication of JP2007274213A publication Critical patent/JP2007274213A/ja
Publication of JP2007274213A5 publication Critical patent/JP2007274213A5/ja
Application granted granted Critical
Publication of JP4597087B2 publication Critical patent/JP4597087B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

【課題】 画像の重ね合わせ合成時に、被写体や撮影条件に関わらず、複数画像間の位置ずれの検出精度を低下させること無く処理を高速化すること。
【解決手段】 互いに関連する複数の画像(10a〜10m)を1枚の画像(11)に重ね合わせ合成する画像処理装置(8)であって、複数の画像をそれぞれ複数ブロックに分割する画像分割部(1)と、前記複数ブロックの内、輝度のコントラストが高いブロックを選択する選択手段(2,3)と、前記選択手段により選択された各ブロックについて、前記複数の画像間の被写体位置の変位を取得するブロック位置検出部(4)と、前記ブロック位置検出部により取得した変位に基づいて、被写体が合致するように前記複数の画像を位置合わせして合成する合成手段(5、6)とを有する。
【選択図】 図1

Description

本発明は画像処理装置及び方法、及び撮像装置に関し、更に詳しくは、複数の画像を1つの画像に重ね合わせ合成する画像処理装置及び方法、及び撮像装置に関する。
近年、カメラのデジタル化が急速に進んでおり、デジタル信号処理を用いたダイナミックレンジ拡大や手ぶれ補正など、カメラの撮影フィールドを広げる試みがなされている。また、このようなカメラにおける画像合成時の信頼性の向上および高速化が求められている。
特許文献1は所謂ダイナミックレンジ拡大を行う方法を開示している。特許文献1では、露光量を変化させた画像を複数取得し、それらの信号を合成することによって、所謂白とびや黒つぶれを回避し、実質的なダイナミックレンジ拡大を行うことが開示されている。
特許文献2は複数画像を用いたぶれ除去装置を開示している。特許文献2によれば、動画を構成する個々の静止画を一旦メモリ上に格納した後に、次のコマの静止画とメモリ上の静止画の相関を求める。これにより、画像の移動を検出し、位置を合わせて記録を行う。結果として、所謂手ぶれによる像のふれを補正して、高品位な動画を得ることができる。
特許文献3は複数の画像間の移動ベクトルの推定精度を向上させる方法を開示している。特許文献3に開示された発明によると、複数のブロックに分けて移動ベクトルを算出する場合に、隣接ブロックのベクトルを活用することによってベクトルの推定精度を向上させる。特許文献3に開示された方法を適用することで、複数画像間の移動ベクトルの推定精度をあげて適切に画像処理を行うことができる。
特許文献4は複数画像を合成する装置における位置ずれ検出アルゴリズムを開示している。特許文献4に開示された発明によると、画像中の特徴点を抽出し、特徴点をあわせるように複数画像の位置合わせを行う。さらに位置ずれの検出結果を元に信頼度を推定して最も確からしいように複数画像の位置合わせを行い、画像の合成を行う。
特開昭61−219270号公報 特開平01−109970号公報 特開平07−170496号公報 特開2000−341582号公報
しかしながら、特許文献1および2の発明をデジタルカメラ等に用いる場合においては、画像のSN比が良くない場合などは移動ベクトルの推定精度が落ちて適切に画像が処理できないという問題があった。
また、特許文献3の発明をデジタルカメラ等に用いる場合においては、例えば夜景の撮影のように多くのブロックでSN比が良くない場合には、隣接ブロック情報を用いても十分に推定精度を向上させることが困難である。また、計算量が多くなる傾向があるために処理の高速化に適していない。
また、特許文献4の発明をデジタルカメラ等に用いる場合においては、複数画像間で同じ特徴点が見つからない場合の処理が煩雑になりやすく、推定精度の向上と処理の高速化を同時に実現することが容易ではない。
本発明は上記問題点を鑑みてなされたものであり、画像の重ね合わせ合成時に、被写体や撮影条件に関わらず、複数画像間の位置ずれの検出精度を低下させること無く処理を高速化することを目的とする。
上記目的を達成するために、互いに関連する複数の画像を1枚の画像に重ね合わせ合成する本発明の画像処理装置は、前記複数の画像をそれぞれ複数ブロックに分割する分割手段と、前記複数ブロックの内、輝度のコントラストが高いブロックを選択する選択手段と、前記選択手段により選択された各ブロックについて、前記複数の画像間の被写体位置の変位を取得する変位取得手段と、前記変位取得手段により取得した変位に基づいて、被写体が合致するように前記複数の画像を位置合わせして合成する合成手段とを有する。
また、互いに関連する複数の画像を1枚の画像に重ね合わせ合成する本発明の画像処理方法は、前記複数の画像をそれぞれ複数ブロックに分割する分割工程と、前記複数ブロックの内、輝度のコントラストが高いブロックを選択する選択工程と、前記選択工程において選択された各ブロックについて、前記複数の画像間の被写体位置の変位を取得する変位取得工程と、前記変位取得工程において取得した変位に基づいて、被写体が合致するように前記複数の画像を位置合わせして合成する合成工程とを有する。
本発明によれば、画像の重ね合わせ合成時に、被写体や撮影条件に関わらず、複数画像間の位置ずれの検出精度を低下させること無く処理を高速化することが可能となる。
以下、添付図面を参照して本発明を実施するための最良の形態を詳細に説明する。
図1は、本発明の実施形態における画像処理装置の機能構成を示すブロック図である。図1を用いて画像処理全体における動作について説明する。
図1において、8は本実施の形態における画像処理装置であり、複数の画像10a、10b、…、10mが画像分割部1、輝度検出部7および画像合成部6に与えられる。画像分割部1は、それぞれの画像を予め定められた複数の領域(ブロック)に分割する。領域の分割は撮影条件や画像の画素数などに基づいて適切に定められる。
次に、分割された画像はブロック信頼性検出部2およびブロック位置検出部4に与えられる。ブロック信頼性検出部2は、ブロック内の輝度信号を基に各ブロックが画像の位置ずれ検出に適したブロックか否かを判定し、それぞれのブロックに評価値を与える。輝度検出部7は画像全体の輝度を検出する。ブロック選択部3は、ブロック信頼性検出部2が求めた信頼性の評価値と前記輝度検出部7が求めた画像全体の輝度を基に、ブロック位置検出部4が画像の相関を求めるために用いるブロックを選択する。
ブロック位置検出部4は、ブロック選択部3によって決定されたブロックのみについて複数画像間の相関を計算して画像間の位置ずれを検出する。画像位置検出部5はブロック位置検出部4の出力を基に画像全体の位置ずれを推定して画像合成部6に与える。画像合成部6は画像位置検出部5によって求められた画像全体の位置ずれ量を基に複数画像10a、10b、…、10mを合成し、一つの出力画像11を生成する。ここでは図示しないが、出力画像11に対してさらに諧調圧縮や諧調調整を行うことで、ダイナミックレンジ拡大やノイズ低減といった効果を得ることができる。
図1に示す構成において最も多くの計算量を要するのは、ブロック位置検出部4である。計算量は、複数の領域に分割した画像のうち、より少ない領域を参照して画像全体の位置ずれを推定することができれば計算時間を大幅に短縮してユーザーの利便性に寄与することができる。本発明ではブロック選択部3によって選ばれたブロックのみについて計算を行うので、従来のようにすべてのブロックに対して計算を行う場合に比べて大幅に計算時間を短縮することが可能である。
次に、図2を参照して複数画像の合成と移動ベクトルおよびブロック信頼性検出部2について説明する。
図2において、(a)及び(b)は合成の対象となる2枚の画像を示す模式図、(c)は(a)及び(b)に示した画像を位置合わせせずにそのまま重ねた場合を示す模式図、(d)は(a)及び(b)に示した画像を位置合わせして重ねた場合を示す模式図である。
また、図2(a)及び(c)は領域を複数の領域に分けて示しており、(a)において22a〜22pは分割された領域を示す記号である。21a、21bはそれぞれ被写体を示し、(c)の20a、20b、20c、20d、20eは(a)及び(b)に示した画像間の移動ベクトルを示す。
手ぶれ等、画角が変化する要因がある状態で撮影された複数画像は、図2(c)に示すようにそのまま重ねた場合、被写体21a、21bがずれてしまう。分割された各領域で画像の相関を取ることなどによって各領域での2つの像の位置ずれを求めることができる。本件では、画像間のずれを示すベクトルを移動ベクトルと呼ぶ。求められた移動ベクトルを使って画像を写像することによって位置合わせを行うことが可能であり、図2(d)に示したような位置合わせを行った後に合成した像を得ることができる。
また、図2(c)において、移動ベクトル20eが存在する領域22aは所謂被写体が存在しない領域とする。被写体が無い領域は画像間の相関がうまく取れないことがあり、そのような場合には20eに示すように適切ではない移動ベクトルが求められる場合がある。本発明では、このように不適切なベクトルが求まる可能性が高い領域を予め排除する。以下、この処理について詳細に説明する。
図2(a)において、領域22a、22b、22c、22dなどは被写体が存在しないために、一般的にはピントが合っていない像となっており、コントラストが低い状態にあり、複数の画像の相関を求める場合にも局所解が多く存在する。このような領域では、例えば、領域内の輝度の最大値と領域内の輝度の最小値との差が小さな値になりやすい。上記の性質を利用して、ブロック信頼性検出部2は、
(信頼性の評価値)=(領域内の輝度の最大値)−(領域内の輝度の最小値)…(1)
を求める。上述したように、上記式(1)の信頼性の評価値の小さいブロックを排除することで、画像間の相関などによって画像間の移動ベクトルを求める際に、領域22aのように多くの局所解を含むような領域を除くことができる。結果として、図2(c)の20eのような不適切な移動ベクトルが求まる可能性が高い領域を排除することができる。
次に図3を参照して、輝度検出部7とブロック選択部3における処理について説明する。
図3において、(a)は昼間に撮影した写真の例を、(b)は夜間に星空を撮影した写真の例を示す。一般的に夜間の撮影で得られた画像は、少数の輝点が存在し、その他の背景部分はダークでノイズが多い状態にある。一方昼間の撮影で得られた画像は、被写体が存在しない領域でも背景が比較的像としてはっきり取得できることが多い。
そのため図3(b)に示すような星空の画像を位置合わせを行う場合には、少数の輝点(この場合は星)をきちんと位置合わせして、その他の点は無視する方が簡易且つ正確に位置合わせを行うことができる。一方、図3(a)に示したような昼間に撮影された画像では、夜間の画像に比べて参照点を増やして位置合わせを行う方が良好に位置合わせを行うことができる。
そこで、輝度検出部7は画像全体の輝度情報や画像のEXIF情報から輝度情報を抽出してブロック選択部3に与える。ブロック選択部3では、画像分割部1によって分割された領域のうち、ブロック信頼性検出部2の評価値及び輝度検出部7から与えられた輝度情報を基に、いくつかの領域を抽出する。このとき抽出される領域数は画像の輝度が高い場合には多く、画像の輝度が低い場合には少なくする。例えば、輝度情報に応じて、分割された全領域数に対する抽出する領域数の割合を予め決めておき、評価値の高い方から抽出したり、または、輝度情報に応じて評価値の閾値を変更し、閾値よりも高い領域を抽出するようにする。前者の場合、輝度が高い場合に抽出する領域数の割合を低い場合よりも大きくし、後者の場合、輝度が高い場合の閾値を低い場合よりも低くしておくことで、より明るい画像においてより多くの領域を抽出することができる。このように輝度情報に応じて抽出する領域数を変更するすることで、ブロック選択部3において、例えば、図3(a)では領域22f、22g、22h、22i、22n、22o、22pが抽出され、図3(b)では22h、22i、22oが抽出されると好ましい。
画角が大きく異なる画像を合成するのでなければ、1枚目の信頼性が高い領域は2枚目以降も信頼性が高いと判断できる。そのため、2枚目以降の画像では信頼性を求めない。そのため、2枚目以降の画像についてはブロック信頼性検出部2およびブロック選択部3を動作させる必要は無い。
次に、図4を参照してブロック位置検出部4および画像位置検出部5の動作を説明する。図4は抽出されたいくつかの領域で、p枚目の画像とq枚目の画像間の移動ベクトルを求めた状態を示す模式図である。図3を用いて説明したように、画像間の移動ベクトルはブロック選択部3によって抽出されたいくつかの領域のみに対して行われ、計算負荷を低減している。
図4において、Oは画像上の基準点を示す。p枚目の画像において、画像上に設けた計算の基準点Oからi番目の領域へ向かうベクトルをvpiとし、i番目の領域において、ブロック位置検出部4によって求められたp枚目の画像とq枚目の画像間の移動ベクトルをuipqとする。ブロック位置検出部4は、例えば特開平01−109970号公報に開示された方法などの公知の方法によって、複数画像間のずれを、ブロック選択部3により選択された領域毎に検出する。つまり、図4において、便宜的に領域iを1〜4とすると、u1pq、u2pq、u3pq、u4pqはブロック位置検出部4によって求められる。また、vp1、vp2、vp3、vp4は領域の分割方法によって決まるベクトルであり、既知である。これらの情報から、画像位置検出部5が画像間のアフィン写像を同定する。p枚目からq枚目へのアフィン写像を表すマトリックスをApqと表現すると、上述した定義から明らかに
qi=vpi+uipq=Apqpi …(2)
が成り立つ。上記式(2)はブロックiに関わらず成り立つので、
(vq1, vq2, ..., vqm)=(vp1+u1pq, vp2+u2pq, ..., vpm+umpq
=Apq(vp1, vp2, ..., vpm) …(3)
上記式(3)において、(vq1, vq2, ..., vqm)=Mq、(vp1, vp2, ..., vpm)=Mpと標記すると、上記式(3)は
q=Apqp …(4)
と書くことができる。この式(4)を解くと、Apqは、
pq=Mqp T(Mpp T-1 …(5)
として求めることができる。式(5)における(Mpp T-1がランク落ちをしないように、ブロック選択部3による領域の抽出数を適切に設定すれば、上式は一意に解くことが可能である。さらに、上記のアフィン写像を示すApqは各画素に対しても適用できる。
画像合成部6では、上記式(2)を各画素毎に当てはめることで、p枚目の任意の画素のq枚目における位置を知ることができる。これを各画素に順次適用して、位置合わせを行い、画像の合成を行う。
以上に述べたように、本発明を用いることで、計算負荷の大きい移動ベクトルの計算量を低減しつつ、画像全体の移動ベクトルの検出を適切に行うことができる。
上記実施の形態の画像の重ね合わせ合成は、ダイナミックレンジ拡大やノイズ低減、手振れ補正などに利用することが可能である。
次に、図5を用いて、上記処理を実施する撮像装置の一例として、図1に示す画像処理装置をデジタルカメラに適用した場合について説明する。
図5は本実施の形態におけるデジタルカメラの電気的構成を示すブロック図である。デジタルカメラは、撮像系、画像処理系、記録再生系、制御系を有する。撮像系は、撮影光学系41、撮像素子42を含み、画像処理系は、A/D変換器43、画像処理回路44を含む。さらに画像処理回路44は画像合成部50を含む。また、記録再生系は、メモリ49を含み、制御系は、カメラシステム制御部47、各種センサ46、I/O48、レンズ系制御部45を含む。
撮像系は、物体からの光を、撮影光学系41を介して撮像素子42の撮像面に結像する光学処理系であり、各種センサ46の内、測光センサから得られる信号を基にして不図示の絞りなどを用いて適切な光量の被写体光を撮像素子42に露光する。画像処理回路44は、A/D変換器43を介して撮像素子42から受けた撮像素子42の画素数の画像信号を処理する信号処理回路であり、ホワイトバランス回路、ガンマ補正回路、補間演算による高解像度化を行う補間演算回路等を有する。
カメラシステム制御部47は、メモリ49への画像信号の出力を行うとともに、I/O48を介して不図示の表示装置に出力する画像を生成し、保存する。
カメラシステム制御部47は、シャッターレリーズ釦等の操作を検出するI/O48からの検出信号に応動して各部を制御し、撮像の際のタイミング信号などを生成して出力する。また、各種センサ46は、カメラのピント状態を検出する測距センサや露光状態等を検出する露光センサを含む。レンズ系制御部45は、各種センサ46と、カメラ制御部47の信号に応じて適切にレンズなどを制御する。
また、本実施の形態に示すカメラは、画像処理回路44内に画像合成部50を有しており、ユーザーの操作によって画像合成部50を用いる画像合成モードを設定することができる。この画像合成部50が、上述した図1に示す画像処理装置8に対応する。
次に、画像合成モードが選択された時の動作のフローチャートを図6に示す。
画像合成モードが選択されている場合、ステップS61で処理が開始されると、ステップS62において露光を行い、撮像素子42からA/D変換器43を介して、画像処理回路44で処理した画像を、ステップS63で一時画像としてメモリ49に保存する。この露光から保存までの動作を予め定められた枚数の画像が揃うまで(ステップS64でYESとなるまで)繰り返す。
予め定めれられた枚数の画像が揃うとステップS65に進み、メモリ49に蓄積された一時画像に対して、画像合成部50は、上述したアフィン写像による画像合成処理を施し、取得した複数の画像から1つの画像を生成する。画像処理部44では更に、適切に諧調補正などの処理も行う。その後、メモリ49に一時保存された一時画像を消去して(ステップS66)、合成によって得られた画像をメモリ49に保存する(ステップS67)。最後にI/O48を介して合成画像を表示して(ステップS68)撮像が完了する。
<他の実施形態>
本発明の目的は、以下の様にして達成することも可能である。まず、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体(または記録媒体)を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記憶媒体に格納されたプログラムコードを読み出し実行する。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、以下のようにして達成することも可能である。即ち、読み出したプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(OS)などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合である。ここでプログラムコードを記憶する記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、ROM、RAM、磁気テープ、不揮発性のメモリカード、CD−ROM、CD−R、DVD、光ディスク、光磁気ディスク、MOなどが考えられる。また、LAN(ローカル・エリア・ネットワーク)やWAN(ワイド・エリア・ネットワーク)などのコンピュータネットワークを、プログラムコードを供給するために用いることができる。
本発明の実施の形態における画像処理装置の機能構成を示すブロック図である。 複数画像の重ね合わせ合成について説明するための図である。 明るさの異なる画像の特徴を説明するための図である。 本発明の実施の形態におけるベクトルの定義を説明する図である。 本発明の実施の形態におけるデジタルカメラの電気的構成を示すブロック図である。 本発明の実施の形態におけるの像合成モード時のデジタルカメラの動作を示すフローチャートである。
符号の説明
1 画像分割部
2 ブロック信頼性検出部
3 ブロック選択部
4 ブロック位置検出部
5 画像位置検出部
6 画像合成部
7 輝度検出部
8 画像処理装置
10a〜10m 画像
11 出力画像
20 移動ベクトル
21 被写体
22 領域(ブロック)
41 撮影光学系
42 撮像素子
43 A/Dコンバータ
44 画像処理回路
45 レンズ系制御部
46 各種センサ
47 カメラシステム制御部
48 I/O
49 メモリ
50 画像合成部

Claims (16)

  1. 互いに関連する複数の画像を1枚の画像に重ね合わせ合成する画像処理装置であって、
    前記複数の画像をそれぞれ複数ブロックに分割する分割手段と、
    前記複数ブロックの内、輝度のコントラストが高いブロックを選択する選択手段と、
    前記選択手段により選択された各ブロックについて、前記複数の画像間の被写体位置の変位を取得する変位取得手段と、
    前記変位取得手段により取得した変位に基づいて、被写体が合致するように前記複数の画像を位置合わせして合成する合成手段と
    を有することを特徴とする画像処理装置。
  2. 前記複数の画像の内、特定の基準画像の輝度を検出する輝度検出手段を更に有し、
    前記選択手段は、前記輝度検出手段によって検出された輝度が高い程、より多くのブロックを選択することを特徴とする請求項1に記載の画像処理装置。
  3. 前記複数の画像の内、特定の基準画像の輝度を検出する輝度検出手段を更に有し、
    前記選択手段は、前記輝度検出手段によって検出された輝度が高い程、より低いコントラストのブロックまで選択することを特徴とする請求項1に記載の画像処理装置。
  4. 前記合成手段は、前記変位取得手段により取得した変位に基づいて、重ね合わせを行う複数の画像のうち、特定の基準画像に対するその他の画像の画像全体の移動量をそれぞれ検出し、当該検出した移動量分、各画像を移動させながら、前記基準画像に重ね合わせ合成を行うことを特徴とする請求項1乃至3のいずれかに記載の画像処理装置。
  5. 前記合成手段は、前記画像全体の移動量として、前記基準画像を基準とした写像マトリクスを前記基準画像以外の各画像について求め、当該写像マトリクスを前記基準画像以外の各画像の前記各画素に適用することにより、画像間の被写体の位置を合致させることを特徴とする請求項4に記載の画像処理装置。
  6. 前記選択手段は、ブロックの選択を、前記複数の画像のうち、特定の基準画像に対して実行することを特徴とする請求項1乃至5のいずれかに記載の画像処理装置。
  7. 請求項1から6のいずれかに記載の画像処理装置を備えた撮像装置。
  8. 互いに関連する複数の画像を1枚の画像に重ね合わせ合成する画像処理方法であって、
    前記複数の画像をそれぞれ複数ブロックに分割する分割工程と、
    前記複数ブロックの内、輝度のコントラストが高いブロックを選択する選択工程と、
    前記選択工程において選択された各ブロックについて、前記複数の画像間の被写体位置の変位を取得する変位取得工程と、
    前記変位取得工程において取得した変位に基づいて、被写体が合致するように前記複数の画像を位置合わせして合成する合成工程と
    を有することを特徴とする画像処理方法。
  9. 前記複数の画像の内、特定の基準画像の輝度を検出する輝度検出工程を更に有し、
    前記選択工程では、前記輝度検出工程によって検出された輝度が高い程、より多くのブロックを選択することを特徴とする請求項8に記載の画像処理方法。
  10. 前記複数の画像の内、特定の基準画像の輝度を検出する輝度検出工程を更に有し、
    前記選択工程では、前記輝度検出工程によって検出された輝度が高い程、より低いコントラストのブロックまで選択することを特徴とする請求項8に記載の画像処理方法。
  11. 前記合成工程では、前記変位取得工程で取得した変位に基づいて、重ね合わせを行う複数の画像のうち、特定の基準画像に対するその他の画像の画像全体の移動量をそれぞれ検出し、当該検出した移動量分、各画像を移動させながら、前記基準画像に重ね合わせ合成を行うことを特徴とする請求項8乃至10のいずれかに記載の画像処理方法。
  12. 前記合成工程では、前記画像全体の移動量として、前記基準画像を基準とした写像マトリクスを前記基準画像以外の各画像について求め、当該写像マトリクスを前記基準画像以外の各画像の前記各画素に適用することにより、画像間の被写体の位置を合致させることを特徴とする請求項11に記載の画像処理方法。
  13. 前記選択工程では、ブロックの選択を、前記複数の画像のうち、特定の基準画像に対して実行することを特徴とする請求項8乃至12のいずれかに記載の画像処理方法。
  14. 情報処理装置が実行可能なプログラムであって、前記プログラムを実行した情報処理装置を、請求項1乃至6のいずれかに記載の画像処理装置として機能させることを特徴とするプログラム。
  15. 請求項8乃至13のいずれかに記載の画像処理方法の各工程を実現するためのプログラムコードを有することを特徴とする情報処理装置が実行可能なプログラム。
  16. 請求項14又は15に記載のプログラムを記憶したことを特徴とする情報処理装置が読み取り可能な記憶媒体。
JP2006095848A 2006-03-30 2006-03-30 画像処理装置及び方法、及び撮像装置 Expired - Fee Related JP4597087B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006095848A JP4597087B2 (ja) 2006-03-30 2006-03-30 画像処理装置及び方法、及び撮像装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006095848A JP4597087B2 (ja) 2006-03-30 2006-03-30 画像処理装置及び方法、及び撮像装置

Publications (3)

Publication Number Publication Date
JP2007274213A true JP2007274213A (ja) 2007-10-18
JP2007274213A5 JP2007274213A5 (ja) 2009-05-14
JP4597087B2 JP4597087B2 (ja) 2010-12-15

Family

ID=38676571

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006095848A Expired - Fee Related JP4597087B2 (ja) 2006-03-30 2006-03-30 画像処理装置及び方法、及び撮像装置

Country Status (1)

Country Link
JP (1) JP4597087B2 (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009163357A (ja) * 2007-12-28 2009-07-23 Casio Comput Co Ltd 画像合成装置及びプログラム
JP2009290588A (ja) * 2008-05-29 2009-12-10 Kyocera Corp 動きベクトル検出装置およびその方法、並びに撮像装置
WO2011024370A1 (ja) * 2009-08-24 2011-03-03 日本電気株式会社 画像ダイナミックレンジ圧縮システム、方法及びプログラム
KR101062502B1 (ko) * 2008-02-29 2011-09-05 가시오게산키 가부시키가이샤 패닝화상을 촬상하기 위한 패닝모드를 구비한 촬상장치
CN102196185A (zh) * 2010-03-09 2011-09-21 索尼公司 图像处理装置、图像处理方法和程序
JP2012032217A (ja) * 2010-07-29 2012-02-16 Hitachi-Ge Nuclear Energy Ltd 目視検査装置及び目視検査用映像の作成方法
JP2013008124A (ja) * 2011-06-23 2013-01-10 Nikon Corp 画像処理装置及びプログラム
US8730318B2 (en) 2010-07-29 2014-05-20 Hitachi-Ge Nuclear Energy, Ltd. Inspection apparatus and method for producing image for inspection
JP2020017173A (ja) * 2018-07-27 2020-01-30 株式会社ダイヘン 移動体
US11055834B2 (en) 2017-08-29 2021-07-06 Nec Corporation Information processing device, information processing method, and recording medium for processing synthesized images

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4777116B2 (ja) * 2006-03-30 2011-09-21 キヤノン株式会社 画像処理装置及び方法、及び撮像装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11185018A (ja) * 1997-12-24 1999-07-09 Olympus Optical Co Ltd 画像処理装置
JP2005354124A (ja) * 2004-06-08 2005-12-22 Seiko Epson Corp 複数の低画素密度画像からの高画素密度画像の生成
JP2006066996A (ja) * 2004-08-24 2006-03-09 Canon Inc 撮像装置及び撮像方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11185018A (ja) * 1997-12-24 1999-07-09 Olympus Optical Co Ltd 画像処理装置
JP2005354124A (ja) * 2004-06-08 2005-12-22 Seiko Epson Corp 複数の低画素密度画像からの高画素密度画像の生成
JP2006066996A (ja) * 2004-08-24 2006-03-09 Canon Inc 撮像装置及び撮像方法

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009163357A (ja) * 2007-12-28 2009-07-23 Casio Comput Co Ltd 画像合成装置及びプログラム
KR101062502B1 (ko) * 2008-02-29 2011-09-05 가시오게산키 가부시키가이샤 패닝화상을 촬상하기 위한 패닝모드를 구비한 촬상장치
JP2009290588A (ja) * 2008-05-29 2009-12-10 Kyocera Corp 動きベクトル検出装置およびその方法、並びに撮像装置
JP5594290B2 (ja) * 2009-08-24 2014-09-24 日本電気株式会社 画像ダイナミックレンジ圧縮システム、方法及びプログラム
WO2011024370A1 (ja) * 2009-08-24 2011-03-03 日本電気株式会社 画像ダイナミックレンジ圧縮システム、方法及びプログラム
CN102484672A (zh) * 2009-08-24 2012-05-30 日本电气株式会社 图像动态范围压缩系统、方法及程序
US9002127B2 (en) 2009-08-24 2015-04-07 Nec Corporation Image dynamic range compression system, method and program
CN102196185A (zh) * 2010-03-09 2011-09-21 索尼公司 图像处理装置、图像处理方法和程序
JP2011188277A (ja) * 2010-03-09 2011-09-22 Sony Corp 画像処理装置、画像処理方法およびプログラム
JP2012032217A (ja) * 2010-07-29 2012-02-16 Hitachi-Ge Nuclear Energy Ltd 目視検査装置及び目視検査用映像の作成方法
US8730318B2 (en) 2010-07-29 2014-05-20 Hitachi-Ge Nuclear Energy, Ltd. Inspection apparatus and method for producing image for inspection
JP2013008124A (ja) * 2011-06-23 2013-01-10 Nikon Corp 画像処理装置及びプログラム
US11055834B2 (en) 2017-08-29 2021-07-06 Nec Corporation Information processing device, information processing method, and recording medium for processing synthesized images
JP2020017173A (ja) * 2018-07-27 2020-01-30 株式会社ダイヘン 移動体
JP7063760B2 (ja) 2018-07-27 2022-05-09 株式会社ダイヘン 移動体

Also Published As

Publication number Publication date
JP4597087B2 (ja) 2010-12-15

Similar Documents

Publication Publication Date Title
JP4597087B2 (ja) 画像処理装置及び方法、及び撮像装置
US7664293B2 (en) Image sensing apparatus and control method thereof
JP5398156B2 (ja) ホワイトバランス制御装置およびその制御方法並びに撮像装置
JP4254969B2 (ja) 撮像装置
KR100840856B1 (ko) 화상 처리 장치, 화상 처리 방법, 화상 처리 프로그램을기록한 기록 매체, 및 촬상 장치
JP5643563B2 (ja) 画像処理装置及びその制御方法
JP6495122B2 (ja) 撮像装置、画像処理方法
US20110311150A1 (en) Image processing apparatus
JP2006050457A (ja) 撮像装置
JP6656035B2 (ja) 画像処理装置、撮像装置および画像処理装置の制御方法
JP4420906B2 (ja) 撮像装置
JP5279636B2 (ja) 撮像装置
JP4777116B2 (ja) 画像処理装置及び方法、及び撮像装置
CN110958361B (zh) 能够进行hdr合成的摄像设备及其控制方法和存储介质
JP6604908B2 (ja) 画像処理装置、その制御方法、および制御プログラム
WO2019124289A1 (ja) 装置、制御方法および記憶媒体
JP2006080844A (ja) 電子カメラ
JP4807582B2 (ja) 画像処理装置、撮像装置及びそのプログラム
JP2017143354A (ja) 画像処理装置及び画像処理方法
JP5446847B2 (ja) 画像処理装置及び方法、並びにプログラム
US10362213B2 (en) Imaging apparatus and imaging method
JP4936222B2 (ja) 動きベクトル照合装置、画像合成装置及びプログラム
JP4919165B2 (ja) 画像合成装置及びプログラム
JP6554009B2 (ja) 画像処理装置、その制御方法、プログラム及び記録媒体
JP2014155000A (ja) 画像処理装置、その制御方法、および制御プログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090330

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090330

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100908

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100917

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100921

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131001

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees