JP2007274213A - 画像処理装置及び方法、及び撮像装置 - Google Patents
画像処理装置及び方法、及び撮像装置 Download PDFInfo
- Publication number
- JP2007274213A JP2007274213A JP2006095848A JP2006095848A JP2007274213A JP 2007274213 A JP2007274213 A JP 2007274213A JP 2006095848 A JP2006095848 A JP 2006095848A JP 2006095848 A JP2006095848 A JP 2006095848A JP 2007274213 A JP2007274213 A JP 2007274213A
- Authority
- JP
- Japan
- Prior art keywords
- image
- images
- luminance
- image processing
- processing apparatus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
【解決手段】 互いに関連する複数の画像(10a〜10m)を1枚の画像(11)に重ね合わせ合成する画像処理装置(8)であって、複数の画像をそれぞれ複数ブロックに分割する画像分割部(1)と、前記複数ブロックの内、輝度のコントラストが高いブロックを選択する選択手段(2,3)と、前記選択手段により選択された各ブロックについて、前記複数の画像間の被写体位置の変位を取得するブロック位置検出部(4)と、前記ブロック位置検出部により取得した変位に基づいて、被写体が合致するように前記複数の画像を位置合わせして合成する合成手段(5、6)とを有する。
【選択図】 図1
Description
を求める。上述したように、上記式(1)の信頼性の評価値の小さいブロックを排除することで、画像間の相関などによって画像間の移動ベクトルを求める際に、領域22aのように多くの局所解を含むような領域を除くことができる。結果として、図2(c)の20eのような不適切な移動ベクトルが求まる可能性が高い領域を排除することができる。
次に図3を参照して、輝度検出部7とブロック選択部3における処理について説明する。
vqi=vpi+uipq=Apqvpi …(2)
=Apq(vp1, vp2, ..., vpm) …(3)
上記式(3)において、(vq1, vq2, ..., vqm)=Mq、(vp1, vp2, ..., vpm)=Mpと標記すると、上記式(3)は
Mq=ApqMp …(4)
Apq=MqMp T(MpMp T)-1 …(5)
として求めることができる。式(5)における(MpMp T)-1がランク落ちをしないように、ブロック選択部3による領域の抽出数を適切に設定すれば、上式は一意に解くことが可能である。さらに、上記のアフィン写像を示すApqは各画素に対しても適用できる。
画像合成部6では、上記式(2)を各画素毎に当てはめることで、p枚目の任意の画素のq枚目における位置を知ることができる。これを各画素に順次適用して、位置合わせを行い、画像の合成を行う。
本発明の目的は、以下の様にして達成することも可能である。まず、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体(または記録媒体)を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記憶媒体に格納されたプログラムコードを読み出し実行する。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
2 ブロック信頼性検出部
3 ブロック選択部
4 ブロック位置検出部
5 画像位置検出部
6 画像合成部
7 輝度検出部
8 画像処理装置
10a〜10m 画像
11 出力画像
20 移動ベクトル
21 被写体
22 領域(ブロック)
41 撮影光学系
42 撮像素子
43 A/Dコンバータ
44 画像処理回路
45 レンズ系制御部
46 各種センサ
47 カメラシステム制御部
48 I/O
49 メモリ
50 画像合成部
Claims (16)
- 互いに関連する複数の画像を1枚の画像に重ね合わせ合成する画像処理装置であって、
前記複数の画像をそれぞれ複数ブロックに分割する分割手段と、
前記複数ブロックの内、輝度のコントラストが高いブロックを選択する選択手段と、
前記選択手段により選択された各ブロックについて、前記複数の画像間の被写体位置の変位を取得する変位取得手段と、
前記変位取得手段により取得した変位に基づいて、被写体が合致するように前記複数の画像を位置合わせして合成する合成手段と
を有することを特徴とする画像処理装置。 - 前記複数の画像の内、特定の基準画像の輝度を検出する輝度検出手段を更に有し、
前記選択手段は、前記輝度検出手段によって検出された輝度が高い程、より多くのブロックを選択することを特徴とする請求項1に記載の画像処理装置。 - 前記複数の画像の内、特定の基準画像の輝度を検出する輝度検出手段を更に有し、
前記選択手段は、前記輝度検出手段によって検出された輝度が高い程、より低いコントラストのブロックまで選択することを特徴とする請求項1に記載の画像処理装置。 - 前記合成手段は、前記変位取得手段により取得した変位に基づいて、重ね合わせを行う複数の画像のうち、特定の基準画像に対するその他の画像の画像全体の移動量をそれぞれ検出し、当該検出した移動量分、各画像を移動させながら、前記基準画像に重ね合わせ合成を行うことを特徴とする請求項1乃至3のいずれかに記載の画像処理装置。
- 前記合成手段は、前記画像全体の移動量として、前記基準画像を基準とした写像マトリクスを前記基準画像以外の各画像について求め、当該写像マトリクスを前記基準画像以外の各画像の前記各画素に適用することにより、画像間の被写体の位置を合致させることを特徴とする請求項4に記載の画像処理装置。
- 前記選択手段は、ブロックの選択を、前記複数の画像のうち、特定の基準画像に対して実行することを特徴とする請求項1乃至5のいずれかに記載の画像処理装置。
- 請求項1から6のいずれかに記載の画像処理装置を備えた撮像装置。
- 互いに関連する複数の画像を1枚の画像に重ね合わせ合成する画像処理方法であって、
前記複数の画像をそれぞれ複数ブロックに分割する分割工程と、
前記複数ブロックの内、輝度のコントラストが高いブロックを選択する選択工程と、
前記選択工程において選択された各ブロックについて、前記複数の画像間の被写体位置の変位を取得する変位取得工程と、
前記変位取得工程において取得した変位に基づいて、被写体が合致するように前記複数の画像を位置合わせして合成する合成工程と
を有することを特徴とする画像処理方法。 - 前記複数の画像の内、特定の基準画像の輝度を検出する輝度検出工程を更に有し、
前記選択工程では、前記輝度検出工程によって検出された輝度が高い程、より多くのブロックを選択することを特徴とする請求項8に記載の画像処理方法。 - 前記複数の画像の内、特定の基準画像の輝度を検出する輝度検出工程を更に有し、
前記選択工程では、前記輝度検出工程によって検出された輝度が高い程、より低いコントラストのブロックまで選択することを特徴とする請求項8に記載の画像処理方法。 - 前記合成工程では、前記変位取得工程で取得した変位に基づいて、重ね合わせを行う複数の画像のうち、特定の基準画像に対するその他の画像の画像全体の移動量をそれぞれ検出し、当該検出した移動量分、各画像を移動させながら、前記基準画像に重ね合わせ合成を行うことを特徴とする請求項8乃至10のいずれかに記載の画像処理方法。
- 前記合成工程では、前記画像全体の移動量として、前記基準画像を基準とした写像マトリクスを前記基準画像以外の各画像について求め、当該写像マトリクスを前記基準画像以外の各画像の前記各画素に適用することにより、画像間の被写体の位置を合致させることを特徴とする請求項11に記載の画像処理方法。
- 前記選択工程では、ブロックの選択を、前記複数の画像のうち、特定の基準画像に対して実行することを特徴とする請求項8乃至12のいずれかに記載の画像処理方法。
- 情報処理装置が実行可能なプログラムであって、前記プログラムを実行した情報処理装置を、請求項1乃至6のいずれかに記載の画像処理装置として機能させることを特徴とするプログラム。
- 請求項8乃至13のいずれかに記載の画像処理方法の各工程を実現するためのプログラムコードを有することを特徴とする情報処理装置が実行可能なプログラム。
- 請求項14又は15に記載のプログラムを記憶したことを特徴とする情報処理装置が読み取り可能な記憶媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006095848A JP4597087B2 (ja) | 2006-03-30 | 2006-03-30 | 画像処理装置及び方法、及び撮像装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006095848A JP4597087B2 (ja) | 2006-03-30 | 2006-03-30 | 画像処理装置及び方法、及び撮像装置 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2007274213A true JP2007274213A (ja) | 2007-10-18 |
JP2007274213A5 JP2007274213A5 (ja) | 2009-05-14 |
JP4597087B2 JP4597087B2 (ja) | 2010-12-15 |
Family
ID=38676571
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006095848A Expired - Fee Related JP4597087B2 (ja) | 2006-03-30 | 2006-03-30 | 画像処理装置及び方法、及び撮像装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4597087B2 (ja) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009163357A (ja) * | 2007-12-28 | 2009-07-23 | Casio Comput Co Ltd | 画像合成装置及びプログラム |
JP2009290588A (ja) * | 2008-05-29 | 2009-12-10 | Kyocera Corp | 動きベクトル検出装置およびその方法、並びに撮像装置 |
WO2011024370A1 (ja) * | 2009-08-24 | 2011-03-03 | 日本電気株式会社 | 画像ダイナミックレンジ圧縮システム、方法及びプログラム |
KR101062502B1 (ko) * | 2008-02-29 | 2011-09-05 | 가시오게산키 가부시키가이샤 | 패닝화상을 촬상하기 위한 패닝모드를 구비한 촬상장치 |
CN102196185A (zh) * | 2010-03-09 | 2011-09-21 | 索尼公司 | 图像处理装置、图像处理方法和程序 |
JP2012032217A (ja) * | 2010-07-29 | 2012-02-16 | Hitachi-Ge Nuclear Energy Ltd | 目視検査装置及び目視検査用映像の作成方法 |
JP2013008124A (ja) * | 2011-06-23 | 2013-01-10 | Nikon Corp | 画像処理装置及びプログラム |
US8730318B2 (en) | 2010-07-29 | 2014-05-20 | Hitachi-Ge Nuclear Energy, Ltd. | Inspection apparatus and method for producing image for inspection |
JP2020017173A (ja) * | 2018-07-27 | 2020-01-30 | 株式会社ダイヘン | 移動体 |
US11055834B2 (en) | 2017-08-29 | 2021-07-06 | Nec Corporation | Information processing device, information processing method, and recording medium for processing synthesized images |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4777116B2 (ja) * | 2006-03-30 | 2011-09-21 | キヤノン株式会社 | 画像処理装置及び方法、及び撮像装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11185018A (ja) * | 1997-12-24 | 1999-07-09 | Olympus Optical Co Ltd | 画像処理装置 |
JP2005354124A (ja) * | 2004-06-08 | 2005-12-22 | Seiko Epson Corp | 複数の低画素密度画像からの高画素密度画像の生成 |
JP2006066996A (ja) * | 2004-08-24 | 2006-03-09 | Canon Inc | 撮像装置及び撮像方法 |
-
2006
- 2006-03-30 JP JP2006095848A patent/JP4597087B2/ja not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11185018A (ja) * | 1997-12-24 | 1999-07-09 | Olympus Optical Co Ltd | 画像処理装置 |
JP2005354124A (ja) * | 2004-06-08 | 2005-12-22 | Seiko Epson Corp | 複数の低画素密度画像からの高画素密度画像の生成 |
JP2006066996A (ja) * | 2004-08-24 | 2006-03-09 | Canon Inc | 撮像装置及び撮像方法 |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009163357A (ja) * | 2007-12-28 | 2009-07-23 | Casio Comput Co Ltd | 画像合成装置及びプログラム |
KR101062502B1 (ko) * | 2008-02-29 | 2011-09-05 | 가시오게산키 가부시키가이샤 | 패닝화상을 촬상하기 위한 패닝모드를 구비한 촬상장치 |
JP2009290588A (ja) * | 2008-05-29 | 2009-12-10 | Kyocera Corp | 動きベクトル検出装置およびその方法、並びに撮像装置 |
JP5594290B2 (ja) * | 2009-08-24 | 2014-09-24 | 日本電気株式会社 | 画像ダイナミックレンジ圧縮システム、方法及びプログラム |
WO2011024370A1 (ja) * | 2009-08-24 | 2011-03-03 | 日本電気株式会社 | 画像ダイナミックレンジ圧縮システム、方法及びプログラム |
CN102484672A (zh) * | 2009-08-24 | 2012-05-30 | 日本电气株式会社 | 图像动态范围压缩系统、方法及程序 |
US9002127B2 (en) | 2009-08-24 | 2015-04-07 | Nec Corporation | Image dynamic range compression system, method and program |
CN102196185A (zh) * | 2010-03-09 | 2011-09-21 | 索尼公司 | 图像处理装置、图像处理方法和程序 |
JP2011188277A (ja) * | 2010-03-09 | 2011-09-22 | Sony Corp | 画像処理装置、画像処理方法およびプログラム |
JP2012032217A (ja) * | 2010-07-29 | 2012-02-16 | Hitachi-Ge Nuclear Energy Ltd | 目視検査装置及び目視検査用映像の作成方法 |
US8730318B2 (en) | 2010-07-29 | 2014-05-20 | Hitachi-Ge Nuclear Energy, Ltd. | Inspection apparatus and method for producing image for inspection |
JP2013008124A (ja) * | 2011-06-23 | 2013-01-10 | Nikon Corp | 画像処理装置及びプログラム |
US11055834B2 (en) | 2017-08-29 | 2021-07-06 | Nec Corporation | Information processing device, information processing method, and recording medium for processing synthesized images |
JP2020017173A (ja) * | 2018-07-27 | 2020-01-30 | 株式会社ダイヘン | 移動体 |
JP7063760B2 (ja) | 2018-07-27 | 2022-05-09 | 株式会社ダイヘン | 移動体 |
Also Published As
Publication number | Publication date |
---|---|
JP4597087B2 (ja) | 2010-12-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4597087B2 (ja) | 画像処理装置及び方法、及び撮像装置 | |
US7664293B2 (en) | Image sensing apparatus and control method thereof | |
JP5398156B2 (ja) | ホワイトバランス制御装置およびその制御方法並びに撮像装置 | |
JP4254969B2 (ja) | 撮像装置 | |
KR100840856B1 (ko) | 화상 처리 장치, 화상 처리 방법, 화상 처리 프로그램을기록한 기록 매체, 및 촬상 장치 | |
JP5643563B2 (ja) | 画像処理装置及びその制御方法 | |
JP6495122B2 (ja) | 撮像装置、画像処理方法 | |
US20110311150A1 (en) | Image processing apparatus | |
JP2006050457A (ja) | 撮像装置 | |
JP6656035B2 (ja) | 画像処理装置、撮像装置および画像処理装置の制御方法 | |
JP4420906B2 (ja) | 撮像装置 | |
JP5279636B2 (ja) | 撮像装置 | |
JP4777116B2 (ja) | 画像処理装置及び方法、及び撮像装置 | |
CN110958361B (zh) | 能够进行hdr合成的摄像设备及其控制方法和存储介质 | |
JP6604908B2 (ja) | 画像処理装置、その制御方法、および制御プログラム | |
WO2019124289A1 (ja) | 装置、制御方法および記憶媒体 | |
JP2006080844A (ja) | 電子カメラ | |
JP4807582B2 (ja) | 画像処理装置、撮像装置及びそのプログラム | |
JP2017143354A (ja) | 画像処理装置及び画像処理方法 | |
JP5446847B2 (ja) | 画像処理装置及び方法、並びにプログラム | |
US10362213B2 (en) | Imaging apparatus and imaging method | |
JP4936222B2 (ja) | 動きベクトル照合装置、画像合成装置及びプログラム | |
JP4919165B2 (ja) | 画像合成装置及びプログラム | |
JP6554009B2 (ja) | 画像処理装置、その制御方法、プログラム及び記録媒体 | |
JP2014155000A (ja) | 画像処理装置、その制御方法、および制御プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090330 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090330 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100908 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100917 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100921 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131001 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |