JP2013243780A - 画像合成装置、画像合成方法、画像合成プログラム及び記録媒体 - Google Patents
画像合成装置、画像合成方法、画像合成プログラム及び記録媒体 Download PDFInfo
- Publication number
- JP2013243780A JP2013243780A JP2013175399A JP2013175399A JP2013243780A JP 2013243780 A JP2013243780 A JP 2013243780A JP 2013175399 A JP2013175399 A JP 2013175399A JP 2013175399 A JP2013175399 A JP 2013175399A JP 2013243780 A JP2013243780 A JP 2013243780A
- Authority
- JP
- Japan
- Prior art keywords
- image
- exposure
- likelihood
- unit
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
【解決手段】露出条件の異なる第1画像及び第2画像を用いて合成画像を生成する装置である。この装置は、画像入力部10、尤度算出部13、露出推定部14及び合成部16を備える。画像入力部10は、第1画像及び第2画像を入力する。尤度算出部13は、第1画像と第2画像との露出条件を合わせる露出変換関数を推定する前に、第1画像及び第2画像の差分に基づいて、各画素における動被写体尤度を算出する。露出推定部14は、動被写体尤度に基づいて露出変換関数を推定する。合成部16は、露出変換関数を用いて第1画像及び第2画像を合成する。
【選択図】図3
Description
式2において、wiは重みである。ここで、動被写体尤度が高い画素ほど、重みwiを小さく設定する。このように、露出推定部14が各画素の動被写体尤度に基づいて露出変換関数を算出することで、信頼度の低いサンプリング点のデータほど露出変換関数の導出に影響を与えないようにすることができる。なお、露出変換関数は、変換後の入力画像が表現可能な範囲に収まるように変更されてもよい。
上記算出式により、重みが適切に決定されるとともに、輝度的な不連続性が軽減される。なお、空間的な不連続性を軽減するために、合成マスクに対してぼかし処理を施してもよい。
ここで、(a,b)は露出変換パラメータである。露出変換パラメータ(a,b)を導出することで露出変換関数を求めることができる。以下では、動き補正後の入力画像I0’と入力画像I1’との露出変換関数を求める場合を説明する。露出推定部14は、入力画像の点(x,y)において、露出の低い入力画像I0’の輝度値と露出の低い入力画像I1’の輝度値の組みをいくつかサンプリングして、その関係をプロットする。ここで、S16の処理で取得した差分画像に基づいて、サンプリングする点を選択する。例えば、動被写体尤度の高い領域からはサンプリングしないように設定する。すなわち動被写体尤度の低いものからサンプリングするように設定する。そして、例えば動被写体尤度が高いほど低い重みを割り当てて、式2を用いて露出変換関数を推定する。これにより、例えば図7に示すようなフィッティングが行われる。尤度算出部13は、上述した手法と同様の手法で、入力画像I1’〜I4’間の露出変換関数を推定する。なお、輝度値が0に近いデータ又は255に近いデータを除いてもよい。
このとき、露出の最も低い画像については全領域をそのまま合成する。S34の処理が終了すると、入力画像確認処理へ移行する(S36)。
Claims (16)
- 露出条件の異なる第1画像及び第2画像を用いて合成画像を生成する画像合成装置であって、
前記第1画像及び前記第2画像を入力する入力部と、
前記第1画像と前記第2画像との露出条件を合わせる露出変換関数を推定する前に、前記第1画像及び前記第2画像の差分に基づいて、各画素における動被写体尤度を算出する尤度算出部と、
前記動被写体尤度に基づいて、前記露出変換関数を推定する露出推定部と、
前記露出変換関数を用いて前記第1画像及び前記第2画像を合成する合成部と、
を備える画像合成装置。 - 前記尤度算出部は、前記第1画像及び前記第2画像の画素値を正規化し、正規化された前記第1画像及び前記第2画像の差分に基づいて、各画素における前記動被写体尤度を算出する請求項1に記載の画像合成装置。
- 前記尤度算出部は、
前記第1画像の解像度をそれぞれ段階的に変更することで得られる複数の第1処理画像、及び、前記第2画像の解像度をそれぞれ段階的に変更することで得られる複数の第2処理画像を用いて、各画素の差分を解像度ごとに算出し、解像度ごとに得られた差分を重み付けすることによって各画素の前記動被写体尤度を算出する請求項1又は2に記載の画像合成装置。 - 前記尤度算出部は、前記第1画像と前記第2画像との差分の信頼度、及び前記第1処理画像又は前記第2処理画像の画像サイズもしくは解像度に基づいて、解像度ごとに得られた差分を重み付けする請求項3に記載の画像合成装置。
- 前記合成部は、
前記第1画像及び前記第2画像の差分に基づいて各画素における動被写体尤度を算出し、該動被写体尤度及び前記露出変換関数を用いて前記第1画像及び前記第2画像を合成する請求項1〜4の何れか一項に記載の画像合成装置。 - 前記合成部は、
前記第1画像又は前記第2画像の元の輝度値の大きさに基づいて、前記第1画像及び前記第2画像の画素値の合成比を示す輝度ベースマスクを生成し、
前記第1画像及び前記第2画像の差分に基づいて、前記第1画像及び前記第2画像の画素値の合成比を示す被写体ぶれマスクを生成し、
前記輝度ベースマスク及び前記被写体ぶれマスクを結合させて、前記第1画像及び前記第2画像の画素値を合成する合成マスクを生成する請求項1〜5の何れか一項に記載の画像合成装置。 - 前記合成部は、
前記第1画像及び前記第2画像の差分に基づいて、各画素における動被写体尤度を算出し、
該動被写体尤度に基づいて前記被写体ぶれマスクを生成する請求項6に記載の画像合成装置。 - 前記合成部は、
前記第1画像の解像度をそれぞれ段階的に変更することで得られる複数の第1処理画像、及び、前記第2画像の解像度をそれぞれ段階的に変更することで得られる複数の第2処理画像を用いて、各画素の差分を解像度ごとに算出し、解像度ごとに得られた差分を重み付けすることによって各画素の前記動被写体尤度を算出し、該動被写体尤度に基づいて前記被写体ぶれマスクを生成する請求項7に記載の画像合成装置。 - 前記合成部は、
前記動被写体尤度が所定の閾値以下となる画素が隣接する領域を検出し、各領域に対して識別ラベルを付与し、領域ごとに前記被写体ぶれマスクを生成する請求項8に記載の画像合成装置。 - 前記合成部は、
前記被写体ぶれマスクとして、前記第1画像及び前記第2画像のうち強制的に輝度値の低い画素値を選択させる第1マスク、又は、前記第1画像及び前記第2画像のうち強制的に輝度値の高い画素値を選択させる第2マスクを生成する請求項6〜9の何れか一項に記載の画像合成装置。 - 前記合成部は、
前記輝度ベースマスクに対して、前記第1マスクを反転させたマスクを乗算し、又は、前記第2マスクを加算することで、前記合成マスクを生成する請求項10に記載の画像合成装置。 - 前記第1画像と前記第2画像との間の画素の動き情報を取得する動き情報取得部をさらに備え、
前記尤度算出部は、前記動き情報に基づいて前記第1画像及び前記第2画像を補正し、補正後の前記第1画像及び前記第2画像を用いて各画素の前記動被写体尤度を算出する請求項1〜11の何れか一項に記載の画像合成装置。 - 前記第1画像は、露出条件の異なる画像同士が合成された画像からなる請求項1〜12の何れか一項に記載の画像合成装置。
- 露出条件の異なる第1画像及び第2画像を用いて合成画像を生成する画像合成方法であって、
前記第1画像及び前記第2画像を入力し、
前記第1画像と前記第2画像との露出条件を合わせる露出変換関数を推定する前に、前記第1画像及び前記第2画像の差分に基づいて、各画素における動被写体尤度を算出し、
前記動被写体尤度に基づいて前記露出変換関数を推定し、
前記露出変換関数を用いて前記第1画像及び前記第2画像を合成する、
画像合成方法。 - 露出条件の異なる第1画像及び第2画像を用いて合成画像を生成するようにコンピュータを動作させる画像合成プログラムであって、
前記第1画像及び前記第2画像を入力する入力部、
前記第1画像と前記第2画像との露出条件を合わせる露出変換関数を推定する前に、前記第1画像及び前記第2画像の差分に基づいて、各画素における動被写体尤度を算出する尤度算出部、
前記動被写体尤度に基づいて前記露出変換関数を推定する露出推定部、及び
前記露出変換関数を用いて前記第1画像及び前記第2画像を合成する合成部として前記コンピュータを動作させる画像合成プログラム。 - 露出条件の異なる第1画像及び第2画像を用いて合成画像を生成するようにコンピュータを動作させる画像合成プログラムを記録した記録媒体であって、
前記第1画像及び前記第2画像を入力する入力部、
前記第1画像と前記第2画像との露出条件を合わせる露出変換関数を推定する前に、前記第1画像及び前記第2画像の差分に基づいて、各画素における動被写体尤度を算出する尤度算出部、
前記動被写体尤度に基づいて前記露出変換関数を推定する露出推定部、及び
前記露出変換関数を用いて前記第1画像及び前記第2画像を合成する合成部として前記コンピュータを動作させる画像合成プログラムを記録した記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013175399A JP5610245B2 (ja) | 2013-08-27 | 2013-08-27 | 画像合成装置、画像合成方法、画像合成プログラム及び記録媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013175399A JP5610245B2 (ja) | 2013-08-27 | 2013-08-27 | 画像合成装置、画像合成方法、画像合成プログラム及び記録媒体 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012558101A Division JP5365823B2 (ja) | 2011-10-14 | 2011-10-14 | 画像合成装置、画像合成方法、画像合成プログラム及び記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013243780A true JP2013243780A (ja) | 2013-12-05 |
JP5610245B2 JP5610245B2 (ja) | 2014-10-22 |
Family
ID=49844122
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013175399A Active JP5610245B2 (ja) | 2013-08-27 | 2013-08-27 | 画像合成装置、画像合成方法、画像合成プログラム及び記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5610245B2 (ja) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015141487A1 (ja) * | 2014-03-18 | 2015-09-24 | ソニー株式会社 | 画像処理装置、画像処理方法、およびプログラム |
JP2016540440A (ja) * | 2014-06-12 | 2016-12-22 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd | ピクチャー処理方法、装置 |
JP2017201455A (ja) * | 2016-05-02 | 2017-11-09 | 株式会社モルフォ | 画像合成装置、画像合成方法、画像合成プログラム及び記憶媒体 |
JP2019092033A (ja) * | 2017-11-14 | 2019-06-13 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法、及びプログラム |
JP2019144803A (ja) * | 2018-02-20 | 2019-08-29 | キヤノン株式会社 | 画像処理装置、画像処理方法およびプログラム |
CN113379615A (zh) * | 2021-04-25 | 2021-09-10 | 北京迈格威科技有限公司 | 图像处理方法及装置、存储介质和电子设备 |
US11272124B2 (en) | 2017-10-31 | 2022-03-08 | Morpho, Inc. | Image compositing device, image compositing method, and storage medium |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002190983A (ja) * | 2000-12-20 | 2002-07-05 | Matsushita Electric Ind Co Ltd | 画像合成回路 |
JP2010045510A (ja) * | 2008-08-11 | 2010-02-25 | Panasonic Corp | 画像処理装置及び画像処理方法 |
JP2011171842A (ja) * | 2010-02-16 | 2011-09-01 | Olympus Corp | 画像処理装置及び画像処理プログラム |
JP2011188277A (ja) * | 2010-03-09 | 2011-09-22 | Sony Corp | 画像処理装置、画像処理方法およびプログラム |
-
2013
- 2013-08-27 JP JP2013175399A patent/JP5610245B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002190983A (ja) * | 2000-12-20 | 2002-07-05 | Matsushita Electric Ind Co Ltd | 画像合成回路 |
JP2010045510A (ja) * | 2008-08-11 | 2010-02-25 | Panasonic Corp | 画像処理装置及び画像処理方法 |
JP2011171842A (ja) * | 2010-02-16 | 2011-09-01 | Olympus Corp | 画像処理装置及び画像処理プログラム |
JP2011188277A (ja) * | 2010-03-09 | 2011-09-22 | Sony Corp | 画像処理装置、画像処理方法およびプログラム |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015141487A1 (ja) * | 2014-03-18 | 2015-09-24 | ソニー株式会社 | 画像処理装置、画像処理方法、およびプログラム |
JPWO2015141487A1 (ja) * | 2014-03-18 | 2017-04-06 | ソニー株式会社 | 画像処理装置、画像処理方法、およびプログラム |
US10567671B2 (en) | 2014-03-18 | 2020-02-18 | Sony Corporation | Image processing apparatus and image processing method |
JP2016540440A (ja) * | 2014-06-12 | 2016-12-22 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd | ピクチャー処理方法、装置 |
US10453188B2 (en) | 2014-06-12 | 2019-10-22 | SZ DJI Technology Co., Ltd. | Methods and devices for improving image quality based on synthesized pixel values |
JP2017201455A (ja) * | 2016-05-02 | 2017-11-09 | 株式会社モルフォ | 画像合成装置、画像合成方法、画像合成プログラム及び記憶媒体 |
US11272124B2 (en) | 2017-10-31 | 2022-03-08 | Morpho, Inc. | Image compositing device, image compositing method, and storage medium |
JP2019092033A (ja) * | 2017-11-14 | 2019-06-13 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法、及びプログラム |
JP2019144803A (ja) * | 2018-02-20 | 2019-08-29 | キヤノン株式会社 | 画像処理装置、画像処理方法およびプログラム |
JP7009252B2 (ja) | 2018-02-20 | 2022-01-25 | キヤノン株式会社 | 画像処理装置、画像処理方法およびプログラム |
CN113379615A (zh) * | 2021-04-25 | 2021-09-10 | 北京迈格威科技有限公司 | 图像处理方法及装置、存储介质和电子设备 |
Also Published As
Publication number | Publication date |
---|---|
JP5610245B2 (ja) | 2014-10-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5365823B2 (ja) | 画像合成装置、画像合成方法、画像合成プログラム及び記録媒体 | |
JP5610245B2 (ja) | 画像合成装置、画像合成方法、画像合成プログラム及び記録媒体 | |
CN108668093B (zh) | Hdr图像的生成方法及装置 | |
US9344638B2 (en) | Constant bracket high dynamic range (cHDR) operations | |
JP3880553B2 (ja) | 画像処理方法および装置 | |
JP5896788B2 (ja) | 画像合成装置及び画像合成方法 | |
JP5767485B2 (ja) | 画像処理装置及び制御方法 | |
US20120008005A1 (en) | Image processing apparatus, image processing method, and computer-readable recording medium having image processing program recorded thereon | |
JP6326180B1 (ja) | 画像処理装置 | |
US8903195B2 (en) | Specification of an area where a relationship of pixels between images becomes inappropriate | |
JP7032913B2 (ja) | 画像処理装置、画像処理方法、コンピュータプログラム | |
JP2013219744A (ja) | 画像合成装置及び画像合成用コンピュータプログラム | |
CN114979500B (zh) | 图像处理方法、图像处理装置、电子设备及可读存储介质 | |
JP7133979B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラム、及び、記憶媒体 | |
JP2008072604A (ja) | 画像処理方式、装置、メディア、プログラム | |
JP6257268B2 (ja) | 画像処理装置及び画像処理方法 | |
JP5364887B2 (ja) | 画像合成装置、画像合成方法、画像合成プログラム及び記録媒体 | |
JP5720034B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラム及び記録媒体 | |
JP4544064B2 (ja) | 撮像装置、撮像方法及びプログラム | |
JP2018190201A (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP2014155000A (ja) | 画像処理装置、その制御方法、および制御プログラム | |
JP7214407B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP2021071906A (ja) | 画像処理装置および画像処理方法、並びにプログラム | |
JP2015177529A (ja) | 画像処理装置、画像処理方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140407 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140415 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140616 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140812 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140820 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5610245 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |