JP2019121216A - 画像処理装置、画像処理方法、およびプログラム - Google Patents
画像処理装置、画像処理方法、およびプログラム Download PDFInfo
- Publication number
- JP2019121216A JP2019121216A JP2018001184A JP2018001184A JP2019121216A JP 2019121216 A JP2019121216 A JP 2019121216A JP 2018001184 A JP2018001184 A JP 2018001184A JP 2018001184 A JP2018001184 A JP 2018001184A JP 2019121216 A JP2019121216 A JP 2019121216A
- Authority
- JP
- Japan
- Prior art keywords
- image
- representative
- objects
- image processing
- depth
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
Description
<第1実施形態>
図1は、本実施形態の画像処理装置の一例である画像合成装置の概略的な構成を示す図である。
制御部105は、この画像合成装置の全体制御を行う。また、画像合成装置の以下に述べる各構成要素は、メモリ106を使用して各処理を行う。
画像データ読み込み部100は、図示していない外部メディア等から画像データを取得する。本実施形態で説明する画像データは、画像と当該画像の画素ごとの奥行方向の距離(以下、奥行距離とする)の情報とを有するデータである。奥行距離とその情報(奥行距離情報とする)の詳細については後述する。
表示部104は、画像を表示する。表示部104には、合成部102での合成処理により生成された合成画像も表示される。なお、表示部104は、ユーザ等からの指示を受付可能なタッチパネルの機能を有していても良い。
図2(a)に示す画像200は、画素ごとに奥行距離情報を有した画像である。なお、図2(a)に例示した画像200は、中央部に人物被写体の顔に相当するオブジェクト204が写っている画像であるとする。
図2(a)の画素201は、画像200に含まれる各画素のうちの一つである。この画素201を構成するデータ202は、奥行距離情報Zと色情報RGBとを組み合わせた構成(ZRGB構成)となされている。奥行距離情報Zは、その値が大きいほど、この画像が撮影された際にカメラに近い状態(手前に飛び出ている状態)であったことを示している。色情報RGBは、赤(R)、緑(G)、青(B)の三原色の各色の情報である。奥行距離情報Zと色情報RGBはそれぞれが8ビット情報となされており、1画素あたりでは合計32ビットのデータとなされている。なお、ここでは一例として、1画素の奥行距離情報Zの8ビットをZRGB構成の32ビットの中に入れ込む例を挙げたが、この例には限定されず、奥行距離がわかる形式であればどのような形式であっても良い。
これまで説明してきたように、入力画像は画素ごとに奥行距離情報を持つため、奥行距離情報Zに対する閾値として所定の距離を設定し、奥行距離が閾値以内かどうかによりオブジェクトを背景から分離することができる。
先に説明したように分離された顔のオブジェクト204は、図2(b)の領域206に示すようにz方向(奥行距離)が背景よりも高く(カメラに近く)なっており、3Dワイヤーフレームでは半球形のように表される。
ここで、代表距離値を算出する方法としては複数の方法が考えられ、本実施形態では、以下の第1の算出方法と第2の算出方法の二つの例を挙げる。
第1の算出方法は、オブジェクトを構成する各画素の各奥行距離の値を加算し、その加算結果をオブジェクト内の全画素数で除算することにより、1画素あたりの平均距離値を算出して代表距離値とする方法である。
第2の算出方法は、オブジェクト内の全画素数の中で図2(b)に示す最大の奥行距離の値221を求め、その値を代表距離値とする方法である。
図3は本実施形態の画像合成装置において行われる処理の流れを示すフローチャートである。なお、以下のフローチャートの説明では、処理ステップS300〜処理ステップS306をS300〜S306と略記する。これらのことは後述する他のフローチャートにおいても同様とする。図3のフローチャートの処理は、一例として、本実施形態の画像合成装置の不図示のタッチパネル等の操作部から使用者が開始指示を入力したスタートするとする。なお、外部の装置やネットワーク等を介して開始指示が入力された場合、或いは予め設定された時間等のタイミングで図3のフローチャートの処理が開始されても良い。
S301に進むと、制御部105は、画像データ読み込み部100に対して画像データを取得することを指示する。これにより、画像データ読み込み部100は、不図示の外部メディア等から画像データを読み込むことで取得する。そして、制御部105は、画像データ読み込み部100が取得した画像データをメモリ106に蓄積させる。
さらに、制御部105は、表示部104に対し、ユーザが背景画像の選択を行うためのUI(ユーザインターフェイス)画面を表示させる。このときの制御部105は、メモリ106に蓄積された画像データを読み出してデコード部101によりデコードさせ、撮影画像をサムネイル画像に変換した上で、表示部104の画面上に一覧形式により表示させる。
S302に進むと、制御部105は、表示部104に対し、ユーザが合成対象の画像(以下、合成対象画像とする)の選択を行うためのUI画面を表示させる。
次に、第2実施形態として、オブジェクト同士の重なり判定を行い、合成時に重ならないオブジェクトについては代表距離値計算処理をスキップする例について説明する。なお、第2実施形態の画像合成装置の構成は図1と同様であるため図示と説明は省略する。
合成対象画像に含まれるオブジェクトが重ならない場合の例について、図4を用いながら説明する。
図5のフローチャートにおいて、図3のフローチャートと同じ処理ステップには同一の参照符号を付してそれらの説明を省略し、ここでは異なる処理ステップ(S501、S502、S503)についてのみ説明する。
S503に進むと、制御部105は、S302で確定された全ての合成対象画像からオブジェクト抽出部103が抽出した全てのオブジェクトについて、それぞれ合成時に重なるか否かを判定する。例えば、図4の場合、制御部105は、オブジェクト405,406は重なると判定し、オブジェクト404は他のどのオブジェクトとも重ならないと判定する。このS503の後、制御部105は、S303に進み、全ての合成対象画像の処理が終わったと判定した場合にはS305に処理を進め、一方、未処理の合成対象画像がある場合にはS501に処理を進める。
次に、第3実施形態では、合成時のオブジェクトが特定のオブジェクト、例えば人物の顔のオブジェクトである場合の画像合成方法について説明する。
ここで、第1実施形態では、抽出されて合成されるオブジェクトとして人物オブジェクトを例に挙げたが、第3実施形態では特に人物の顔のオブジェクトが合成対象画像に含まれる場合について説明する。第3実施形態の場合、オブジェクト抽出部103は、人物の顔のオブジェクトが合成対象画像に含まれるか否かを判定する顔判定機能をも有している。第3実施形態の場合、オブジェクト抽出部103は、前述したようにオブジェクトの奥行距離を測ると同時に、顔の有無をも判定する。そして、制御部105は、オブジェクト抽出部103が判定した顔の有無情報と代表距離値とをオブジェクトに関連付けてメモリ106に保存しておき、合成処理の際に使用する。
図6のフローチャートにおいて、図3のフローチャートと同じ処理ステップには同一の参照符号を付して、それらの説明は省略し、ここでは異なる処理ステップ(S601、S602、S603、S604)についてのみ説明する。
S601に進むと、制御部105は、S302で確定された全ての合成対象画像の代表距離値計算処理と顔認識処理が終わったか否かを判定する。そして、制御部105は、代表距離値計算処理と顔認識処理が行われていない未処理の合成対象画像がある場合には、その未処理の合成対象画像に対するS602の代表距離値計算処理と顔認識処理を行わせる。
また、例えば共に顔を含むオブジェクト同士の代表距離値の差分が一定範囲内である場合には、それら顔を含む各オブジェクトでは代表距離値に応じた合成順番に決定される。このように共に顔を含むオブジェクト同士の代表距離値が近い場合には、さらに後述する第4実施形態のように顔の部位等の代表距離値を用いて合成を行うようにしても良い。
図8は画像E,画像F,画像Gの3枚が合成対象画像となっている例を挙げる。画像Eのオブジェクトは代表距離値が1.0mで、かつ顔認識の結果、顔のオブジェクトは存在しないと判定されたものであるとする。画像Fと画像Gはそれぞれオブジェクトの代表距離値が同じ0.8mであるが、画像Fには顔のオブジェクトが存在すると判定されたのに対し、画像Gには顔のオブジェクトが存在しないと判定されたものであるとする。
代表距離値がカメラから遠い画像Eのオブジェクトは、背景画像に最初に合成される合成順番として決定される。画像Fと画像Gのオブジェクトは代表距離値が同じであるため、顔の有無が判断される。画像Fには顔のオブジェクトが含まれ、画像Gは顔のオブジェクトが含まれないため、画像Gのオブジェクトの合成順番が先に決定され、画像Fのオブジェクトの合成順番は画像Gのオブジェクトの後に決定される。このようにすることで、画像Eのオブジェクトが最も奥側に配置され、次に、画像Gのオブジェクトが配置され、画像Fの顔のオブジェクトが最前面に配置された合成画像が得られることになる。
第4実施形態では、第1実施形態で述べた代表距離値を算出する際の異なる算出方法について説明する。
第4実施形態における代表距離値の算出方法では、オブジェクトの重なりを比較する対象となる二つ以上のオブジェクトについてそれぞれ同じ部位の奥行距離情報を算出し、それを代表距離値とする。
第5実施形態では、第1実施形態で説明したオブジェクトの奥行距離情報を編集して、他のオブジェクトと合成する方法について説明する。
この第5実施形態における合成方法について図10を用いて説明する。
図10において、画像1000は人物(A)、画像1010は人物(B)が写った合成対象画像であり、それぞれにオブジェクト1001、1011が写っている。また、マップ1002は、画像1000の奥行距離情報Zのマップである。同様のマップ1012は、画像1010の奥行距離情報Zのマップである。マップ1002には、オブジェクト1001に対応したメッシュ部分1003が含まれ、マップ1012にはオブジェクト1011に対応したメッシュ部分1013が含まれている。
=Z(a,b)+X //Z(a,b)!==0
Claims (13)
- 複数の画像からオブジェクトを抽出する抽出手段と、
前記画像に含まれる奥行距離の情報を基に、前記複数の画像から抽出されたオブジェクトごとに奥行距離を代表する代表距離値を決定する決定手段と、
前記抽出されたオブジェクトごとの前記代表距離値に基づいて、前記オブジェクトを合成して合成画像を生成する合成手段と
を有することを特徴とする画像処理装置。 - 前記決定手段は、前記オブジェクトが合成される際にオブジェクト同士が重なる場合、前記重なるオブジェクトについてのみ前記代表距離値を決定することを特徴とする請求項1に記載の画像処理装置。
- 前記決定手段は、前記オブジェクト同士が重ならないオブジェクトについては代表距離値として初期値を決定することを特徴とする請求項2に記載の画像処理装置。
- 前記決定手段は、前記抽出されたオブジェクトのなかに特定のオブジェクトを含むオブジェクトがあり、前記特定のオブジェクトを含むオブジェクトと前記特定のオブジェクトを含まないオブジェクトとの前記代表距離値の差が一定範囲内である場合には、前記特定のオブジェクトを含むオブジェクトが、前記特定のオブジェクトを含まないオブジェクトよりも前記合成の際に手前になるように前記代表距離値を変更することを特徴とする請求項1から3のいずれか1項に記載の画像処理装置。
- 前記決定手段は、前記抽出されオブジェクトごとに、当該オブジェクトに含まれる全画素の奥行距離を表す値の平均を前記代表距離値に決定することを特徴とする請求項1から4のいずれか1項に記載の画像処理装置。
- 前記決定手段は、前記抽出されたオブジェクトごとに、当該オブジェクトに含まれる全画素のなかで最大の奥行距離を表す値を前記代表距離値に決定することを特徴とする請求項1から4のいずれか1項に記載の画像処理装置。
- 前記抽出手段は、前記抽出したオブジェクトのなかの特定の部位に含まれる全画素の奥行距離の情報を基に前記代表距離値を決定することを特徴とする請求項1から4のいずれか1項に記載の画像処理装置。
- 前記抽出手段は、前記特定の部位に含まれる全画素の奥行距離を表す値の平均を前記代表距離値に決定することを特徴とする請求項7に記載の画像処理装置。
- 前記決定手段は、前記抽出されたオブジェクトの奥行距離を表す値を変更する変更手段を有することを特徴とする請求項1から8のいずれか1項に記載の画像処理装置。
- 前記変更手段は、ユーザから指示されたオブジェクトの前記奥行距離の値を変更することを特徴とする請求項9に記載の画像処理装置。
- 前記変更手段は、前記オブジェクトの奥行距離の値に対して一律に距離値を加算して前記奥行距離を変更することを特徴とする請求項9または10に記載の画像処理装置。
- 画像処理装置が実行する画像処理方法であって、
複数の画像からオブジェクトを抽出する抽出工程と、
前記画像に含まれる奥行距離の情報を基に、前記複数の画像から抽出されたオブジェクトごとに奥行距離を代表する代表距離値を決定する決定工程と、
前記抽出されたオブジェクトごとの前記代表距離値に基づいて、前記オブジェクトを合成して合成画像を生成する合成工程と
を有することを特徴とする画像処理方法。 - コンピュータを、請求項1から11のいずれか1項に記載の画像処理装置の各手段として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018001184A JP7191514B2 (ja) | 2018-01-09 | 2018-01-09 | 画像処理装置、画像処理方法、およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018001184A JP7191514B2 (ja) | 2018-01-09 | 2018-01-09 | 画像処理装置、画像処理方法、およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019121216A true JP2019121216A (ja) | 2019-07-22 |
JP7191514B2 JP7191514B2 (ja) | 2022-12-19 |
Family
ID=67306424
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018001184A Active JP7191514B2 (ja) | 2018-01-09 | 2018-01-09 | 画像処理装置、画像処理方法、およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7191514B2 (ja) |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003219271A (ja) * | 2002-01-24 | 2003-07-31 | Nippon Hoso Kyokai <Nhk> | 多地点仮想スタジオ合成システム |
WO2004019621A1 (ja) * | 2002-08-20 | 2004-03-04 | Kazunari Era | 立体視用画像を作成する方法および装置 |
JP2008217593A (ja) * | 2007-03-06 | 2008-09-18 | Nippon Hoso Kyokai <Nhk> | 被写体領域抽出装置及び被写体領域抽出プログラム |
JP2010224607A (ja) * | 2009-03-19 | 2010-10-07 | Casio Computer Co Ltd | 画像合成装置及びプログラム |
JP2012105019A (ja) * | 2010-11-09 | 2012-05-31 | Toshiba Corp | 画像処理装置、方法およびそのプログラム |
JP2013118468A (ja) * | 2011-12-02 | 2013-06-13 | Sony Corp | 画像処理装置および画像処理方法 |
JP2013157671A (ja) * | 2012-01-26 | 2013-08-15 | Sony Corp | 画像処理装置、画像処理方法、プログラム、端末装置及び画像処理システム |
JP5270052B1 (ja) * | 2012-07-20 | 2013-08-21 | 楽天株式会社 | 動画処理装置、動画処理方法、ならびに、情報記録媒体 |
US20160180514A1 (en) * | 2014-12-17 | 2016-06-23 | Lite-On Electronics (Guangzhou) Limited | Image processing method and electronic device thereof |
-
2018
- 2018-01-09 JP JP2018001184A patent/JP7191514B2/ja active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003219271A (ja) * | 2002-01-24 | 2003-07-31 | Nippon Hoso Kyokai <Nhk> | 多地点仮想スタジオ合成システム |
WO2004019621A1 (ja) * | 2002-08-20 | 2004-03-04 | Kazunari Era | 立体視用画像を作成する方法および装置 |
JP2008217593A (ja) * | 2007-03-06 | 2008-09-18 | Nippon Hoso Kyokai <Nhk> | 被写体領域抽出装置及び被写体領域抽出プログラム |
JP2010224607A (ja) * | 2009-03-19 | 2010-10-07 | Casio Computer Co Ltd | 画像合成装置及びプログラム |
JP2012105019A (ja) * | 2010-11-09 | 2012-05-31 | Toshiba Corp | 画像処理装置、方法およびそのプログラム |
JP2013118468A (ja) * | 2011-12-02 | 2013-06-13 | Sony Corp | 画像処理装置および画像処理方法 |
JP2013157671A (ja) * | 2012-01-26 | 2013-08-15 | Sony Corp | 画像処理装置、画像処理方法、プログラム、端末装置及び画像処理システム |
JP5270052B1 (ja) * | 2012-07-20 | 2013-08-21 | 楽天株式会社 | 動画処理装置、動画処理方法、ならびに、情報記録媒体 |
US20160180514A1 (en) * | 2014-12-17 | 2016-06-23 | Lite-On Electronics (Guangzhou) Limited | Image processing method and electronic device thereof |
Also Published As
Publication number | Publication date |
---|---|
JP7191514B2 (ja) | 2022-12-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4970302B2 (ja) | 画像処理装置,画像処理方法及び撮像装置 | |
JP5949331B2 (ja) | 画像生成装置、画像生成方法及びプログラム | |
CN105744180A (zh) | 图像生成装置、电子设备及图像生成方法 | |
JP6079297B2 (ja) | 編集装置、編集方法、及び編集プログラム | |
JP2002171398A (ja) | 画像処理方法及び電子カメラ | |
JP6029021B2 (ja) | 画像処理装置、撮像装置および画像処理方法 | |
US20150348302A1 (en) | Imaging device, image processing method, and recording medium | |
CN109639959B (zh) | 图像处理装置、图像处理方法以及记录介质 | |
KR20150119621A (ko) | 디스플레이 장치 및 그의 이미지 합성 방법 | |
US20130266222A1 (en) | Image synthesis apparatus, image synthesis method and image synthesis program | |
JP6614644B2 (ja) | 写真撮影遊戯装置、写真シール作成装置、写真撮影遊戯装置の制御方法、及び写真撮影遊戯装置の制御プログラム | |
JP2013226286A (ja) | ヘアスタイル合成方法、ヘアスタイル合成装置およびヘアスタイル合成プログラム | |
JP2010092094A (ja) | 画像処理装置、画像処理プログラム及びデジタルカメラ | |
JP7292905B2 (ja) | 画像処理装置及び画像処理方法、及び撮像装置 | |
JP2010097449A (ja) | 画像合成装置、及び画像合成方法、画像合成プログラム | |
JP7191514B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JP6332864B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP5857606B2 (ja) | 奥行き製作支援装置、奥行き製作支援方法、およびプログラム | |
JP6717486B1 (ja) | 拡張仮想空間提供システム | |
JP2016129281A (ja) | 画像処理装置 | |
JP5493839B2 (ja) | 撮像装置、画像合成方法及びプログラム | |
JP5055462B2 (ja) | 画像処理装置,画像処理方法及び撮像装置 | |
JP2017054541A (ja) | 画像処理装置、画像処理方法及びプログラム | |
US10116877B2 (en) | Image processing apparatus and image processing method | |
JP6668646B2 (ja) | 画像処理装置、画像処理方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201207 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211122 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211207 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220125 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220607 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220720 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221108 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221207 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7191514 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |