JP2007172271A - 画像処理システム、画像処理装置、画像処理方法、および画像処理プログラム - Google Patents

画像処理システム、画像処理装置、画像処理方法、および画像処理プログラム Download PDF

Info

Publication number
JP2007172271A
JP2007172271A JP2005368792A JP2005368792A JP2007172271A JP 2007172271 A JP2007172271 A JP 2007172271A JP 2005368792 A JP2005368792 A JP 2005368792A JP 2005368792 A JP2005368792 A JP 2005368792A JP 2007172271 A JP2007172271 A JP 2007172271A
Authority
JP
Japan
Prior art keywords
image
unit
distance
captured
template
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2005368792A
Other languages
English (en)
Inventor
Shuji Ono
修司 小野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2005368792A priority Critical patent/JP2007172271A/ja
Publication of JP2007172271A publication Critical patent/JP2007172271A/ja
Pending legal-status Critical Current

Links

Images

Abstract

【課題】合成画像を観賞した際に、違和感を感じさせない合成画像を作成する。
【解決手段】本発明に係る画像処理システムは、撮像部と、合焦距離制御部と、撮像画像を取得する撮像画像取得部と、測定画像を取得する測定画像取得部と、撮像部から撮像範囲内の複数の位置までの距離をそれぞれ特定する距離特定部と、複数の位置ごとの距離を、撮像画像および撮像画像内の位置に対応づけて格納する画像格納部と、オブジェクトのテンプレート画像を合成すべき画像配置位置を取得する合成位置取得部と、画像配置位置に対応する実際の位置と撮像部との実際の距離を、画像格納部が格納している距離から抽出する距離抽出部と、抽出した距離に応じて、テンプレート画像の大きさを調整してオブジェクト画像を作成するオブジェクト画像作成部と、作成したオブジェクト画像を画像配置位置に合成する合成画像作成部とを備える。
【選択図】図1

Description

本発明は、画像処理システム、画像処理装置、画像処理方法、および画像処理プログラムに関する。特に、本発明は、オブジェクトのテンプレート画像を背景となる画像に合成する画像処理システム、画像処理装置、画像処理方法、および画像処理プログラムに関する。
撮像画像に含まれる複数の被写体の前後関係を保ちながら、画像を合成する画像入力装置および画像合成方法について提案されている(例えば、特許文献1参照)。特許文献1に係る発明においては、撮像画像から被写体の画素領域を抽出して、撮像画像中の複数の被写体ごとに、撮像部から被写体までの距離を計測および算出する。そして、算出した撮像部から被写体までの距離を被写体の画素データに奥行きデータとして付帯させることにより、複数の被写体を含む画像を合成する場合において、複数の被写体の前後関係を保った画像を出力する。
特許3193930号公報
しかしながら、複数の被写体の奥行きデータに基づいて被写体を背景に配置する特許文献1に記載の発明においては、複数の被写体の奥行きデータは固定されているので、複数の被写体を合成した画像においては、複数の被写体の位置関係は固定されている。したがって、複数の被写体を合成して画像を生成させる場合の合成画像のバリエーションは狭いものとなる場合があり、ユーザが所望する合成画像を作成することができない場合がある。また、例えば、ユーザが被写体を背景中の所望の位置に配置した画像の合成を所望した場合には、被写体を配置する場所によっては、被写体が背景の地面から浮いているように見えたり、被写体が背景の地面等にめり込んでいるように見える画像が合成され得る。係る合成画像は、当該合成画像を観賞したユーザに、著しい違和感を感じさせる。
そこで本発明は、上記課題を解決することができる画像処理システム、画像処理装置、画像処理方法、および画像処理プログラムを提供することを目的とする。この目的は特許請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明の更なる有利な具体例を規定する。
上記課題を解決するために、本発明の第1の形態においては、画像処理システムであって、撮像部と、撮像部の撮像範囲を変化させない状態で、撮像部の合焦距離を変化させる合焦距離制御部と、合焦距離制御部が撮像部を一の合焦距離に制御した場合に、撮像部が撮像した撮像画像を取得する撮像画像取得部と、合焦距離制御部が撮像部を他の合焦距離に制御した場合に、撮像部が撮像した測定画像を少なくとも一つ取得する測定画像取得部と、撮像画像取得部または測定画像取得部が合焦距離ごとに取得した撮像画像または測定画像をそれぞれ解析して、撮像画像または測定画像がそれぞれ撮像された合焦距離から、撮像部から撮像範囲内の複数の位置までの距離をそれぞれ特定する距離特定部と、距離特定部が特定した複数の位置ごとの距離を、撮像画像取得部が取得した撮像画像および撮像画像内の位置に対応づけて格納する画像格納部と、画像格納部が格納している撮像画像内の位置である、オブジェクトのテンプレート画像を合成すべき画像配置位置を取得する合成位置取得部と、合成位置取得部が取得した画像配置位置に対応する実際の位置と撮像部との実際の距離を、画像格納部が格納している距離から抽出する距離抽出部と、距離抽出部が抽出した距離に応じて、テンプレート画像の大きさを調整してオブジェクト画像を作成するオブジェクト画像作成部と、オブジェクト画像作成部が作成したオブジェクト画像を、撮像画像の合成位置取得部が取得した画像配置位置に合成して合成画像を作成する合成画像作成部とを備える。
また、撮像画像取得部が撮像画像を取得した場合、および測定画像取得部が測定画像を取得した場合の、撮像部の画角をそれぞれ取得する画角取得部を更に備え、オブジェクト画像作成部は、距離抽出部が抽出した距離および画角取得部が取得した画角に応じて、テンプレート画像の大きさを調整してオブジェクト画像を作成してもよい。そして、オブジェクトの実サイズを示す情報に対応づけてオブジェクトのテンプレート画像を格納しているテンプレート画像格納部を更に備え、オブジェクト画像作成部は、距離抽出部が抽出した距離に対応する実際の位置にオブジェクトが存在するとした場合に、テンプレート画像格納部が格納しているオブジェクトの実サイズを示す情報および画角取得部が取得した画角から、撮像画像における当該オブジェクトの大きさを算出するオブジェクトサイズ算出部を有し、オブジェクトサイズ算出部が算出した当該オブジェクトの大きさにテンプレート画像の大きさを調整してオブジェクト画像を作成してもよい。
更に、距離特定部は、撮像画像または測定画像のそれぞれの空間周波数分布を算出する空間周波数分布算出部と、撮像画像または測定画像が撮像されたときに合焦距離制御部が設定していた合焦距離と、空間周波数分布算出部が算出した空間周波数分布中での空間周波数のレベルが最大を示す位置とをそれぞれ対応づけて画像格納部に格納させる距離対応付部とを有していてもよく、空間周波数分布算出部は、撮像画像または測定画像の辺と略平行な方向に沿って空間周波数分布をそれぞれ算出し、距離対応付部は、撮像画像または測定画像が撮像されたときに合焦距離制御部が設定していた合焦距離を、空間周波数分布算出部が撮像画像または測定画像の辺と略平行な方向に沿って算出した空間周波数分布中での空間周波数のレベルが最大を示す位置までの距離として、撮像画像または測定画像中のそれぞれの位置に対応づけて画像格納部に格納させてもよい。
そして、オブジェクトが接する面の方向を示す情報に対応づけてオブジェクトのテンプレート画像を格納しているテンプレート画像格納部と、撮像部の撮像方向と水平面とがなす角度を示す情報を取得する角度情報取得部と、角度情報取得部が取得した角度を示す情報から求められる、撮像画像の水平面の方向と一致する方向を示す情報に対応づけてテンプレート画像格納部が格納しているテンプレート画像を抽出するテンプレート画像抽出部とを更に備え、合成画像作成部は、テンプレート画像抽出部が抽出したテンプレート画像を撮像画像に合成して合成画像を作成してもよい。また、テンプレート画像格納部は、人物のオブジェクトの鉛直方向を示す情報に対応づけて人物のオブジェクトのテンプレート画像を更に格納し、テンプレート画像抽出部は、角度情報取得部が取得した角度を示す情報から求められる、撮像画像の鉛直方向と一致する鉛直方向を示す情報に対応づけてテンプレート画像格納部が格納しているテンプレート画像を抽出してもよい。
また、撮像画像から予め定められたオブジェクトを抽出するオブジェクト抽出部と、複数の方向を示す情報にそれぞれ対応づけて、当該方向の面にそれぞれ接する特定のオブジェクトのテンプレート画像をそれぞれ格納しているマッチング画像格納部と、マッチング画像格納部が格納しているオブジェクトのテンプレート画像と撮像画像に含まれるオブジェクトとを比較して、撮像画像に含まれるオブジェクトが接する面の方向を示す情報を取得する面方向取得部と、オブジェクトが接する面の方向を示す情報に対応づけてオブジェクトのテンプレート画像を格納しているテンプレート画像格納部と、面方向取得部が取得したオブジェクトが接する面の方向を示す情報と一致する方向を示す情報に対応づけてテンプレート画像格納部が格納しているテンプレート画像を抽出するテンプレート画像抽出部とを更に備え、合成画像作成部は、テンプレート画像抽出部が抽出したテンプレート画像を撮像画像に合成して合成画像を作成してもよい。
また、本発明の第2の形態においては、画像処理方法であって、撮像部の撮像範囲を変化させない状態で、撮像部の合焦距離を変化させる合焦距離制御段階と、合焦距離制御段階が撮像部を一の合焦距離に制御した場合に、撮像部が撮像した撮像画像を取得する撮像画像取得段階と、合焦距離制御段階が撮像部を他の合焦距離に制御した場合に、撮像部が撮像した測定画像を少なくとも一つ取得する測定画像取得段階と、撮像画像取得段階または測定画像取得段階が合焦距離ごとに取得した撮像画像または測定画像をそれぞれ解析して、撮像画像または測定画像がそれぞれ撮像された合焦距離から、撮像部から撮像範囲内の複数の位置までの距離をそれぞれ特定する距離特定段階と、距離特定段階が特定した複数の位置ごとの距離を、撮像画像取得段階が取得した撮像画像および撮像画像内の位置に対応づけて画像格納部に格納する画像格納段階と、画像格納部が格納している撮像画像内の位置である、オブジェクトのテンプレート画像を合成すべき画像配置位置を取得する合成位置取得段階と、合成位置取得段階が取得した画像配置位置に対応する実際の位置と撮像部との実際の距離を、画像格納部が格納している距離から抽出する距離抽出段階と、距離抽出段階が抽出した距離に応じて、テンプレート画像の大きさを調整してオブジェクト画像を作成するオブジェクト画像作成段階と、オブジェクト画像作成段階が作成したオブジェクト画像を、撮像画像の合成位置取得段階が取得した画像配置位置に合成して合成画像を作成する合成画像作成段階を備える。
また、本発明の第3の形態においては、撮像画像を処理する画像処理システム用の画像処理プログラムであって、画像処理システムを、撮像部と、撮像部の撮像範囲を変化させない状態で、撮像部の合焦距離を変化させる合焦距離制御部と、合焦距離制御部が撮像部を一の合焦距離に制御した場合に、撮像部が撮像した撮像画像を取得する撮像画像取得部と、合焦距離制御部が撮像部を他の合焦距離に制御した場合に、撮像部が撮像した測定画像を少なくとも一つ取得する測定画像取得部と、撮像画像取得部または測定画像取得部が合焦距離ごとに取得した撮像画像または測定画像をそれぞれ解析して、撮像画像または測定画像がそれぞれ撮像された合焦距離から、撮像部から撮像範囲内の複数の位置までの距離をそれぞれ特定する距離特定部と、距離特定部が特定した複数の位置ごとの距離を、撮像画像取得部が取得した撮像画像および撮像画像内の位置に対応づけて格納する画像格納部と、画像格納部が格納している撮像画像内の位置である、オブジェクトのテンプレート画像を合成すべき画像配置位置を取得する合成位置取得部と、合成位置取得部が取得した画像配置位置に対応する実際の位置と撮像部との実際の距離を、画像格納部が格納している距離から抽出する距離抽出部と、距離抽出部が抽出した距離に応じて、テンプレート画像の大きさを調整してオブジェクト画像を作成するオブジェクト画像作成部と、オブジェクト画像作成部が作成したオブジェクト画像を、撮像画像の合成位置取得部が取得した画像配置位置に合成して合成画像を作成する合成画像作成部として機能させる。
また、本発明の第4の形態においては、撮像装置が撮像した撮像画像を処理する画像処理装置であって、撮像画像内の位置である、オブジェクトのテンプレート画像を合成すべき画像配置位置を取得する合成位置取得部と、撮像装置が合焦距離ごとに取得した撮像画像または測定画像をそれぞれ解析して、撮像画像または測定画像がそれぞれ撮像された合焦距離から、撮像装置から撮像範囲内の複数の位置までの距離をそれぞれ特定する距離特定部と、合成位置取得部が取得した画像配置位置に対応する実際の位置と撮像装置との実際の距離を、距離特定部が特定した距離から抽出する距離抽出部と、距離抽出部が抽出した距離に応じて、テンプレート画像の大きさを調整してオブジェクト画像を作成するオブジェクト画像作成部と、オブジェクト画像作成部が作成したオブジェクト画像を、合成位置取得部が取得した画像配置位置に合成して合成画像を作成する合成画像作成部とを備える。
また、本発明の第5の形態においては、撮像装置が撮像した撮像画像を処理する画像処理方法であって、撮像画像内の位置である、オブジェクトのテンプレート画像を合成すべき画像配置位置を取得する合成位置取得段階と、撮像装置が合焦距離ごとに取得した撮像画像または測定画像をそれぞれ解析して、撮像画像または測定画像がそれぞれ撮像された合焦距離から、撮像装置から撮像範囲内の複数の位置までの距離をそれぞれ特定する距離特定段階と、合成位置取得段階が取得した画像配置位置に対応する実際の位置と撮像装置との実際の距離を、距離特定段階が特定した距離から抽出する距離抽出段階と、距離抽出段階が抽出した距離に応じて、テンプレート画像の大きさを調整してオブジェクト画像を作成するオブジェクト画像作成段階と、オブジェクト画像作成段階が作成したオブジェクト画像を、合成位置取得段階が取得した画像配置位置に合成して合成画像を作成する合成画像作成段階を備える。
また、本発明の第6の形態においては、撮像装置が撮像した撮像画像を処理する画像処理装置用のプログラムであって、画像処理装置を、撮像画像内の位置である、オブジェクトのテンプレート画像を合成すべき画像配置位置を取得する合成位置取得部と、撮像装置が合焦距離ごとに取得した撮像画像または測定画像をそれぞれ解析して、撮像画像または測定画像がそれぞれ撮像された合焦距離から、撮像装置から撮像範囲内の複数の位置までの距離をそれぞれ特定する距離特定部と、合成位置取得部が取得した画像配置位置に対応する実際の位置と撮像装置との実際の距離を、距離特定部が特定した距離から抽出する距離抽出部と、距離抽出部が抽出した距離に応じて、テンプレート画像の大きさを調整してオブジェクト画像を作成するオブジェクト画像作成部と、オブジェクト画像作成部が作成したオブジェクト画像を、合成位置取得部が取得した画像配置位置に合成して合成画像を作成する合成画像作成部として機能させる。
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションもまた、発明となりうる。
本発明によれば、撮像部から背景となる撮像画像内における複数の位置までの距離を、撮像画像内の位置に対応づける。そして、ユーザがオブジェクトのテンプレート画像の配置を所望する撮像画像内の位置を選択すると、選択された位置の撮像部からの実際の距離と当該撮像画像が撮像されたときにおける撮像部の画角の情報から、当該位置にオブジェクトが存在した場合のオブジェクトの大きさが算出される。そして、算出された大きさにオブジェクトのテンプレート画像の大きさを調整して撮像画像に合成するので、ユーザが合成画像を鑑賞した場合に、合成画像内のオブジェクトが浮いて見える等の違和感を感じさせない合成画像を作成することができる。
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではなく、また実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
図1は、本実施形態に係る画像処理システム10の機能構成の一例を示す。画像処理システム10は、撮像部100、合焦距離制御部102、画像格納部104、画像選択部106、画像取得部110、距離特定部120、合成位置取得部130、距離抽出部140、オブジェクト画像作成部150、合成画像作成部160、画像出力部165、テンプレート画像格納部170、テンプレート画像抽出部172、面方向特定ユニット180、画角取得部190、および角度情報取得部192を備える。また、画像取得部110は、撮像画像取得部112および測定画像取得部114を有する。また、距離特定部120は、空間周波数分布算出部122および距離対応付部124を有する。そして、オブジェクト画像作成部150は、オブジェクトサイズ算出部152を有する。更に、面方向特定ユニット180は、オブジェクト抽出部182、マッチング画像格納部184、および面方向取得部186を有する。
本実施形態に係る画像処理システム10は、撮像部100から背景となる撮像画像内の複数の位置までの距離を、撮像画像内の位置に対応づける。そして、ユーザがオブジェクトのテンプレート画像の配置を所望する撮像画像内の位置を選択すると、選択された位置の撮像部100からの実際の距離と当該撮像画像が撮像されたときの撮像部100の画角の情報から、当該位置にオブジェクトが存在した場合におけるオブジェクトの大きさが算出される。そして、算出された大きさにオブジェクトのテンプレート画像の大きさを調整して撮像画像に合成することにより、ユーザが合成画像を鑑賞した場合に、合成画像内のオブジェクトが浮いて見える等の違和感を感じさせない合成画像を作成することを目的とする。
撮像部100は、画像を撮像する。撮像部100は、レンズおよび受光デバイスを有する。更に、受光デバイスは複数の受光素子を含んでいてよい。撮像部100は、撮像部100に入射する光を、レンズを通して受光デバイスに入射させる。そして、受光デバイスは、複数の受光素子において光を受光して、撮像領域の撮像画像を取得する。なお、撮像部100が有する受光デバイスは、複数のCCDセンサを含んだデバイスであってよい。また、撮像部100が有する受光デバイスは、複数のCMOSセンサを含んでいてもよく、撮像部100は、複数のCMOSセンサによって撮像領域の撮像画像を取得してもよい。受光デバイスは、取得された撮像画像を画像取得部110に供給する。
また、撮像部100は、撮像部100の撮像方向と水平面とがなす角度を計測する角度計測部を有していてもよい。角度計測部は、例えば、ジャイロセンサであってよい。撮像部100は、画像を撮像したときの、撮像部100の撮像方向と水平面とがなす角度を示す情報を、角度情報取得部192に供給する。また、撮像部100は、画像を撮像したときの画角の情報を、画角取得部190に供給する。合焦距離制御部102は、撮像部100の撮像範囲を変化させずに、撮像部100の合焦距離を変化させる。ここで、撮像範囲とは、ユーザが撮像を所望する構図の撮像画像を撮像部100が撮像するときに、ユーザが設定する撮像領域であってよい。合焦距離制御部102は、ユーザが設定した撮像領域と同一の撮像範囲において、撮像部100の合焦距離を変化させる。なお、合焦距離制御部102は、オートフォーカス機能を有していてよい。
画像取得部110は、撮像部100が撮像した画像を取得する。そして、画像取得部110は、合焦距離制御部102が撮像部100を一の合焦距離に制御した場合に、撮像部100が撮像した撮像画像を取得する撮像画像取得部112を有する。撮像画像取得部112は、ユーザが所望する撮像画像を撮像することを目的として、ユーザが決定した合焦距離において撮像部100が撮像した撮像画像を取得してよい。そして、撮像画像取得部112は、撮像画像を、当該撮像画像が撮像されたときに合焦距離制御部102が設定していた合焦距離を撮像画像に対応づけて、撮像画像を取得する。また、撮像画像取得部112は、合焦距離制御部102が自動的に設定した合焦距離において撮像部100が撮像した撮像画像を取得してもよい。
更に、画像取得部110は、合焦距離制御部102が撮像部100を撮像画像取得部112が撮像画像を取得したときの当該一の合焦距離とは異なる他の合焦距離に制御した場合に撮像部100が撮像した測定画像を、少なくとも一つ取得する測定画像取得部114を有する。測定画像取得部114は、撮像画像取得部112が撮像画像を取得したときの撮像範囲と同一の撮像範囲において、当該撮像画像が撮像されたときの合焦距離とは異なる複数の合焦距離において撮像された複数の測定画像を取得する。そして、測定画像取得部114は、測定画像を、当該測定画像が撮像されたときに合焦距離制御部102が設定していた合焦距離を測定画像に対応づけて取得する。また、撮像画像取得部112および測定画像取得部114は、撮像部100の画角を一定に保った状態で撮像部100が撮像した、撮像画像および測定画像を取得してもよい。
画像取得部110は、撮像画像取得部112および測定画像取得部114において、一回のユーザの撮像動作で、撮像画像および測定画像の双方を取得する。撮像画像取得部112および測定画像取得部114は、取得した撮像画像および測定画像を画像格納部104に供給する。また、撮像画像取得部112および測定画像取得部114は、合焦距離ごとに取得した撮像画像および測定画像を、それぞれの合焦距離と共にそれぞれ距離特定部120に供給する。なお、撮像画像取得部112および測定画像取得部114は、撮像画像および測定画像に撮像画像情報を付帯してよい。そして、撮像画像取得部112および測定画像取得部114は、撮像画像情報を付帯した撮像画像および測定画像を、画像格納部104に供給してよい。撮像画像情報は、撮像画像が撮像されたときの合焦距離、画角、焦点距離、撮像部100の撮像方向と水平面とがなす角度を示す情報の他に、撮像日時、撮像場所、明度、彩度、撮像モード、光源方向および光源の種類等の光源情報、および撮像部100を備える撮像装置の特性(レンズ種、焦点距離および画角等)等の情報であってよい。
画角取得部190は、撮像画像取得部112が撮像画像を取得した場合の撮像部100の画角を撮像部100から取得する。画角取得部190は、取得した画角をオブジェクト画像作成部150に供給する。角度情報取得部192は、撮像部100の撮像方向と水平面とがなす角度を示す情報を撮像部100から受け取る。角度情報取得部192は、角度を示す情報をテンプレート画像抽出部172に供給する。
距離特定部120は、撮像画像取得部112または測定画像取得部114が合焦距離ごとに取得した撮像画像または測定画像をそれぞれ解析する。そして、撮像画像または測定画像がそれぞれ撮像された合焦距離から、撮像部100から撮像範囲内の複数の位置までの距離をそれぞれ特定する。距離特定部120は、空間周波数分布算出部122および距離対応付部124を有していてよい。空間周波数分布算出部122は、撮像画像または測定画像をそれぞれ解析して、それぞれの空間周波数分布を算出する。空間周波数分布算出部122は、算出した空間周波数の分布の情報を、距離対応付部124に供給する。また、空間周波数分布算出部122は、撮像画像または測定画像の辺と略平行な方向に沿って空間周波数分布をそれぞれ算出してよい。
例えば、空間周波数分布算出部122は、撮像画像および測定画像の、長手方向または短手方向に沿って、空間周波数分布をそれぞれ算出してよい。なお、撮像画像または測定画像の形状は四角形に限られず、略多角形(略三角形、略五角形、略六角形、および略八角形等)であってもよい。また、空間周波数分布算出部122は、撮像画像および測定画像を複数の部分領域に分割して、撮像画像および測定画像の複数の部分領域ごとに、当該複数の部分領域のそれぞれの辺と略平行な方向に沿って、当該複数の部分領域のそれぞれについて複数の空間周波数分布を算出してよい。そして、空間周波数分布算出部122は、撮像画像および測定画像に、撮像画像および測定画像の複数の部分領域のそれぞれについて算出した複数の空間周波数分布をそれぞれ対応づけて距離対応付部124に供給してもよい。
距離対応付部124は、撮像画像または測定画像が撮像されたときに合焦距離制御部102が設定していた合焦距離と、空間周波数分布算出部122が算出した空間周波数分布中での空間周波数のレベルが最大を示す位置とをそれぞれ対応付ける。また、距離対応付部124は、撮像画像または測定画像が撮像されたときに合焦距離制御部102が設定していた合焦距離を、空間周波数分布算出部122が撮像画像または測定画像の辺と略平行な方向に沿って算出した空間周波数分布中での空間周波数のレベルが最大を示す位置までの距離として、撮像画像または測定画像中のそれぞれの位置に対応づけてよい。また、距離対応付部124が空間周波数分布算出部122から、撮像画像または測定画像の複数の部分領域ごとに算出した複数の空間周波数分布を受け取った場合には、撮像画像または測定画像ごとに、複数の部分領域ごとに算出した複数の空間周波数のレベルを加算してよい。そして、距離対応付部124は、加算した空間周波数のレベルが最大を示す位置を、当該撮像画像または当該測定画像が撮像されたときに合焦距離制御部102が設定していた合焦距離に対応づけてよい。距離対応付部124は、撮像画像中の複数の位置に合焦距離を対応づけた撮像画像を、画像格納部104に供給する。
画像格納部104は、距離特定部120から受け取った、距離特定部120が特定した複数の位置ごとの距離を、撮像画像取得部112が取得した撮像画像および撮像画像内の位置に対応づけて格納する。また、画像格納部104は、撮像画像が撮像されたときに、同一の撮像範囲で撮像された少なくとも一つの測定画像を、撮像画像に対応づけて格納してよい。更に、画像格納部104は、撮像画像に対応づけて、当該撮像画像が撮像されたときの撮像画像情報を格納してもよい。なお、画像格納部104は、撮像画像および測定画像のそれぞれを一意に識別できる識別子に対応づけて格納してよい。画像格納部104は、画像選択部106の制御に基づいて、撮像画像または測定画像を画像選択部106に供給する。また、画像格納部104は、オブジェクト画像作成部150の制御に基づいて、撮像画像情報をオブジェクト画像作成部150に供給してもよい。更に、画像格納部104は、距離抽出部140の制御に基づいて、撮像画像内の位置に対応づけて格納している複数の位置ごとの距離を距離抽出部140に供給する。
画像選択部106は、画像格納部104が格納している撮像画像の中から、ユーザが所望する撮像画像を選択する。画像選択部106は、ユーザからの指示を受け取って画像格納部104から撮像画像を選択してよい。例えば、画像処理システム10は、画像格納部104が格納している撮像画像を表示する表示部を備えていてよい。そして、画像選択部106は、表示部に表示された少なくとも一つの撮像画像から、ユーザに所望の撮像画像を選択させてよい。画像選択部106は、選択された撮像画像を、合成画像作成部160および面方向特定ユニット180に供給する。また、画像選択部106は、合成位置取得部130の制御に基づいて、撮像画像内の位置に関する情報を、合成位置取得部130に供給する。更に、画像選択部106は、選択した撮像画像を識別する情報を距離抽出部140に供給してよい。
合成位置取得部130は、画像格納部104から画像選択部106が選択した撮像画像内の位置である、オブジェクトのテンプレート画像を合成すべき画像配置位置を取得する。合成位置取得部130は、ユーザからの入力を受け取ることにより、画像配置位置を取得してよい。例えば、合成位置取得部130は、画像選択部106において選択された撮像画像を表示部に表示して、ユーザに画像配置位置を選択させることにより画像配置位置を取得してよい。合成位置取得部130は、取得した画像配置位置を距離抽出部140および合成画像作成部160に供給する。距離抽出部140は、合成位置取得部130から受け取った画像配置位置に対応する実際の位置と撮像部100との実際の距離を、画像選択部106から受け取った撮像画像を識別する情報に対応づけて画像格納部104が格納している距離から抽出する。距離抽出部140は抽出した距離を、オブジェクト画像作成部150に供給する。
面方向特定ユニット180は、画像選択部106が選択した撮像画像内に含まれるオブジェクトから求められる、オブジェクトが接する面の方向を示す情報を特定する。面方向特定ユニット180が有するマッチング画像格納部184は、複数の方向を示す情報にそれぞれ対応づけて、当該方向の面にそれぞれ接する特定のオブジェクトのテンプレート画像をそれぞれ格納している。具体的には、マッチング画像格納部184は、オブジェクトを複数の異なる方向から観察した場合のテンプレート画像を、当該オブジェクトが接する面の方向を示す情報にそれぞれ対応づけて格納してよい。より具体的には、マッチング画像格納部184が格納している方向を示す情報は、オブジェクトが接する面の法線方向および当該法線方向の垂直方向等であってよい。なお、マッチング画像格納部184は、オブジェクトの3D画像情報を格納していてもよい。マッチング画像格納部184は、オブジェクト抽出部182および面方向取得部186に、複数の方向の面にそれぞれ接するオブジェクトのテンプレート画像を供給する。
面方向特定ユニット180が有するオブジェクト抽出部182は、画像選択部106から受け取った撮像画像から予め定められたオブジェクトを抽出する。具体的には、オブジェクト抽出部182は、マッチング画像格納部184が格納しているオブジェクトのテンプレート画像を受け取って、当該テンプレート画像を撮像画像に含まれるオブジェクトと順次マッチングしてオブジェクトを抽出してよい。また、オブジェクト抽出部182は、マッチング画像格納部184がオブジェクトの3D画像情報を格納している場合には、オブジェクトの3D画像を用いて、撮像画像内に含まれるオブジェクトとマッチングしてもよい。そして、オブジェクト抽出部182は、撮像画像に含まれるオブジェクトとマッチング画像格納部184が格納しているテンプレート画像とをマッチングして、マッチするテンプレート画像を検出した場合には、その旨を示す情報を面方向取得部186に供給する。
面方向特定ユニット180が有する面方向取得部186は、マッチング画像格納部184が格納しているオブジェクトのテンプレート画像と撮像画像に含まれるオブジェクトとを比較して、撮像画像に含まれるオブジェクトが接する面の方向を示す情報を取得する。具体的には、面方向取得部186は、オブジェクト抽出部182から、撮像画像に含まれるオブジェクトとマッチするテンプレート画像を検出した旨を示す情報を受け取った場合に、マッチング画像格納部184が当該テンプレート画像に対応づけて格納している方向を示す情報を取得する。面方向取得部186は、取得した方向を示す情報を、テンプレート画像抽出部172に供給する。
テンプレート画像格納部170は、オブジェクトの実サイズに対応づけてオブジェクトのテンプレート画像を格納している。また、テンプレート画像格納部170は、オブジェクトが撮像された画像である場合には、当該オブジェクトが画像内で示すサイズおよび当該オブジェクトが撮像されたときの撮像距離に対応づけてオブジェクトのテンプレート画像を格納してもよい。更に、テンプレート画像格納部170は、オブジェクトが接する面の方向を示す情報に対応づけてオブジェクトのテンプレート画像を格納する。そして、テンプレート画像格納部170は、オブジェクトが人物のオブジェクトである場合には、人物のオブジェクトの鉛直方向を示す情報に対応づけて人物のオブジェクトのテンプレート画像を格納する。なお、鉛直方向とは、重力方向であってよい。更に、オブジェクトのテンプレート画像は、撮像されたオブジェクトの画像、撮像されたオブジェクトの画像に対して画像処理を施した画像、およびユーザにより作成されたオブジェクトの画像等であってよい。テンプレート画像格納部170は、テンプレート画像抽出部172の制御に基づいて、オブジェクトのテンプレート画像をテンプレート画像抽出部172に供給する。また、テンプレート画像格納部170は、オブジェクト画像作成部150の制御に基づいて、オブジェクトのテンプレート画像および当該オブジェクトの実サイズを示す情報をオブジェクト画像作成部150に供給してよい。
テンプレート画像抽出部172は、角度情報取得部192から受け取った角度を示す情報から求められる、撮像画像の水平面の方向と一致する方向を示す情報に対応づけてテンプレート画像格納部170が格納しているテンプレート画像を抽出する。具体的には、テンプレート画像抽出部172は、撮像画像が撮像されたときの撮像部100が水平面に対して示す角度を示す情報を、ジャイロセンサ等の角度を測定するセンサが計測した角度を示す情報から算出する。そして、テンプレート画像抽出部172は、算出した角度を示す情報を用いて、当該撮像画面の水平面の方向と一致する方向を示す情報に対応づけてテンプレート画像格納部170が格納しているテンプレート画像を抽出してよい。また、テンプレート画像抽出部172は、角度情報取得部192から受け取った角度を示す情報から求められる、撮像画像の鉛直方向と一致する鉛直方向を示す情報に対応づけてテンプレート画像格納部170が格納しているテンプレート画像を抽出してもよい。更に、テンプレート画像抽出部172は、面方向取得部186から受け取ったオブジェクトが接する面の方向を示す情報と一致する方向を示す情報に対応づけてテンプレート画像格納部170が格納しているテンプレート画像を抽出してもよい。テンプレート画像抽出部172は、抽出したテンプレート画像をオブジェクト画像作成部150および合成画像作成部160に供給する。
オブジェクト画像作成部150は、距離抽出部140から受け取った距離に応じて、テンプレート画像の大きさを調整してオブジェクト画像を作成する。オブジェクト画像作成部150は、距離抽出部140から受け取った距離および画角取得部190から受け取った画角に応じてテンプレート画像の大きさを調整してオブジェクト画像を作成してもよい。また、オブジェクト画像作成部150が有するオブジェクトサイズ算出部152は、距離抽出部140から受け取った距離に対応する実際の位置にオブジェクトが存在するとした場合に、テンプレート画像格納部170から受け取ったオブジェクトの実サイズを示す情報および画角取得部190から受け取った画角から、撮像画像における当該オブジェクトの大きさを算出する。具体的には、ユーザが選択したオブジェクトを画像選択部106において選択された撮像画像中の画像配置位置に配置する場合に、オブジェクトサイズ算出部152は、オブジェクトの実サイズ、画像選択部106が選択した撮像画像が撮像されたときの画角、および距離抽出部140が抽出した画像配置位置までの距離から、当該撮像画像内におけるオブジェクトの大きさを算出する。そして、オブジェクト画像作成部150は、オブジェクトサイズ算出部152が算出したオブジェクトの大きさに、テンプレート画像の大きさを調整してオブジェクト画像を作成する。なお、オブジェクト画像作成部150は、テンプレート画像抽出部172が抽出したテンプレート画像の大きさを調整してオブジェクト画像を作成してもよい。
また、オブジェクト画像作成部150は、画像選択部106が選択した撮像画像に対応づけて画像格納部104が格納している、撮像画像情報を受け取ってもよい。そして、オブジェクト画像作成部150は、受け取った撮像画像情報に基づいて、テンプレート画像の大きさを調整して作成したオブジェクト画像に対して画像処理を施してもよい。また、オブジェクト画像作成部150は、距離抽出部140から受け取った距離に応じて、作成したオブジェクト画像に対して画像処理を施してもよい。例えば、画像配置位置が予め定められた距離以上の距離に対応する位置である場合に、オブジェクト画像作成部150は作成したオブジェクト画像の輪郭をぼかす処理を施してもよい。更に、オブジェクト画像作成部150は、作成したオブジェクト画像に対してトリミングおよび強調等の画像処理を施してもよい。オブジェクト画像作成部150は、作成したオブジェクト画像を合成画像作成部160に供給する。
合成画像作成部160は、オブジェクト画像作成部150から受け取ったオブジェクト画像を、撮像画像の合成位置取得部130から受け取った画像配置位置に合成して合成画像を作成する。また、合成画像作成部160は、テンプレート画像抽出部172から受け取ったテンプレート画像を撮像画像に合成して合成画像を作成してもよい。合成画像作成部160は、合成した合成画像を画像出力部165に供給する。また、合成画像作成部160は、画像選択部106が選択した撮像画像に対応づけて画像格納部104が格納している、撮像画像情報を受け取ってもよい。そして、合成画像作成部160は、受け取った撮像画像情報に基づいて、オブジェクト画像作成部150から受け取ったオブジェクト画像およびテンプレート画像抽出部172から受け取ったテンプレート画像に対して画像処理を施してもよい。例えば、合成画像作成部160は、撮像画像情報として画像選択部106が選択した撮像画像に対応づけて画像格納部104が格納している、当該撮像画像を撮像したときの光源方向および光源の種類を受け取る。そして、合成画像作成部160は、作成したオブジェクト画像に対して影を付ける画像処理を施してよい。
画像出力部165は、合成画像作成部160から受け取った合成画像を出力する。具体的には、画像出力部165は、合成画像をアルバム作成装置等に供給して、アルバムを作成してよい。また、画像出力部165は、DVD等の記録媒体に合成画像を記憶させてもよい。更に、画像出力部165は、合成画像をモニタ等の外部表示装置に表示してもよい。なお、請求項に記載の画像処理装置は、画像処理システム10の一例である。
本実施形態に係る画像処理システム10は、撮像部100から撮像画像内の複数の位置までの距離を、撮像画像内の複数の位置に対応づけて撮像画像を格納する。そして、ユーザがオブジェクトのテンプレート画像を撮像画像に合成をする場合において、ユーザが選択した撮像画像内の所望の位置の、撮像部100からの実際の距離、撮像画像が撮像されたときの画角、およびオブジェクトの実サイズから、オブジェクトを当該位置に配置した際の撮像画像内におけるオブジェクトの大きさを算出して撮像画像内に配置できるので、ユーザに違和感を感じさせない合成画像を作成できる。
図2は、本実施形態に係る距離特定部120の処理の一例を示す。距離特定部120が有する空間周波数分布算出部122は、撮像画像および測定画像の空間周波数分布を算出する。具体的には、空間周波数分布算出部122は、ユーザの一回の撮像動作により撮像部100が撮像した、撮像画像および測定画像のそれぞれの空間周波数の分布をそれぞれ算出する。なお、空間周波数分布算出部122は、測定画像についてだけ空間周波数分布を算出してもよい。また、空間周波数分布算出部122は、測定画像取得部114が取得した複数の測定画像の全てについて空間周波数分布を算出するのではなく、予め定められた数の測定画像を抽出して、抽出した測定画像のそれぞれについて空間周波数分布を算出してもよい。
例えば、ユーザが撮像画像620の撮像領域において撮像した場合を考える。係る場合において、撮像部100はユーザの一回の撮像動作により、合焦距離制御部102の制御に応じて撮像画像604および複数の測定画像600等を撮像する。そして、空間周波数分布算出部122は撮像画像取得部112および測定画像取得部114がそれぞれ取得した、測定画像600、測定画像602、撮像画像604、および測定画像606のそれぞれについて、空間周波数の分布をそれぞれ算出する。続いて、距離対応付部124は、空間周波数分布算出部122から空間周波数分布の算出結果を測定画像ごとに受け取る。また、距離対応付部124は、空間周波数分布算出部122から撮像画像についての空間周波数分布の算出結果を受け取る。そして、距離対応付部124は、画像取得部110から受け取った撮像画像および測定画像のそれぞれが撮像されたときの合焦距離と、空間周波数分布算出部122から受け取った撮像画像および測定画像のそれぞれの空間周波数のレベルが最大を示す位置とを対応付ける。
例えば、測定画像600において、空間周波数分布算出部122が算出した空間周波数のレベルが最大の位置が、矢印610で示す測定画像の位置である場合を考える。係る場合において、距離対応付部124は、空間周波数分布算出部122が算出した空間周波数のレベルが最大である、矢印610で示す測定画像中の位置と、測定画像600が撮像されたときの合焦距離である100mとを対応付ける。同様にして、距離対応付部124は、測定画像602において矢印612が示す測定画像中の位置と測定画像602が撮像されたときの合焦距離50mとを対応付ける。また、距離対応付部124は、撮像画像604において矢印614が示す測定画像中の位置と撮像画像604が撮像されたときの合焦距離である10mとを対応付ける。更に、距離対応付部124は、測定画像606において矢印616が示す測定画像中の位置と測定画像606が撮像されたときの合焦距離2mとを対応付ける。
これにより、距離対応付部124は、撮像画像604の複数の位置のそれぞれについて当該複数の位置に合焦距離をそれぞれ対応付けることができる。例えば、撮像画像620の複数の位置について、点線630の位置に対応する距離は100m、点線640の位置に対応する距離は50m、点線650の位置に対応する距離は10m、および点線660の位置に対応する距離は2m等というように、距離対応付部124は撮像画像中の複数の位置に対して合焦距離を、撮像部100から撮像画像中の複数の位置までの距離として対応付けることができる。
図3は、本実施形態に係る距離特定部120の処理の一例を示す。距離特定部120が有する空間周波数分布算出部122は、撮像画像および測定画像の空間周波数分布を、撮像画像および測定画像の部分領域ごとに算出して、算出した部分領域ごとの空間周波数のレベルを加算してよい。そして、距離対応付部124は、空間周波数分布算出部122が撮像画像および測定画像の部分領域ごとに算出した空間周波数のレベルを合計して算出した空間周波数のレベルが最大となる位置と、当該撮像画像または測定画像が撮像されたときの合焦距離とを対応づけてよい。
具体的には、空間周波数分布算出部122は、測定画像700の辺と略平行の方向に沿って、測定画像700の複数の領域ごとに空間周波数分布を算出してよい。例えば、空間周波数分布算出部122は、測定画像700の短手方向に沿った複数の領域ごとに、模式図702、模式図704、模式図706、および模式図708等に示すように複数の領域ごとに空間周波数の分布を算出する。そして、空間周波数分布算出部122は、複数の領域ごとに算出した空間周波数のレベルをそれぞれ加算して、模式図710に示すように空間周波数のレベルの合計値が最大となる、矢印720で示す位置を検出する。そして、距離対応付部124は、空間周波数分布算出部122が算出した矢印720の位置と、測定画像700が撮像されたときの合焦距離とを対応付ける。続いて、空間周波数分布算出部122は撮像画像および測定画像のそれぞれについて、上記と同様に、撮像画像および測定画像の部分領域ごとに算出した空間周波数のレベルの加算値が最大を示す位置と、撮像画像および測定画像のそれぞれが撮像されたときの合焦距離とをそれぞれ対応付けてよい。
図4は、本実施形態に係る合成画像作成部160の処理の一例を示す。まず、テンプレート画像格納部170は、オブジェクトが接する面の方向を示す情報に対応づけてオブジェクトのテンプレート画像を格納している。具体的には、テンプレート画像格納部170は、オブジェクトが接する面の法線方向または当該法線方向に垂直な方向に対応づけて、オブジェクトのテンプレート画像を格納する。テンプレート画像格納部170は、特定のオブジェクトについて、複数の方向を示す情報を対応づけてオブジェクトの複数のテンプレート画像を格納してよい。例えば、テンプレート画像格納部170は、自動車810のテンプレート画像800を格納する。テンプレート画像800は、自動車810が接する面の法線方向802および法線方向802に垂直な方向である自動車810が接する面の方向804を対応づけて、自動車810のテンプレート画像を格納する。なお、テンプレート画像格納部170は、自動車810のテンプレート画像を、面の方向804が水平面となす角度、すなわち、自動車810が接する面の水平面に対してなす角度806に対応づけて格納してもよい。また、テンプレート画像格納部170は、同一のオブジェクトを異なる方向から観察した場合の複数のテンプレート画像を格納してよい。例えば、自動車810と同一の自動車810を異なる方向から観察した場合の自動車822を示すテンプレート画像820を格納してよい。なお、テンプレート画像格納部170は、テンプレート画像820と、自動車822が接する面の法線方向824および法線方向824に垂直な面の方向826とを対応づけて格納してもよい。
ここで、撮像画像830に自動車のテンプレート画像を合成する場合を考える。係る場合において、撮像画像830に含まれる面が向く方向、例えば、面の法線方向832および法線方向832に対して垂直な面の方向834は、角度情報取得部192が取得した、撮像部100の撮像方向と水平面とがなす角度を示す情報から求めてよい。そして、テンプレート画像抽出部172は、角度情報取得部192から受け取った角度を示す情報から求められる、撮像画像830の水平面の方向(面の方向834)と一致する方向を示す情報(面の方向804)に対応づけてテンプレート画像格納部170が格納している自動車のテンプレート画像800を抽出する。続いて、オブジェクトサイズ算出部152は、ユーザが指定した画像配置位置にテンプレート画像800に含まれる自動車810を配置した場合に、当該画像配置位置に対応する実際の位置に、実際に自動車810を配置した場合に、撮像画像830内で自動車810が示す大きさを算出する。そして、オブジェクト画像作成部150は、オブジェクトサイズ算出部152が算出した大きさに、テンプレート画像800に含まれる自動車810の大きさを調整してオブジェクト画像を作成する。そして、合成画像作成部160は、ユーザが指定した画像配置位置に、オブジェクト画像作成部150が作成した自動車810のオブジェクト画像を合成して、合成画像840を作成する。
本実施形態に係る画像処理システム10によれば、撮像画像中に含まれる面の方向に一致する方向を示す情報に対応づけられているオブジェクトのテンプレート画像を自動的に抽出して、抽出したテンプレート画像の大きさを画像配置位置にオブジェクトを配置した場合の大きさに自動的に調整して撮像画像と合成することができる。これにより、オブジェクトが接する面と撮像画像中に含まれる面とが一致した合成画像を作成できるので、合成画像をユーザが鑑賞した場合に、オブジェクトが地面から浮いて見える等の違和感を感じさせることがなくなり、ユーザの満足度を高めることができる。
図5は、本実施形態に係る合成画像作成部160の処理の一例を示す。まず、テンプレート画像格納部170は、人物のオブジェクトの鉛直方向を示す情報に対応づけて人物のオブジェクトの複数のテンプレート画像を格納している。具体的には、テンプレート画像格納部170は、人物のオブジェクトの鉛直方向に対応づけて、複数の姿勢を有する人物のオブジェクトの複数のテンプレート画像を格納している。なお、鉛直方向とは、重力方向であってよい。例えば、テンプレート画像格納部170は、人物904のテンプレート画像900を、鉛直方向902に対応づけて格納してよい。
ここで、撮像画像910に人物のテンプレート画像を合成する場合を考える。係る場合において、撮像画像910に含まれる面が向く方向、例えば、面の法線方向914および鉛直方向912は、角度情報取得部192が取得した、撮像部100の撮像方向と水平面とがなす角度を示す情報から求めてよい。そして、テンプレート画像抽出部172は、角度情報取得部192から受け取った角度を示す情報から求められる、撮像画像910の鉛直方向912と一致する鉛直方向に対応づけてテンプレート画像格納部170が格納しているテンプレート画像900を抽出する。なお、撮像画像910に含まれる面の法線方向914と鉛直方向912とが一致する画像配置位置をユーザが選んだ場合には、テンプレート画像抽出部172は、撮像画像910の面の方向と一致する方向を示す情報に対応づけてテンプレート画像格納部170が格納している人物のオブジェクトのテンプレート画像を抽出してもよい。
続いて、オブジェクトサイズ算出部152は、ユーザが指定した画像配置位置にテンプレート画像900に含まれる人物904を配置した場合に、当該画像配置位置に対応する実際の位置に、実際に人物904を配置した場合に、撮像画像910内で人物904が示す大きさを算出する。そして、オブジェクト画像作成部150は、オブジェクトサイズ算出部152が算出した大きさに、テンプレート画像900に含まれる人物904の大きさを調整してオブジェクト画像を作成する。そして、合成画像作成部160は、ユーザが指定した画像配置位置に、オブジェクト画像作成部150が作成した人物904のオブジェクト画像を合成して、合成画像920を作成する。
なお、オブジェクト画像作成部150は、オブジェクトが人物である場合には、当該人物が接する面が含まれる予め定められた領域に、当該人物を除く他のオブジェクトのテンプレート画像または当該オブジェクトのオブジェクト画像を、人物のオブジェクト画像に重畳して人物のオブジェクト画像を作成してもよい。例えば、オブジェクト画像作成部150は、まず、人物のオブジェクトのテンプレート画像の大きさを調整して、当該人物のオブジェクト画像を作成する。また、オブジェクトサイズ算出部152は、当該人物を除く他のオブジェクトについても、距離抽出部140から受け取った距離および画角取得部190から受け取った画角から、撮像画像における当該人物を除く他のオブジェクトの大きさを算出する。そして、オブジェクト画像作成部150は、オブジェクトサイズ算出部152が算出した大きさに当該人物を除く他のオブジェクトのテンプレート画像の大きさを調整して、当該人物を除く他のオブジェクト画像を作成する。そして、オブジェクト画像作成部150は、当該人物のオブジェクト画像において、例えば、当該人物の足首部分を含む領域に、当該人物を除く他のオブジェクトを当該人物の前面に重畳してオブジェクト画像を作成してもよい。
例えば、画像処理システム10は、人物の体の特徴的な部分のテンプレート画像を複数格納する部分テンプレート画像格納部を供えていてよい。人物の体の特徴的な部分は、足首およびひざ等の関節部分等であってよい。そして、画像処理システム10は、部分テンプレート画像格納部が格納する、人物の体の部分のテンプレート画像を用いて人物のオブジェクト画像とマッチングすることにより、人物の足首部分等を含む領域を特定してよい。そして、オブジェクト画像作成部150は、上記のように人物のオブジェクト画像を作成してよい。これにより、人物のオブジェクト画像を、例えば、坂道に配置した場合であっても、人物の足の関節等の不自然さを隠すことができる。
本実施形態に係る画像処理システム10によれば、撮像画像に合成するオブジェクトが人物のオブジェクトである場合であって、ユーザが指定した画像配置位置が坂などの傾斜面である場合には、坂の面の方向と一致する方向を示す情報に対応づけてテンプレート画像格納部170が格納している人物のオブジェクトのテンプレート画像ではなく、撮像画像の鉛直方向と一致する鉛直方向に対応づけてテンプレート画像格納部170が格納している人物のオブジェクトのテンプレート画像を抽出して、撮像画像に合成できるので、人物の姿勢が不自然な合成画像を作成することを防ぐことができ、ユーザに違和感を感じさせることがなくなる。
図6は、本実施形態に係る面方向特定ユニット180の処理の一例を示す。まず、マッチング画像格納部184は、複数の方向を示す情報にそれぞれ対応づけて、当該方向の面にそれぞれ接する特定のオブジェクトのテンプレート画像をそれぞれ格納している。特定のオブジェクトは、例えば、自動車、バイク、および列車等、並びにガードレールおよび歩道の縁石等であってよい。例えば、特定のオブジェクトが自動車である場合には、マッチング画像格納部184は、複数の方向を向く面にそれぞれ接する自動車のテンプレート画像をそれぞれ格納してよい。例えば、マッチング画像格納部184は、自動車1004のテンプレート画像1000を面の方向1002に対応づけて格納する。そして、マッチング画像格納部184は、テンプレート画像1000とは異なる面の方向1012に対応づけて、自動車1014のテンプレート画像1010を格納する。また、マッチング画像格納部184は、面の方向1022に対応づけて、自動車1024のテンプレート画像1020を格納する。更に、マッチング画像格納部184は、面の方向1032に対応づけて、自動車1034のテンプレート画像1030を格納する。このように、マッチング画像格納部184は、複数の面の方向に対応づけて、オブジェクトのテンプレート画像を複数格納してよい。
ここで、撮像画像1040に自動車1042が含まれている場合を考える。係る場合において、面方向特定ユニット180が有するオブジェクト抽出部182は、マッチング画像格納部184が格納しているオブジェクトのテンプレート画像を用いて、当該テンプレート画像と撮像画像1040に含まれるオブジェクトとをマッチングする。係る場合において、オブジェクト抽出部182は、自動車1042を含む、予め定められた範囲を撮像画像1040からトリミングして、トリミング後の画像に含まれる自動車1060についてマッチングをしてもよい。また、オブジェクト抽出部182は、撮像画像に複数のオブジェクトが含まれている場合には、複数のオブジェクトのそれぞれを抽出して、抽出したオブジェクトのそれぞれについてマッチングしてもよい。オブジェクト抽出部182は、自動車1042とマッチしたテンプレート画像1010を抽出する。続いて、オブジェクト抽出部182はテンプレート画像1010を抽出した旨を示す情報を面方向取得部186に供給する。そして、面方向取得部186は、テンプレート画像1010の面の方向1012を取得する。面方向取得部186は取得した面の方向を、テンプレート画像抽出部172に供給する。
本実施形態に係る画像処理システム10によれば、面方向特定ユニット180において、撮像画像に含まれているオブジェクトと複数の方向に対応づけて予めマッチング画像格納部184が格納しているテンプレート画像とをマッチングすることにより、撮像画像に含まれる面の方向を特定することができる。これにより、撮像画像中に面の方向が異なる複数の面が含まれている場合でも、複数の面のそれぞれについて面の方向を特定できる。そして、合成画像を作成する場合に、特定した面の方向と一致する方向を示す情報に対応づけてテンプレート画像格納部170に格納されているテンプレート画像を自動的に抽出して、抽出したテンプレート画像を撮像画像に合成するので、ユーザが鑑賞した場合に違和感を感じさせない合成画像を作成できる。
図7は、本実施形態に係る画像処理システム10のハードウェア構成の一例を示す。本実施形態に係る画像処理システム10は、ホスト・コントローラ1582により相互に接続されるCPU1505、RAM1520、グラフィック・コントローラ1575、及び表示装置1580を有するCPU周辺部と、入出力コントローラ1584によりホスト・コントローラ1582に接続される通信インターフェイス1530、ハードディスクドライブ1540、及びCD−ROMドライブ1560を有する入出力部と、入出力コントローラ1584に接続されるROM1510、フレキシブルディスク・ドライブ1550、及び入出力チップ1570を有するレガシー入出力部とを備える。
ホスト・コントローラ1582は、RAM1520と、高い転送レートでRAM1520をアクセスするCPU1505及びグラフィック・コントローラ1575とを接続する。CPU1505は、ROM1510及びRAM1520に格納されたプログラムに基づいて動作して、各部を制御する。グラフィック・コントローラ1575は、CPU1505等がRAM1520内に設けたフレーム・バッファ上に生成する画像データを取得して、表示装置1580上に表示させる。これに代えて、グラフィック・コントローラ1575は、CPU1505等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。
入出力コントローラ1584は、ホスト・コントローラ1582と、比較的高速な入出力装置である通信インターフェイス1530、ハードディスクドライブ1540、CD−ROMドライブ1560を接続する。通信インターフェイス1530は、ネットワークを介して他の装置と通信する。ハードディスクドライブ1540は、画像処理システム10内のCPU1505が使用するプログラム及びデータを格納する。CD−ROMドライブ1560は、CD−ROM1595からプログラム又はデータを読み取り、RAM1520を介してハードディスクドライブ1540に提供する。
また、入出力コントローラ1584には、ROM1510と、フレキシブルディスク・ドライブ1550、及び入出力チップ1570の比較的低速な入出力装置とが接続される。ROM1510は、画像処理システム10が起動時に実行するブート・プログラム、画像処理システム10のハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ1550は、フレキシブルディスク1590からプログラム又はデータを読み取り、RAM1520を介してハードディスクドライブ1540に提供する。入出力チップ1570は、フレキシブルディスク・ドライブ1550、例えばパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を接続する。
RAM1520を介してハードディスクドライブ1540に提供される画像処理プログラムは、フレキシブルディスク1590、CD−ROM1595、又はICカード等の記録媒体に格納されて利用者によって提供される。画像処理プログラムは、記録媒体から読み出され、RAM1520を介して画像処理システム10内のハードディスクドライブ1540にインストールされ、CPU1505において実行される。画像処理システム10にインストールされて実行される画像処理プログラムは、CPU1505等に働きかけて、画像処理システム10を、図1から図6にかけて説明した撮像部100、合焦距離制御部102、画像格納部104、画像選択部106、画像取得部110、距離特定部120、合成位置取得部130、距離抽出部140、オブジェクト画像作成部150、合成画像作成部160、画像出力部165、テンプレート画像格納部170、テンプレート画像抽出部172、面方向特定ユニット180、画角取得部190、角度情報取得部192、撮像画像取得部112、測定画像取得部114、空間周波数分布算出部122、距離対応付部124、オブジェクトサイズ算出部152、オブジェクト抽出部182、マッチング画像格納部184、および面方向取得部186として機能させる。
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加え得ることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
画像処理システム10の機能構成を示すブロック図である。 距離特定部120の処理を示す図である。 距離特定部120の処理を示す図である。 合成画像作成部160の処理を示す図である。 合成画像作成部160の処理を示す図である。 面方向特定ユニット180の処理を示す図である。 画像処理システム10のハードウェア構成を示すブロック図である。
符号の説明
10 画像処理システム
100 撮像部
102 合焦距離制御部
104 画像格納部
106 画像選択部
110 画像取得部
112 撮像画像取得部
114 測定画像取得部
120 距離特定部
122 空間周波数分布算出部
124 距離対応付部
130 合成位置取得部
140 距離抽出部
150 オブジェクト画像作成部
152 オブジェクトサイズ算出部
160 合成画像作成部
165 画像出力部
170 テンプレート画像格納部
172 テンプレート画像抽出部
180 面方向特定ユニット
182 オブジェクト抽出部
184 マッチング画像格納部
186 面方向取得部
190 画角取得部
192 角度情報取得部
600、602、606 測定画像
604、620 撮像画像
610、612、614、616 矢印
630、640、650、660 点線
700 測定画像
702、704、706、708、710 模式図
720 矢印
800、820 テンプレート画像
802、824 法線方向
804、826 面の方向
806 角度
810、822 自動車
830 撮像画像
832 法線方向
834 面の方向
840 合成画像
900 テンプレート画像
902 鉛直方向
904 人物
910 撮像画像
912 鉛直方向
914 法線方向
920 合成画像
1000、1010、1020、1030 テンプレート画像
1002、1012、1022、1032 面の方向
1004、1014、1024、1034 自動車
1040 撮像画像
1042、1060 自動車
1505 CPU
1510 ROM
1520 RAM
1530 通信インターフェイス
1540 ハードディスクドライブ
1550 フレキシブルディスク・ドライブ
1560 CD−ROMドライブ
1570 入出力チップ
1575 グラフィック・コントローラ
1580 表示装置
1582 ホスト・コントローラ
1584 入出力コントローラ
1590 フレキシブルディスク
1595 CD−ROM

Claims (13)

  1. 撮像部と、
    前記撮像部の撮像範囲を変化させない状態で、前記撮像部の合焦距離を変化させる合焦距離制御部と、
    前記合焦距離制御部が前記撮像部を一の合焦距離に制御した場合に、前記撮像部が撮像した撮像画像を取得する撮像画像取得部と、
    前記合焦距離制御部が前記撮像部を他の合焦距離に制御した場合に、前記撮像部が撮像した測定画像を少なくとも一つ取得する測定画像取得部と、
    前記撮像画像取得部または前記測定画像取得部が合焦距離ごとに取得した撮像画像または測定画像をそれぞれ解析して、撮像画像または測定画像がそれぞれ撮像された合焦距離から、前記撮像部から撮像範囲内の複数の位置までの距離をそれぞれ特定する距離特定部と、
    前記距離特定部が特定した複数の位置ごとの距離を、前記撮像画像取得部が取得した撮像画像および撮像画像内の位置に対応づけて格納する画像格納部と、
    前記画像格納部が格納している撮像画像内の位置である、オブジェクトのテンプレート画像を合成すべき画像配置位置を取得する合成位置取得部と、
    前記合成位置取得部が取得した画像配置位置に対応する実際の位置と前記撮像部との実際の距離を、前記画像格納部が格納している距離から抽出する距離抽出部と、
    前記距離抽出部が抽出した距離に応じて、テンプレート画像の大きさを調整してオブジェクト画像を作成するオブジェクト画像作成部と、
    前記オブジェクト画像作成部が作成したオブジェクト画像を、撮像画像の前記合成位置取得部が取得した画像配置位置に合成して合成画像を作成する合成画像作成部と
    を備える画像処理システム。
  2. 前記撮像画像取得部が撮像画像を取得した場合、および前記測定画像取得部が測定画像を取得した場合の、前記撮像部の画角をそれぞれ取得する画角取得部を更に備え、
    前記オブジェクト画像作成部は、前記距離抽出部が抽出した距離および前記画角取得部が取得した画角に応じて、テンプレート画像の大きさを調整してオブジェクト画像を作成する
    請求項1に記載の画像処理システム。
  3. オブジェクトの実サイズを示す情報に対応づけてオブジェクトのテンプレート画像を格納しているテンプレート画像格納部を更に備え、
    前記オブジェクト画像作成部は、
    前記距離抽出部が抽出した距離に対応する実際の位置にオブジェクトが存在するとした場合に、前記テンプレート画像格納部が格納しているオブジェクトの実サイズを示す情報および前記画角取得部が取得した画角から、撮像画像における当該オブジェクトの大きさを算出するオブジェクトサイズ算出部を有し、
    前記オブジェクトサイズ算出部が算出した当該オブジェクトの大きさにテンプレート画像の大きさを調整してオブジェクト画像を作成する
    請求項2に記載の画像処理システム。
  4. 前記距離特定部は、
    撮像画像または測定画像のそれぞれの空間周波数分布を算出する空間周波数分布算出部と、
    撮像画像または測定画像が撮像されたときに前記合焦距離制御部が設定していた合焦距離と、前記空間周波数分布算出部が算出した空間周波数分布中での空間周波数のレベルが最大を示す位置とをそれぞれ対応づけて前記画像格納部に格納させる距離対応付部とを有する
    請求項1に記載の画像処理システム。
  5. 前記空間周波数分布算出部は、撮像画像または測定画像の辺と略平行な方向に沿って空間周波数分布をそれぞれ算出し、
    前記距離対応付部は、撮像画像または測定画像が撮像されたときに前記合焦距離制御部が設定していた合焦距離を、前記空間周波数分布算出部が撮像画像または測定画像の辺と略平行な方向に沿って算出した空間周波数分布中での空間周波数のレベルが最大を示す位置までの距離として、撮像画像または測定画像中のそれぞれの位置に対応づけて前記画像格納部に格納させる
    請求項4に記載の画像処理システム。
  6. オブジェクトが接する面の方向を示す情報に対応づけてオブジェクトのテンプレート画像を格納しているテンプレート画像格納部と、
    前記撮像部の撮像方向と水平面とがなす角度を示す情報を取得する角度情報取得部と、
    前記角度情報取得部が取得した角度を示す情報から求められる、撮像画像の水平面の方向と一致する方向を示す情報に対応づけて前記テンプレート画像格納部が格納しているテンプレート画像を抽出するテンプレート画像抽出部と
    を更に備え、
    前記合成画像作成部は、前記テンプレート画像抽出部が抽出したテンプレート画像を撮像画像に合成して合成画像を作成する
    請求項1に記載の画像処理システム。
  7. 前記テンプレート画像格納部は、人物のオブジェクトの鉛直方向を示す情報に対応づけて人物のオブジェクトのテンプレート画像を更に格納し、
    前記テンプレート画像抽出部は、前記角度情報取得部が取得した角度を示す情報から求められる、撮像画像の鉛直方向と一致する鉛直方向を示す情報に対応づけて前記テンプレート画像格納部が格納しているテンプレート画像を抽出する
    請求項6に記載の画像処理システム。
  8. 撮像画像から予め定められたオブジェクトを抽出するオブジェクト抽出部と、
    複数の方向を示す情報にそれぞれ対応づけて、当該方向の面にそれぞれ接する特定のオブジェクトのテンプレート画像をそれぞれ格納しているマッチング画像格納部と、
    前記マッチング画像格納部が格納しているオブジェクトのテンプレート画像と撮像画像に含まれるオブジェクトとを比較して、撮像画像に含まれるオブジェクトが接する面の方向を示す情報を取得する面方向取得部と、
    オブジェクトが接する面の方向を示す情報に対応づけてオブジェクトのテンプレート画像を格納しているテンプレート画像格納部と、
    前記面方向取得部が取得したオブジェクトが接する面の方向を示す情報と一致する方向を示す情報に対応づけて前記テンプレート画像格納部が格納しているテンプレート画像を抽出するテンプレート画像抽出部と
    を更に備え、
    前記合成画像作成部は、前記テンプレート画像抽出部が抽出したテンプレート画像を撮像画像に合成して合成画像を作成する
    請求項1に記載の画像処理システム。
  9. 撮像部の撮像範囲を変化させない状態で、前記撮像部の合焦距離を変化させる合焦距離制御段階と、
    前記合焦距離制御段階が前記撮像部を一の合焦距離に制御した場合に、前記撮像部が撮像した撮像画像を取得する撮像画像取得段階と、
    前記合焦距離制御段階が前記撮像部を他の合焦距離に制御した場合に、前記撮像部が撮像した測定画像を少なくとも一つ取得する測定画像取得段階と、
    前記撮像画像取得段階または前記測定画像取得段階が合焦距離ごとに取得した撮像画像または測定画像をそれぞれ解析して、撮像画像または測定画像がそれぞれ撮像された合焦距離から、前記撮像部から撮像範囲内の複数の位置までの距離をそれぞれ特定する距離特定段階と、
    前記距離特定段階が特定した複数の位置ごとの距離を、前記撮像画像取得段階が取得した撮像画像および撮像画像内の位置に対応づけて画像格納部に格納する画像格納段階と、
    前記画像格納部が格納している撮像画像内の位置である、オブジェクトのテンプレート画像を合成すべき画像配置位置を取得する合成位置取得段階と、
    前記合成位置取得段階が取得した画像配置位置に対応する実際の位置と前記撮像部との実際の距離を、前記画像格納部が格納している距離から抽出する距離抽出段階と、
    前記距離抽出段階が抽出した距離に応じて、テンプレート画像の大きさを調整してオブジェクト画像を作成するオブジェクト画像作成段階と、
    前記オブジェクト画像作成段階が作成したオブジェクト画像を、撮像画像の前記合成位置取得段階が取得した画像配置位置に合成して合成画像を作成する合成画像作成段階
    を備える画像処理方法。
  10. 撮像画像を処理する画像処理システム用の画像処理プログラムであって、前記画像処理システムを、
    撮像部と、
    前記撮像部の撮像範囲を変化させない状態で、前記撮像部の合焦距離を変化させる合焦距離制御部と、
    前記合焦距離制御部が前記撮像部を一の合焦距離に制御した場合に、前記撮像部が撮像した撮像画像を取得する撮像画像取得部と、
    前記合焦距離制御部が前記撮像部を他の合焦距離に制御した場合に、前記撮像部が撮像した測定画像を少なくとも一つ取得する測定画像取得部と、
    前記撮像画像取得部または前記測定画像取得部が合焦距離ごとに取得した撮像画像または測定画像をそれぞれ解析して、撮像画像または測定画像がそれぞれ撮像された合焦距離から、前記撮像部から撮像範囲内の複数の位置までの距離をそれぞれ特定する距離特定部と、
    前記距離特定部が特定した複数の位置ごとの距離を、前記撮像画像取得部が取得した撮像画像および撮像画像内の位置に対応づけて格納する画像格納部と、
    前記画像格納部が格納している撮像画像内の位置である、オブジェクトのテンプレート画像を合成すべき画像配置位置を取得する合成位置取得部と、
    前記合成位置取得部が取得した画像配置位置に対応する実際の位置と前記撮像部との実際の距離を、前記画像格納部が格納している距離から抽出する距離抽出部と、
    前記距離抽出部が抽出した距離に応じて、テンプレート画像の大きさを調整してオブジェクト画像を作成するオブジェクト画像作成部と、
    前記オブジェクト画像作成部が作成したオブジェクト画像を、撮像画像の前記合成位置取得部が取得した画像配置位置に合成して合成画像を作成する合成画像作成部
    として機能させる画像処理プログラム。
  11. 撮像装置が撮像した撮像画像を処理する画像処理装置であって、
    撮像画像内の位置である、オブジェクトのテンプレート画像を合成すべき画像配置位置を取得する合成位置取得部と、
    前記撮像装置が合焦距離ごとに取得した撮像画像または測定画像をそれぞれ解析して、撮像画像または測定画像がそれぞれ撮像された合焦距離から、前記撮像装置から撮像範囲内の複数の位置までの距離をそれぞれ特定する距離特定部と、
    前記合成位置取得部が取得した画像配置位置に対応する実際の位置と前記撮像装置との実際の距離を、前記距離特定部が特定した距離から抽出する距離抽出部と、
    前記距離抽出部が抽出した距離に応じて、テンプレート画像の大きさを調整してオブジェクト画像を作成するオブジェクト画像作成部と、
    前記オブジェクト画像作成部が作成したオブジェクト画像を、前記合成位置取得部が取得した画像配置位置に合成して合成画像を作成する合成画像作成部と
    を備える画像処理装置。
  12. 撮像装置が撮像した撮像画像を処理する画像処理方法であって、
    前記撮像画像の内の位置である、オブジェクトのテンプレート画像を合成すべき画像配置位置を取得する合成位置取得段階と、
    前記撮像装置が合焦距離ごとに取得した撮像画像または測定画像をそれぞれ解析して、撮像画像または測定画像がそれぞれ撮像された合焦距離から、前記撮像装置から撮像範囲内の複数の位置までの距離をそれぞれ特定する距離特定段階と、
    前記合成位置取得段階が取得した画像配置位置に対応する実際の位置と前記撮像装置との実際の距離を、前記距離特定段階が特定した距離から抽出する距離抽出段階と、
    前記距離抽出段階が抽出した距離に応じて、テンプレート画像の大きさを調整してオブジェクト画像を作成するオブジェクト画像作成段階と、
    前記オブジェクト画像作成段階が作成したオブジェクト画像を、前記合成位置取得段階が取得した画像配置位置に合成して合成画像を作成する合成画像作成段階
    を備える画像処理方法。
  13. 撮像装置が撮像した撮像画像を処理する画像処理装置用のプログラムであって、前記画像処理装置を、
    前記撮像画像の内の位置である、オブジェクトのテンプレート画像を合成すべき画像配置位置を取得する合成位置取得部と、
    前記撮像装置が合焦距離ごとに取得した撮像画像または測定画像をそれぞれ解析して、撮像画像または測定画像がそれぞれ撮像された合焦距離から、前記撮像装置から撮像範囲内の複数の位置までの距離をそれぞれ特定する距離特定部と、
    前記合成位置取得部が取得した画像配置位置に対応する実際の位置と前記撮像装置との実際の距離を、前記距離特定部が特定した距離から抽出する距離抽出部と、
    前記距離抽出部が抽出した距離に応じて、テンプレート画像の大きさを調整してオブジェクト画像を作成するオブジェクト画像作成部と、
    前記オブジェクト画像作成部が作成したオブジェクト画像を、前記合成位置取得部が取得した画像配置位置に合成して合成画像を作成する合成画像作成部
    として機能させる画像処理プログラム。
JP2005368792A 2005-12-21 2005-12-21 画像処理システム、画像処理装置、画像処理方法、および画像処理プログラム Pending JP2007172271A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005368792A JP2007172271A (ja) 2005-12-21 2005-12-21 画像処理システム、画像処理装置、画像処理方法、および画像処理プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005368792A JP2007172271A (ja) 2005-12-21 2005-12-21 画像処理システム、画像処理装置、画像処理方法、および画像処理プログラム

Publications (1)

Publication Number Publication Date
JP2007172271A true JP2007172271A (ja) 2007-07-05

Family

ID=38298757

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005368792A Pending JP2007172271A (ja) 2005-12-21 2005-12-21 画像処理システム、画像処理装置、画像処理方法、および画像処理プログラム

Country Status (1)

Country Link
JP (1) JP2007172271A (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009089084A (ja) * 2007-09-28 2009-04-23 Fujifilm Corp 画像処理装置、撮像装置及び画像処理方法
JP2011249962A (ja) * 2010-05-25 2011-12-08 Nippon Hoso Kyokai <Nhk> 画像合成装置およびそのプログラム
JP2019118528A (ja) * 2017-12-28 2019-07-22 株式会社コロプラ ゲームプログラム、情報処理装置および方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009089084A (ja) * 2007-09-28 2009-04-23 Fujifilm Corp 画像処理装置、撮像装置及び画像処理方法
US8111946B2 (en) 2007-09-28 2012-02-07 Fujifilm Corporation Image processing apparatus, imaging apparatus, and image processing method
JP2011249962A (ja) * 2010-05-25 2011-12-08 Nippon Hoso Kyokai <Nhk> 画像合成装置およびそのプログラム
JP2019118528A (ja) * 2017-12-28 2019-07-22 株式会社コロプラ ゲームプログラム、情報処理装置および方法

Similar Documents

Publication Publication Date Title
CN103140879B (zh) 信息呈现装置、数字照相机、头戴式显示器、投影仪、信息呈现方法和信息呈现程序
CN109561296B (zh) 图像处理装置、图像处理方法、图像处理系统和存储介质
CN108307675B (zh) 用于vr/ar应用中的深度增强的多基线相机阵列系统架构
JP6697986B2 (ja) 情報処理装置および画像領域分割方法
US9348950B2 (en) Perceptually guided capture and stylization of 3D human figures
JP5084682B2 (ja) 画像処理装置、制御方法、プログラム及び記録媒体
WO2017033853A1 (ja) 情報処理装置および情報処理方法
US20130100140A1 (en) Human body and facial animation systems with 3d camera and method thereof
KR20190045317A (ko) 화상 처리 장치, 화상 생성 방법 및 컴퓨터 프로그램
JP2016218905A (ja) 情報処理装置、情報処理方法、及びプログラム
JP2005107970A (ja) 画像表示装置及び方法
JP2010510573A (ja) 3次元画像を合成するシステム及び方法
JP2006287917A (ja) 画像出力装置、画像出力方法、および画像出力プログラム
US20120075503A1 (en) Computer-readable storage medium having stored thereon image generation program, capturing apparatus, capturing system, and image generation method
KR101642402B1 (ko) 촬영 구도를 유도하는 디지털 영상 촬영 장치 및 방법
JP2013037445A (ja) 画像処理装置、方法、及びプログラム
JP2009194644A (ja) 画像処理装置,画像処理方法及び撮像装置
CN109639959B (zh) 图像处理装置、图像处理方法以及记录介质
US11496661B2 (en) Image processing apparatus and image processing method
KR101818005B1 (ko) 얼굴 데이터 관리 시스템 및 그 방법
JP2010152521A (ja) 画像立体化処理装置及び方法
JP4348028B2 (ja) 画像処理方法、画像処理装置、撮像装置及びコンピュータプログラム
CN111724470A (zh) 一种处理方法及电子设备
JP2022105594A (ja) 処理装置、検出装置、システム及びプログラム
JP2007172271A (ja) 画像処理システム、画像処理装置、画像処理方法、および画像処理プログラム