JP2015156540A - 画像処理装置、画像処理方法および画像処理プログラム - Google Patents
画像処理装置、画像処理方法および画像処理プログラム Download PDFInfo
- Publication number
- JP2015156540A JP2015156540A JP2014030164A JP2014030164A JP2015156540A JP 2015156540 A JP2015156540 A JP 2015156540A JP 2014030164 A JP2014030164 A JP 2014030164A JP 2014030164 A JP2014030164 A JP 2014030164A JP 2015156540 A JP2015156540 A JP 2015156540A
- Authority
- JP
- Japan
- Prior art keywords
- image
- person
- distance
- subject
- terminal device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Studio Devices (AREA)
Abstract
【課題】複数の被写体の像を合成した際に生じる違和感を低減する。
【解決手段】画像処理装置10は、取得部11および合成部12を有する。取得部11は、画像1に映った被写体1aと画像1を撮像した撮像装置との間の距離L1を取得する。取得部11は、画像2に映った被写体2aと画像2を撮像した撮像装置との間の距離L2を取得する。合成部12は、画像1における被写体1aの像と画像2における被写体2aの像とを合成する。合成部12は、各像を合成する際に、距離L1と距離L2とに基づいて、被写体1aの像または被写体2aの像の少なくとも一方のサイズを調整する。
【選択図】図1
【解決手段】画像処理装置10は、取得部11および合成部12を有する。取得部11は、画像1に映った被写体1aと画像1を撮像した撮像装置との間の距離L1を取得する。取得部11は、画像2に映った被写体2aと画像2を撮像した撮像装置との間の距離L2を取得する。合成部12は、画像1における被写体1aの像と画像2における被写体2aの像とを合成する。合成部12は、各像を合成する際に、距離L1と距離L2とに基づいて、被写体1aの像または被写体2aの像の少なくとも一方のサイズを調整する。
【選択図】図1
Description
本発明は、画像処理装置、画像処理方法および画像処理プログラムに関する。
近年、画像を合成する技術が発展している。例えば、画像を複数の領域に分割し、分割された画像の所定の位置毎に距離情報を抽出し、抽出した距離情報に基づいて分割した領域毎に、その領域の画像を拡大または縮小する技術が提案されている。
ここで、ある画像に映った被写体の像と、別の画像に映った別の被写体の像とを合成して合成画像を生成する場合を考える。この場合、一方の被写体の像のサイズと他方の被写体の像のサイズの比率は、各被写体の実際の大きさの比率と一致するとは限らない。このため、各被写体の像をそのまま合成すると、違和感のある合成画像が生成される場合があるという問題があった。
1つの側面では、本発明は、複数の被写体の像を合成した際に生じる違和感を低減する画像処理装置、画像処理方法および画像処理プログラムを提供することを目的とする。
1つの案では、画像処理装置が提供される。画像処理装置は、取得部および合成部を有する。取得部は、第1の画像に映った第1の被写体と第1の画像を撮像した撮像装置との間の第1の距離を取得する。取得部は、第2の画像に映った第2の被写体と第2の画像を撮像した撮像装置との間の第2の距離とを取得する。合成部は、第1の画像における第1の被写体の像と第2の画像における第2の被写体の像を合成する。合成部は、各像を合成する際に、第1の距離と第2の距離とに基づいて、第1の被写体の像または第2の被写体の像の少なくとも一方のサイズを調整する。
さらに、1つの案では、上記画像処理装置と同様の処理を実行する画像処理方法が提供される。
また、1つの案では、上記画像処理装置と同様の処理をコンピュータに実行させる画像処理プログラムが提供される。
また、1つの案では、上記画像処理装置と同様の処理をコンピュータに実行させる画像処理プログラムが提供される。
一側面では、複数の被写体の像を合成した際に生じる違和感を低減できる。
以下、本実施の形態を図面を参照して説明する。
[第1の実施の形態]
図1は、第1の実施の形態の画像処理装置の構成例および処理例を示す図である。画像処理装置10は、画像の合成処理を行う装置であり、例えばコンピュータとして実現される。画像処理装置10は、例えば、デスクトップコンピュータや、ノート型コンピュータや、タブレット型コンピュータの何れでもよい。画像処理装置10は、取得部11および合成部12を有する。
[第1の実施の形態]
図1は、第1の実施の形態の画像処理装置の構成例および処理例を示す図である。画像処理装置10は、画像の合成処理を行う装置であり、例えばコンピュータとして実現される。画像処理装置10は、例えば、デスクトップコンピュータや、ノート型コンピュータや、タブレット型コンピュータの何れでもよい。画像処理装置10は、取得部11および合成部12を有する。
取得部11は、画像1(第1の画像)に映った被写体1a(第1の被写体)と、画像1を撮像した撮像装置との間の距離L1(第1の距離)を取得する。取得部11は、画像2(第2の画像)に映った被写体2a(第2の被写体)と、画像2を撮像した撮像装置との間の距離L2(第2の距離)を取得する。なお、被写体1a,2aは、人物であってもよいし、人物以外の物体であってもよい。
距離L1,L2は、例えば、画像1,2を解析することで取得可能である。例えば、各画像の被写体から所定の複数の特徴点を抽出し、各画像における特徴点間の距離に基づいて、撮像装置と被写体との距離を取得することができる。また、専用のセンサデバイスを用いて計測された距離L1,L2を取得してもよい。
合成部12は、画像1における被写体1aの像と、画像2における被写体2aの像とを合成する。また、合成部12は、各像を合成する際に、距離L1と距離L2とに基づいて、被写体1aの像または被写体2aの像の少なくとも一方のサイズを調整する。これにより、被写体1a,2aの各像を合成した際に生じる違和感を低減することができる。
例えば、距離L1より距離L2の方が短い場合を考える。この場合、合成部12は、例えば、図1に示すように、被写体2aの像のサイズを縮小し、被写体1aの像と、縮小された被写体2aの像とを合成して合成画像3を生成する。図1の例では、被写体1aを含む画像1の一部に、縮小された被写体2aの像が合成されることで合成画像3が生成される。また、被写体2aの像のサイズは、被写体2aと撮像装置との距離が距離L1の状態で撮像されたときのサイズに近づくように(好ましくは一致するように)縮小される。例えば、被写体2aの像のサイズは、縦方向および横方向の長さがそれぞれ(L2/L1)倍になるように調整される。
また、距離L1より距離L2の方が短い場合の他の例として、合成部12は、被写体1aの像のサイズを拡大し、拡大された被写体1aの像と、被写体2aの像とを合成してもよい。あるいは、合成部12は、被写体1aの像のサイズを拡大すると共に、被写体2aの像のサイズを縮小して、拡大された被写体1aの像と縮小された被写体2aの像とを合成してもよい。すなわち、合成部12は、被写体1a,2aそれぞれの像のサイズが、被写体1a,2aそれぞれと撮像装置とが同じ距離の状態で撮像されたときのサイズに近づくように、被写体1aの像と被写体2aの像の少なくとも一方のサイズを調整する。
ここで、一方の画像に映った被写体の像のサイズと、他方の画像に映った被写体の像のサイズとの比率は、各被写体の実際のサイズの比率と一致するとは限らない。このため、仮に、各被写体の像のサイズを変更せずに合成を行うと、違和感のある合成画像が生成される可能性がある。
また、各被写体の像を合成する方法の例として、各被写体の像の大きさが同じになるように少なくとも一方の像のサイズを調整する方法が考えられる。しかし、この方法では、各被写体の実際の大きさが異なる場合でも、合成後の画像上では各被写体が同じ大きさで映ってしまうので、不自然な合成画像が生成されてしまう。
これに対して、上記の画像処理装置10によれば、各被写体の像を合成する際に、各被写体の像のサイズが、各被写体と撮像装置とが同じ距離の状態で撮像されたときのサイズに近づくように、少なくとも一方の被写体の像のサイズが調整される。これにより、合成後の画像における各被写体の像の大きさの比率が、各被写体の実際の大きさの比率に近づく。したがって、違和感の少ない自然な合成画像を生成することができる。
[第2の実施の形態]
図2は、第2の実施の形態の画像合成システムの例を示す図である。第2の実施の形態の画像合成システムは、撮像装置45、合成装置100、端末装置200および認証サーバ300を有する。合成装置100は、撮像装置45と接続されている。また、合成装置100、端末装置200および認証サーバ300は、ネットワーク20を介して互いに接続されている。
図2は、第2の実施の形態の画像合成システムの例を示す図である。第2の実施の形態の画像合成システムは、撮像装置45、合成装置100、端末装置200および認証サーバ300を有する。合成装置100は、撮像装置45と接続されている。また、合成装置100、端末装置200および認証サーバ300は、ネットワーク20を介して互いに接続されている。
撮像装置45は、所定の領域の画像を撮像し、撮像した画像のデータを合成装置100へ送信する。合成装置100は、画像の合成機能を有するコンピュータである。合成装置100には、例えば、デスクトップ型のコンピュータや、ノート型のコンピュータ等が挙げられる。なお、合成装置100は、第1の実施の形態の画像処理装置10の一例である。一方、端末装置200は、画像を撮像可能な撮像カメラを備える装置である。端末装置200は、携帯可能であり、例えば、スマートホンやタブレット型の端末が挙げられる。
合成装置100は、撮像装置45から受信した画像に映る所定の人物(例えば、合成装置100の利用者)の深度を計算する。人物の深度とは、撮像装置から、被写体の代表位置までの距離を意味する。
また、合成装置100は、端末装置200が撮像した画像のデータや、その画像に映る人物の深度を示す情報を端末装置200から受信する。合成装置100は、合成装置100が計算した深度と端末装置200から受信した深度とに基づいて、撮像装置45から受信した画像と、端末装置200から受信した画像とを合成し、合成した画像を端末装置200へ送信する。以下、合成された画像を“合成画像”と記載する場合がある。また、合成装置100は、合成画像を、合成装置100に接続されたディスプレイにも表示する。
なお、合成装置100に撮像装置が内蔵されている場合には、撮像装置45によって撮像された画像の代わりに合成装置100に内蔵された撮像装置によって撮像された画像が用いられてもよい。
端末装置200は、撮像した画像に映る所定の人物(例えば、端末装置200の利用者)の深度を算出する。端末装置200は、撮像した画像のデータと、算出した深度とを合成装置100へ送信する。
合成画像においては、撮像装置45によって撮像された画像に映る人物と、端末装置200によって撮像された画像に映る人物とが表示される。これにより、離れた場所に存在する人物を同一の画像上に合成して、合成画像を合成装置100および端末装置200に表示させるサービスが提供される。このようなサービスの例として、テレビ会議やテレビ電話などが考えられる。
また、合成装置100と端末装置200とは、ハイブリッドピアツーピア(ハイブリッドP2P:Hybrid Peer To Peer)方式により通信する。ここで、P2P方式とは、クライアントサーバ方式とは異なり、2つのノード(例えば、合成装置100や端末装置200)同士が対等の機能または立場で直接通信を行うことである。これに対して、ハイブリッドP2P方式は、実体的なデータはノード間で直接送受信されるものの、サーバが各ノードのアドレスや利用者のID(Identification)を管理する方式である。
例えば、ハイブリッドP2P方式において、各ノードは他のノードのアドレスを認識していない。そこで、通信を行う一方のノードは、例えば、利用者IDなどの識別情報を指定してサーバに問い合わせることで、他方のノードのアドレスを取得する。その後、一方のノードは、取得したアドレスを用いて他方のノードと直接通信する。
図2に示す画像合成システムでは、認証サーバ300がハイブリッドP2Pにおけるサーバに相当し、合成装置100および端末装置200がノードに相当する。すなわち、合成装置100または端末装置200が認証サーバ300から通信相手のアドレスを取得した後、合成装置100と端末装置200との間で画像データが直接的に送受信される。
認証サーバ300は、利用者のIDや、合成装置100および端末装置200のアドレスを管理する。また、認証サーバ300は、本画像合成システムの利用者を認証する。認証サーバ300は、認証した利用者が要求する通信先の装置(例えば、合成装置100)に、利用者が使用する装置(例えば、端末装置200)のアドレスを通知する。
図3は、合成装置のハードウェア構成例を示す図である。合成装置100は、プロセッサ101、RAM(Random Access Memory)102、HDD(Hard Disk Drive)103、画像信号処理部104、入力信号処理部105、ディスクドライブ106、通信インタフェース107および入出力インタフェース108を有する。これらのユニットは、合成装置100内でバス109に接続されている。
プロセッサ101は、プログラムの命令を実行する演算器を含み、例えばCPU(Central Processing Unit)である。プロセッサ101は、HDD103に記憶されているプログラムやデータの少なくとも一部をRAM102にロードしてプログラムを実行する。なお、プロセッサ101は複数のプロセッサコアを備えてもよい。また、合成装置100は、複数のプロセッサを備えてもよい。また、合成装置100は、複数のプロセッサまたは複数のプロセッサコアを用いて並列処理を行ってもよい。また、2以上のプロセッサの集合、FPGA(Field Programmable Gate Array)やASIC(Application Specific Integrated Circuit)等の専用回路、2以上の専用回路の集合、プロセッサと専用回路の組み合わせ等を「プロセッサ」と呼んでもよい。
RAM102は、プロセッサ101が実行するプログラムやプログラムから参照されるデータを一時的に記憶する揮発性メモリである。なお、合成装置100は、RAM以外の種類のメモリを備えてもよく、複数個の揮発性メモリを備えてもよい。
HDD103は、OS(Operating System)やファームウェアやアプリケーションソフトウェア等のソフトウェアのプログラムおよびデータを記憶する不揮発性の記憶装置である。なお、合成装置100は、フラッシュメモリ等の他の種類の記憶装置を備えてもよく、複数個の不揮発性の記憶装置を備えてもよい。
画像信号処理部104は、プロセッサ101からの命令に従って、合成装置100に接続されたディスプレイ31に画像を出力する。ディスプレイ31としては、CRT(Cathode Ray Tube)ディスプレイや液晶ディスプレイ等を用いることができる。
入力信号処理部105は、合成装置100に接続された入力デバイス32から入力信号を取得し、プロセッサ101に通知する。入力デバイス32としては、マウスやタッチパネル等のポインティングデバイス、キーボード等を用いることができる。
ディスクドライブ106は、記録媒体33に記録されたプログラムやデータを読み取る駆動装置である。記録媒体33として、例えば、フレキシブルディスク(FD:Flexible Disk)やHDD等の磁気ディスク、CD(Compact Disc)やDVD(Digital Versatile Disc)等の光ディスク、光磁気ディスク(MO:Magneto-Optical disk)を使用できる。ディスクドライブ106は、プロセッサ101からの命令に従って、記録媒体33から読み取ったプログラムやデータをRAM102またはHDD103に格納する。
通信インタフェース107は、ネットワーク20等のネットワークを介して他の情報処理装置(例えば、端末装置200等)と通信を行う。
入出力インタフェース108は、撮像装置45等の周辺機器を、合成装置100に接続するための通信インタフェースである。
入出力インタフェース108は、撮像装置45等の周辺機器を、合成装置100に接続するための通信インタフェースである。
なお、合成装置100はディスクドライブ106を備えていなくてもよく、専ら他の端末装置から制御される場合には、入力信号処理部105を備えていなくてもよい。また、ディスプレイ31や入力デバイス32は、合成装置100の筐体と一体に形成されていてもよい。
なお、認証サーバ300も、合成装置100と同様のハードウェア構成を有するコンピュータ(ただし、撮像装置が接続される必要はない)を用いて実現できる。
図4は、端末装置のハードウェア構成例を示す図である。端末装置200は、プロセッサ201、RAM202、フラッシュメモリ203、撮像カメラ204、ディスプレイ205、タッチパネル206および無線インタフェース207を有する。これらのユニットは、端末装置200内でバス208に接続されている。
図4は、端末装置のハードウェア構成例を示す図である。端末装置200は、プロセッサ201、RAM202、フラッシュメモリ203、撮像カメラ204、ディスプレイ205、タッチパネル206および無線インタフェース207を有する。これらのユニットは、端末装置200内でバス208に接続されている。
プロセッサ201は、前述のプロセッサ101と同様に、プログラムの命令を実行する演算器を含むプロセッサである。RAM202は、前述のRAM102と同様に、プロセッサ201が実行するプログラムやデータを一時的に記憶する揮発性メモリである。
フラッシュメモリ203は、OSやファームウェアやアプリケーションソフトウェア等のプログラムおよびデータを記憶する不揮発性の記憶装置である。なお、端末装置200は、HDD等の他の種類の記憶装置を備えてもよく、複数個の不揮発性の記憶装置を備えてもよい。
撮像カメラ204は、画像を撮像し、撮像した画像のデータをプロセッサ201へ出力する。
ディスプレイ205は、プロセッサ201からの命令に従って画像を表示する。ディスプレイ205としては、液晶ディスプレイ(LCD:Liquid Crystal Display)や有機EL(Electro Luminescence)ディスプレイ等を用いることができる。
ディスプレイ205は、プロセッサ201からの命令に従って画像を表示する。ディスプレイ205としては、液晶ディスプレイ(LCD:Liquid Crystal Display)や有機EL(Electro Luminescence)ディスプレイ等を用いることができる。
タッチパネル206は、ディスプレイ205に重ねて設けられており、ディスプレイ205に対するユーザのタッチ操作を検出してタッチ位置を入力信号としてプロセッサ201に通知する。タッチ操作には、タッチペン等のポインティングデバイスまたはユーザの指が用いられる。タッチ位置の検出方式には、例えば、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式等様々な検出方式があり、何れの方式を採用してもよい。なお、端末装置200は、複数の入力キーを備えたキーパッド等、他の種類の入力デバイスを備えてもよい。
無線インタフェース207は、無線通信を行う通信インタフェースである。無線インタフェース207は、受信信号の復調・復号や送信信号の符号化・変調等を行う。無線インタフェース207は、例えば、図示しないアクセスポイントを介してネットワーク20に接続する。端末装置200は、複数の無線インタフェースを備えてもよい。
なお、プロセッサ201に実行させるプログラムは、フラッシュメモリ203に他の記憶装置からコピーするようにしてもよい。また、プロセッサ201に実行させるプログラムは、無線インタフェース207がネットワーク20等からダウンロードするようにしてもよい。
次に、図5〜8を用いて、一方の撮像装置で撮像された画像と、他方の撮像装置で撮像された画像とを合成する方法について説明する。具体的には、まず、図5を用いて、従来の合成方法の参考例を示し、その参考例の問題点について説明する。そして、図6〜8を用いて、合成装置100により2つの画像を合成する方法について説明する。なお、これ以後の説明では、合成対象の画像を撮像する2つの撮像装置が同じ距離だけ離れた被写体を撮像したとき、撮像される各画像の画角が同じになるものとする。また、図5〜8の説明では、2つの撮像装置で撮像される画像の解像度も同じであるものとする。
図5で説明する合成方法の参考例では、まず、2つの画像のうち一方の画像に映る人物と、他方の画像に映る人物との大きさが合うように、2つの画像の少なくとも一方の画像に映る人物の像の大きさを調整する。人物の像の大きさの調整方法には、例えば、画像を拡大または縮小する方法や、画像を撮像する際の焦点距離を調整する方法などが挙げられる。ここでは、前者の方法を用いるが、後者の方法やその他の方法を用いてもよい。次に、拡大または縮小した一方の画像を、他方の画像の所定の領域に配置する。
図5は、人物の像の大きさに基づいて2つの画像を合成する例を示す図である。画像51,52は、異なる人物が映る画像である。画像51,52は、例えば、異なる撮像装置により撮像されたものである。画像51に映る人物51aは、成人であり、画像52に映る人物52aは、幼児である。なお、画像52は、撮像装置から得られた画像から人物52aが存在する領域を抽出して得られた画像である。領域51bは、画像52の人物52aの像を合成するために確保された画像51上の領域である。領域51bは、人物51aの像が収まる程度の大きさである。
この参考例では、人物51aの像の大きさに合うように人物52aの像の大きさを調整し、調整された人物52aの像を画像51上の領域51bに配置することで、画像51,52が合成される。例えば、まず、人物51aの像の大きさに合うように人物52aの像が縮小される。次に、縮小された人物52aの像が、画像51上の領域51b内に配置される。すると、図5下段に示すように、画像51,52が合成された画像53が生成される。しかし、この合成された画像53において、成人である人物51aと幼児である人物52aのそれぞれの実際の大きさは明らかに異なるにも関わらず、合成された画像53に映る人物51a,52aそれぞれの像の大きさが同じであるため、違和感が生じる。
図5で説明したように、人物の像の大きさが合うように画像を合成する方法では、合成された画像において、各人物の実際の大きさが明らかに異なる場合でも、各人物の像の大きさが同じになるため、その合成された画像が不自然になり、画像を見たユーザに違和感が生じる。
第2の実施の形態の画像合成システムは、このように合成された画像から生じる違和感を低減するものである。図6以降では、本画像合成システムにより、2つの画像を合成する方法について説明する。
図6は、人物の深度に基づいて2つの画像を合成する例を示す図である。なお、以下の説明では、合成装置100に接続された撮像装置45によって撮像された画像を“合成装置100の画像”と略称する場合がある。また、端末装置200の撮像カメラ204によって撮像された画像から、人物が映った領域を抽出することで得られた画像を、“端末装置200の画像”と略称する場合がある。
本画像合成システムでは、次のように、合成装置100の画像と端末装置200の画像とが、合成装置100により合成される。まず、端末装置200の画像が、合成装置100の画像に映る人物の深度に一致するように、拡大または縮小される。そして、拡大または縮小された画像が、合成装置100の画像の所定の領域に配置される。
例えば、画像54は、合成装置100の画像である。画像55は、端末装置200の画像である。画像54には、人物54aの像が含まれる。人物54aは、成人である。また、画像54には、領域54bが設定される。領域54bは、画像55との合成の際、画像55の人物55aの像を配置するために確保された領域である。以下、領域54bのような領域を“人物配置領域”と記載する場合がある。画像55には、人物55aの像が含まれる。人物55aは、幼児である。
なお、図6では、理解しやすいように、設定される人物配置領域(領域54b)を矩形領域として示しているが、実際には、人物配置領域の代表位置(例えば中心位置)が画像54に設定されればよい。これは、画像54に対して合成される画像の大きさが一定にならないからである。
ここで、人物54aの深度は10mであり、人物55aの深度は5mである場合、まず、人物55aの像が人物55aを深度10mで撮像したときの大きさになるように、画像55が合成装置100により縮小される。画像56は、画像55が縮小されたときの画像である。すると、画像54に映る人物54aの深度と、画像56に映る人物55aの深度とが擬似的に一致した状態になる。
そして、画像54の人物配置領域である領域54bに画像56を配置することで、合成された画像57が生成される。この合成処理では、画像54における領域54bの画像データが、画像56のデータに置換される。画像57において、成人である人物54aの像の大きさと、幼児である人物55aの像の大きさとの比率は、人物54aの実際の大きさと人物55aの実際の大きさとの比率と一致するため、図5における画像53と比較して違和感が低減される。
図6で説明したように、合成装置100は、撮像装置45から受信した画像に映る人物54aの深度と、端末装置200から受信した画像に映る人物55aの深度とが一致するように、少なくとも一方の画像を拡大または縮小し、合成する。これにより、各人物の像の大きさの比率は、各人物の実際の大きさの比率と一致するため、合成された画像から生じる違和感が低減される。
図7は、深度の算出例を示す図である。本画像合成システムにおいて、各画像における人物の深度は、人物の像の特異点間距離に基づいて算出される。ここで、“特異点”とは、人物の像における特定の部位の代表位置を意味する。また、特異点は、画像から複数検出される。本画像合成システムにおいて、特異点は、左右の黒目の代表位置を示すものとするが、左右の口角の代表位置や、左右の耳の代表位置等、他の部位を示すものであってもよい。また、“特異点間距離”とは、人物の像における特異点それぞれの間の距離を意味する。
以下、合成装置100での深度の算出処理について説明するが、端末装置200でも同様の手順で深度を算出することができる。
本画像合成システムでは、画像合成のサービスが運用される前の事前処理として、人物毎に参照画像の撮像が行われる。この事前処理では、例えば、撮像装置から予め決められた距離だけ離れた位置に人物を配置した状態で、参照画像が撮像される。
本画像合成システムでは、画像合成のサービスが運用される前の事前処理として、人物毎に参照画像の撮像が行われる。この事前処理では、例えば、撮像装置から予め決められた距離だけ離れた位置に人物を配置した状態で、参照画像が撮像される。
図7に示す参照画像61は、事前処理において、撮像装置45が人物60を撮像したときの画像である。距離L11は、参照画像61を撮像した撮像装置45と、人物60との距離である。すなわち、距離L11は、参照画像61に映る人物60の深度となり、ここでは10mであるとする。また、図7において、参照画像61に映る人物60の像の特異点間距離は、100ピクセルとする。
画像62は、画像合成が行われる際に、撮像装置45が人物60を撮像したときの画像である。距離L12は、画像62を撮像した撮像装置45と、人物60との距離である。すなわち、距離L12は、画像62に映る人物60の深度となる。また、図7において、画像62に映る人物60の像の特異点間距離は、50ピクセルとする。
ここで、2つの画像それぞれに映る人物は同一人物であるため、各画像に映る人物の深度の比率は、各画像に映る人物の像の特異点間距離の比率に反比例する。そのため、画像62に映る人物60の深度(距離L12)は、“10m×100÷50=20m”と算出される。
図7で説明したように、本画像合成システムにおいて、画像62に映る人物60の深度は、参照画像61に映る人物60の深度と、参照画像61および画像62に映る人物60の像それぞれの特異点間距離の比率とに基づいて算出される。これにより、画像に映る人物の深度を簡易に算出することができる。例えば、撮像装置とは別に深度検出のためのセンサを設ける必要がなくなり、装置の製造コストや大きさを抑制できる。
図8は、特異点間距離の補正例を示す図である。図8左側は、人物70が撮像装置45に対して正面に向いている場合、画像を撮像する装置(ここでは、撮像装置45を用いる)が人物70を撮像したときの図である。撮像装置45に撮像された画像に映る人物70の像の特異点間距離として線分ABに相当する長さが計測される。
一方、図8右側は、人物70が撮像装置45に対して正面以外の方向に向いている場合、図8左側と同じ距離だけ離れた場所から、撮像装置45が人物70を撮像したときの図である。このとき、撮像装置45に撮像された画像に映る人物70の像の特異点間距離として、線分CDの長さが測定される。しかし、線分CDの長さは、人物70が撮像装置45に対して正面の方向を向いている場合に計測された線分ABの長さと異なるため、これらの画像に映る人物70の特異点間距離に基づいても、深度を精度よく算出できない場合がある。
ここで、図8右側において、線分DEは、人物70の左右の目を結んだ線分と同じ長さであり、かつ、人物70の左右の目を結んだ線分と平行である。すなわち、線分DEの長さは、線分ABの長さに相当する長さとなる。そのため、人物70の向きの角度に基づいて、次のように線分DEの長さを求めることで、正面以外の方向を向いた人物の像の特異点間距離を、正面を向いたときの人物の像の特異点間距離に補正できる。
まず、“90°−(人物70の向きの角度)”により、線分CDと線分DEとのなす角θが算出される。次に、“(線分CDの長さ)/cosθ”により、線分DEの長さが算出される。この線分DEの長さが、人物70の像における補正後の特異点間距離となる。すなわち、線分DEの長さは、正面を向いた状態で撮像された人物70の像の特異点間距離となる。
図8で説明したように、撮像装置45から見た人物70の向きに基づいて、人物70の特異点間距離が補正される。これにより、撮像装置45から見て正面以外の方向を向いた人物の像の特異点間距離を、正面の方向を向いたときの人物の像の特異点間距離に補正できる。そして、補正後の特異点間距離を用いて深度を計算することで、合成装置100は、人物のカメラに対する向きが参照画像と異なる場合でも、深度を精度よく算出できる。
次に、図9で、本画像合成システムに含まれる各装置の機能について説明する。
図9は、合成装置、端末装置および認証サーバの機能例を示す図である。合成装置100は、管理情報記憶部110、参照画像情報記憶部120、応答通知部130、画像取得部140、人物情報算出部150、画像情報受信部160、画像合成部170、合成画像送信部180および合成画像出力部190を有する。
図9は、合成装置、端末装置および認証サーバの機能例を示す図である。合成装置100は、管理情報記憶部110、参照画像情報記憶部120、応答通知部130、画像取得部140、人物情報算出部150、画像情報受信部160、画像合成部170、合成画像送信部180および合成画像出力部190を有する。
管理情報記憶部110および参照画像情報記憶部120は、RAM102またはHDD103に確保した記憶領域として実現できる。応答通知部130、画像取得部140、人物情報算出部150、画像情報受信部160、画像合成部170、合成画像送信部180および合成画像出力部190の処理は、例えば、プロセッサ101が所定のプログラムを実行することで実現される。
管理情報記憶部110は、本画像合成システムの利用者IDのリストを記憶する。参照画像情報記憶部120は、本画像合成システムの利用者等の所定の人物を被写体とした参照画像を記憶する。また、参照画像情報記憶部120は、記憶された参照画像に関する情報を予め格納した参照画像情報テーブルを記憶する。
応答通知部130は、端末装置200による通信要求を、認証サーバ300を介して受信する。認証サーバ300からの要求には、利用者IDと、端末装置200のアドレスとが含まれる。応答通知部130が通信要求を受信することで、合成装置100は、端末装置200のアドレスを認識し、端末装置200と通信可能となる。また、応答通知部130は、管理情報記憶部110に記憶されている利用者のリストに端末装置200の利用者IDが含まれている場合、受信したアドレスを用いて、通信要求に対する応答通知を端末装置200へ送信する。
画像取得部140は、撮像装置45によって撮像された画像を、撮像装置45から所定時間間隔で取得する。
人物情報算出部150は、参照画像情報テーブルに登録されている参照画像を用いて、画像取得部140が取得した画像から、参照画像情報テーブルに登録されている人物を抽出すると共に、その画像について人物配置領域を設定する。人物配置領域は、例えば、画像に映った人物の像と重複しない所定以上の大きさになるように設定される。人物情報算出部150は、画像から抽出した人物の像の特異点間距離を測定する。また、人物情報算出部150は、予め撮像された参照画像に映る人物の深度および特異点間距離と、測定した特異点間距離とに基づいて、抽出した人物の深度を算出する。
人物情報算出部150は、参照画像情報テーブルに登録されている参照画像を用いて、画像取得部140が取得した画像から、参照画像情報テーブルに登録されている人物を抽出すると共に、その画像について人物配置領域を設定する。人物配置領域は、例えば、画像に映った人物の像と重複しない所定以上の大きさになるように設定される。人物情報算出部150は、画像から抽出した人物の像の特異点間距離を測定する。また、人物情報算出部150は、予め撮像された参照画像に映る人物の深度および特異点間距離と、測定した特異点間距離とに基づいて、抽出した人物の深度を算出する。
画像情報受信部160は、端末装置200の画像のデータと、その画像に映る人物の深度を示す情報とを端末装置200から受信する。
また、画像合成部170は、画像情報受信部160が受信した深度と、人物情報算出部150が算出した深度に基づいて、画像情報受信部160が受信した画像を拡大または縮小する。さらに、画像合成部170は、合成装置100の画像の人物配置領域に、拡大または縮小された端末装置200の画像を配置することで合成する。
また、画像合成部170は、画像情報受信部160が受信した深度と、人物情報算出部150が算出した深度に基づいて、画像情報受信部160が受信した画像を拡大または縮小する。さらに、画像合成部170は、合成装置100の画像の人物配置領域に、拡大または縮小された端末装置200の画像を配置することで合成する。
合成画像送信部180は、画像合成部170が合成した合成画像を端末装置200へ送信する。これと共に、合成画像出力部190は、画像合成部170により合成された合成画像をディスプレイ31へ出力させる。
端末装置200は、参照画像情報記憶部210、通信要求部220、画像取得部230、人物情報算出部240、合成画像取得部250および合成画像出力部260を有する。
参照画像情報記憶部210は、RAM202またはフラッシュメモリ203に確保した記憶領域として実現できる。通信要求部220、画像取得部230、人物情報算出部240、合成画像取得部250および合成画像出力部260の処理は、例えば、プロセッサ201が所定のプログラムを実行することで実現される。
参照画像情報記憶部210は、RAM202またはフラッシュメモリ203に確保した記憶領域として実現できる。通信要求部220、画像取得部230、人物情報算出部240、合成画像取得部250および合成画像出力部260の処理は、例えば、プロセッサ201が所定のプログラムを実行することで実現される。
参照画像情報記憶部210は、端末装置200の利用者についての参照画像や、参照画像に関する情報を予め格納した参照画像情報テーブルを記憶する。
通信要求部220は、認証サーバ300に合成装置100との通信要求を送信する。通信要求部220は、合成装置100から通信要求に対する応答通知を受信する。端末装置200は、応答通知の送信元アドレスを参照することにより、合成装置100との通信が可能となる。
通信要求部220は、認証サーバ300に合成装置100との通信要求を送信する。通信要求部220は、合成装置100から通信要求に対する応答通知を受信する。端末装置200は、応答通知の送信元アドレスを参照することにより、合成装置100との通信が可能となる。
画像取得部230は、撮像カメラ204を用いて所定時間間隔で画像を取得する。人物情報算出部240は、参照画像情報テーブルに登録されている参照画像を用いて、取得した画像から所定の人物の像を抽出する。人物情報算出部240は、人物情報算出部150と同様に、抽出した人物の像の特異点間距離を測定し、参照画像に映る人物の深度および特異点間距離と、測定した特異点間距離とに基づいて、抽出した人物の深度を算出する。
合成画像取得部250は、人物情報算出部240が算出した人物の深度を示す情報を、画像取得部230が取得した画像のデータと共に、合成装置100へ送信する。そして、合成画像取得部250は、合成画像を合成装置100から受信する。合成画像出力部260は、合成画像取得部250が受信した合成画像をディスプレイ205へ表示させる。
なお、合成画像取得部250は、例えば、合成装置100の画像情報受信部160が、受信した画像における人物の領域を認識可能な状態で、撮像カメラ204から取得した画像を合成装置100に送信する。例えば、合成画像取得部250は、取得した画像における人物の抽出領域を示す位置情報を、その画像のデータと共に合成装置100に送信する。あるいは、合成画像取得部250は、取得した画像のうち、人物の抽出領域以外の領域の画素値を0に変換し、変換後の画像のデータを合成装置100に送信する。また、さらに別の方法としては、合成画像取得部250は取得した画像のデータをそのまま合成装置100に送信し、合成装置100の画像情報受信部160が、受信した画像から人物領域を抽出してもよい。
認証サーバ300は、利用者情報記憶部310および認証部320を有する。利用者情報記憶部310は、認証サーバ300の備えるRAMまたはHDDに確保した記憶領域として実現できる。認証部320の処理は、例えば、認証サーバ300の備えるプロセッサが所定のプログラムを実行することで実現される。
利用者情報記憶部310は、本画像合成システムの利用者に関する情報を予め格納した利用者情報テーブルを記憶する。認証部320は、合成装置100との通信要求を端末装置200から受信する。認証部320は、端末装置200の利用者を認証する。認証部320は、認証に成功した場合、利用者IDおよび端末装置200のアドレスと共に、通信要求を合成装置100へ送信する。
次に、図10〜12を用いて、本画像合成システムが用いるテーブルについて説明する。
図10は、利用者リストの例を示す図である。利用者リスト111は、本画像合成システムの利用者のリストである。利用者リスト111は、管理情報記憶部110に予め記憶されている。利用者リスト111は、利用者IDの項目を有する。利用者IDの項目には、本画像合成システムの利用者を識別するための識別子が設定される。
図10は、利用者リストの例を示す図である。利用者リスト111は、本画像合成システムの利用者のリストである。利用者リスト111は、管理情報記憶部110に予め記憶されている。利用者リスト111は、利用者IDの項目を有する。利用者IDの項目には、本画像合成システムの利用者を識別するための識別子が設定される。
図11は、参照画像情報テーブルの例を示す図である。参照画像情報テーブル121,211は、参照画像に関する情報を予め格納する。参照画像には、所定の人物の像が含まれている。人物の例として、本画像合成システムの各装置の利用者が挙げられるが、各装置の利用者以外の撮像対象者であってもよい。参照画像情報テーブル121は、合成装置100の備える参照画像情報記憶部120に記憶され、参照画像情報テーブル211は、端末装置200の備える参照画像情報記憶部210に記憶されている。
参照画像情報テーブル121,211は、人物ID、参照画像、特異点間距離および深度の項目を有する。人物IDの項目には、参照画像に映る人物を識別するための識別子が設定される。参照画像の項目には、参照画像を示す情報が設定される。参照画像を示す情報は、参照画像のデータであってもよいし、参照画像のデータの保存場所を示す情報であってもよい。なお、参照画像のデータは、画像から対応する人物を認識する際のテンプレートとして利用される。
特異点間距離の項目には、参照画像に映る人物の像の特異点間距離を示す情報が設定される。参照画像に映る人物の深度の項目には、参照画像に映る人物の深度を示す情報が設定される。
図12は、利用者情報テーブルの例を示す図である。利用者情報テーブル311は、本画像合成システムの利用者に関する情報を予め格納する。利用者情報テーブル311は、利用者情報記憶部310に記憶されている。利用者情報テーブル311は、利用者ID、装置ID、アドレスおよびパスワードの項目を有する。
利用者IDの項目には、本画像合成システムの利用者を識別するための識別子が設定される。装置IDの項目には、利用者が利用する装置(例えば、合成装置100または端末装置200)を識別するための識別子が設定される。アドレスの項目には、本画像合成システムの利用者が利用する装置(例えば、合成装置100または端末装置200)のアドレスが設定される。パスワードの項目には、本画像合成システムの利用者のパスワードが設定される。
図13は、合成画像の配信のシーケンス例を示す図である。図13では、撮像装置45や撮像カメラ204から画像を入力する処理については、説明を省略する。また、図13では、まず、ステップS1〜S4を用いて、合成装置100と端末装置200とを通信可能にするための手続きについて説明し、次に、ステップS5以降で、合成画像の配信について説明する。
本画像合成システムにおいて、合成装置100および端末装置200は、認証サーバ300以外の装置の送信先アドレスを互いに認識していないため、直接通信できない。そこで、合成装置100および端末装置200は、認証サーバ300とステップS1〜4に示す手続きを行うことで、直接通信することができるようになる。その後、合成装置100および端末装置200は、ステップS5を実行し、さらにステップS6〜S12の処理を繰り返し実行することで、合成された動画を取得し、ディスプレイに表示可能となる。
以下、図13に示す処理をステップ番号に沿って説明する。
(S1)端末装置200は、合成装置100と通信するための通信要求を認証サーバ300へ送信する。この通信要求には、利用者IDとパスワードとが含まれる。認証サーバ300は、合成装置100との通信要求を端末装置200から受信する。
(S1)端末装置200は、合成装置100と通信するための通信要求を認証サーバ300へ送信する。この通信要求には、利用者IDとパスワードとが含まれる。認証サーバ300は、合成装置100との通信要求を端末装置200から受信する。
(S2)認証サーバ300は、受信した利用者IDおよびパスワードを用いて、認証処理を行う。具体的には、認証サーバ300は、利用者IDおよびパスワードを含むレコードが利用者情報テーブル311に存在する場合、認証が成功したと判定する。図13では、認証に成功したとする。
(S3)認証サーバ300は、利用者IDと、端末装置200のアドレスと共に、端末装置200による通信要求を合成装置100へ送信する。合成装置100は、利用者IDと、端末装置200のアドレスと、通信要求とを認証サーバ300から受信する。これにより、合成装置100は、端末装置200のアドレスを認識できる。
(S4)合成装置100は、受信した利用者IDが利用者リスト111に含まれているか判定する。ここでは、利用者IDが利用者リスト111に含まれているものとする。利用者IDが利用者リスト111に含まれている場合、認証サーバ300から受信したアドレスを用いて、受信した通信要求に対する応答通知を端末装置200へ送信する。端末装置200は、通信要求に対する応答通知を合成装置100から受信する。端末装置200は、応答通知の送信元アドレスを参照することで、合成装置100の送信先アドレスを認識できる。これにより、合成装置100と端末装置200との間の接続が確立される。
なお、利用者IDが利用者リスト111に含まれていない場合、利用者IDおよび送信アドレスと共に通信要求は破棄される。
このように、合成装置100および端末装置200は、ステップS1〜S4の手続きを行うことで、互いの送信先アドレスを認識し、直接通信が可能となる。
このように、合成装置100および端末装置200は、ステップS1〜S4の手続きを行うことで、互いの送信先アドレスを認識し、直接通信が可能となる。
(S5)合成装置100は、合成装置100の画像の解像度を端末装置200へ送信する。端末装置200は、合成装置100の画像の解像度を合成装置100から受信する。 (S6)合成装置100は、図7〜8で説明した方法で、合成装置100の画像に映る人物の深度を算出する。
(S7)端末装置200は、図7〜8で説明した方法で、端末装置200の画像に映る人物の深度を算出する。
(S8)端末装置200は、端末装置200の撮像カメラ204から取得した画像のデータと、ステップS7で算出した人物の深度とを、合成装置100へ送信する。この際、前述のように、撮像カメラ204から取得した画像は、合成装置100側で、受信した画像における人物の領域を認識可能な状態で、送信される。合成装置100は、端末装置200の画像のデータと、ステップS7で算出した人物の深度とを、端末装置200から受信する。
(S8)端末装置200は、端末装置200の撮像カメラ204から取得した画像のデータと、ステップS7で算出した人物の深度とを、合成装置100へ送信する。この際、前述のように、撮像カメラ204から取得した画像は、合成装置100側で、受信した画像における人物の領域を認識可能な状態で、送信される。合成装置100は、端末装置200の画像のデータと、ステップS7で算出した人物の深度とを、端末装置200から受信する。
なお、ステップS5で受信した、合成装置100の画像の解像度と、端末装置200の撮像カメラ204から取得した画像の解像度とが異なる場合には、端末装置200は、撮像カメラ204から取得した画像の解像度を、ステップS5で受信した解像度に変換し、変換後の画像を合成装置100へ送信する。また、ステップS5での解像度の送信と、ステップS8での送信時における解像度の変換とが行われない代わりに、ステップS8において、合成装置100が、端末装置200から受信した画像の解像度を合成装置100の画像の解像度に変換してもよい。また、合成装置100の画像の解像度と、端末装置200の撮像カメラ204から取得される画像の解像度とが同じであることが前提である場合には、ステップS5での解像度の送信も、端末装置200または合成装置100での解像度変換も行われる必要はない。
(S9)合成装置100は、合成装置100の画像および端末装置200から受信した画像それぞれに映る人物の深度に基づいて、端末装置200から受信した画像のうち、人物が映った領域の画像の大きさを調整する。合成装置100は、合成装置100の画像内の所定領域に、大きさを調整した画像を配置することで、合成画像を生成する。
(S10)合成装置100は、生成した合成画像を端末装置200へ送信する。
(S11)合成装置100は、生成した合成画像をディスプレイ31へ表示させる。
(S12)端末装置200は、受信した合成画像をディスプレイ205へ表示させる。
(S11)合成装置100は、生成した合成画像をディスプレイ31へ表示させる。
(S12)端末装置200は、受信した合成画像をディスプレイ205へ表示させる。
次に、図14〜17を用いて、合成画像の配信に関する処理について、フローチャートを用いて説明する。
図14は、合成画像の生成および送信処理の例を示すフローチャートである。以下、図14〜15に示す処理をステップ番号に沿って説明する。
図14は、合成画像の生成および送信処理の例を示すフローチャートである。以下、図14〜15に示す処理をステップ番号に沿って説明する。
(S21)応答通知部130は、図13のステップS1〜S4で説明した方法で、端末装置200による通信要求を、端末装置200のアドレス等と共に認証サーバ300から受信し、通信要求に対する応答通知を端末装置200へ送信する。これにより、合成装置100および端末装置200は、互いのアドレスを認識し、直接通信できるようになる。
(S22)画像取得部140は、撮像装置45で撮像される画像の解像度を端末装置200へ送信する。
(S23)画像取得部140は、撮像装置45から画像のデータを取得する。これ以後、画像取得部140は、所定時間間隔で撮像装置45から画像のデータを取得する。
(S23)画像取得部140は、撮像装置45から画像のデータを取得する。これ以後、画像取得部140は、所定時間間隔で撮像装置45から画像のデータを取得する。
(S24)人物情報算出部150は、撮像装置45から取得した画像から、所定の人物の像を抽出する。具体的には、人物情報算出部150は、参照画像情報テーブル121に登録された各参照画像の何れかに映る人物とパターンが一致する人物の像を抽出する。
(S25)人物情報算出部150は、ステップS23で取得した画像に、人物配置領域を設定する。例えば、人物情報算出部150は、抽出した人物の像の左右の何れかに、人物配置領域を設定する。
なお、人物情報算出部150は、所定フレーム数の画像を撮像装置45から取得するまでに、ステップS24で人物の像を抽出できなかったり、ステップS25で人物配置領域として設定可能な領域を検出できなかったりした場合、タイムアウトにして処理を終了してもよい。
(S26)人物情報算出部150は、ステップS24で抽出した人物の像について、特異点間距離を計測する。
(S27)人物情報算出部150は、ステップS24で抽出した人物の向きを判定する。人物の向きは、例えば、抽出した人物の像に対するその人物の鼻の像の相対位置に基づいて算出できる。
(S27)人物情報算出部150は、ステップS24で抽出した人物の向きを判定する。人物の向きは、例えば、抽出した人物の像に対するその人物の鼻の像の相対位置に基づいて算出できる。
また、抽出した人物の向きは、人物の向き毎に撮像された参照画像を、その人物の向きと対応付けて予め参照画像情報テーブル121等に格納することで、次のように算出されてもよい。まず、人物情報算出部150は、抽出した人物の像とパターンが一致する人物の像を含む参照画像を検索する。そして、検索した参照画像に対応する人物の向きを、抽出した人物の向きとして算出する。
(S28)ステップS27での向きの判定により、ステップS24で抽出した人物が正面を向いていない場合、人物情報算出部150は、ステップS26で計測した特異点間距離を、その人物が撮像装置45に対して正面を向いたときの特異点間距離に補正する。特異点間距離の補正は、ステップS27で計測した人物の向きに基づいて、図8で説明した方法を用いる。
(S29)人物情報算出部150は、抽出された人物に対応する参照画像(ただし、正面を向いた人物が映っているもの)についての深度および特異点間距離と、計測された特異点間距離(ステップS28で補正が行われた場合は、補正された特異点間距離)とに基づいて、ステップS24で抽出された人物について深度を算出する。具体的には、人物情報算出部150は、“(参照画像に映る人物の深度)×{(参照画像に映る人物の像の特異点間距離)/(計測された特異点間距離)}”により抽出した人物の深度を算出する。
参照画像に映る人物の像の特異点間距離および深度は、ステップS24でパターンが一致した参照画像を含むレコードを参照画像情報テーブル121から検索し、検索したレコードから特異点間距離および深度を読み出すことで取得できる。
図15は、合成画像の生成および送信処理の例を示すフローチャート(続き)である。
(S41)画像情報受信部160は、端末装置200で撮像された画像のデータ、および、その画像に映る人物の深度を端末装置200から受信する。
(S41)画像情報受信部160は、端末装置200で撮像された画像のデータ、および、その画像に映る人物の深度を端末装置200から受信する。
(S42)画像合成部170は、ステップS41で受信した深度と、図14のステップS29で算出された深度とに基づいて、図6で説明した方法で、端末装置200から受信した画像における、人物が映った領域の画像の大きさを調整(拡大または縮小)する。
(S43)画像合成部170は、図14のステップS25で設定された領域に、ステップS42で調整された画像を配置することで、合成画像を生成する。
(S44)合成画像送信部180は、ステップS43で生成された合成画像データを端末装置200へ送信する。
(S44)合成画像送信部180は、ステップS43で生成された合成画像データを端末装置200へ送信する。
(S45)合成画像出力部190は、ステップS43で生成された合成画像をディスプレイ31へ表示させる。
その後、ステップS23〜S45の処理が繰り返し実行される。これにより、合成装置100側で撮像された、人物を含む画像に、端末装置200側で撮像された人物の画像が合成された合成画像が、動画として、ディスプレイ31に表示されると共に、端末装置200に送信される。
その後、ステップS23〜S45の処理が繰り返し実行される。これにより、合成装置100側で撮像された、人物を含む画像に、端末装置200側で撮像された人物の画像が合成された合成画像が、動画として、ディスプレイ31に表示されると共に、端末装置200に送信される。
図16は、合成画像の受信処理の例を示すフローチャートである。以下、図16〜17に示す処理をステップ番号に沿って説明する。
(S51)通信要求部220は、図13のステップS1〜S4で説明した方法で、合成装置100との通信要求を認証サーバ300へ送信し、応答通知を合成装置100から受信する。これにより、端末装置200は、合成装置100のアドレスを認識し、合成装置100と直接通信できるようになる。
(S51)通信要求部220は、図13のステップS1〜S4で説明した方法で、合成装置100との通信要求を認証サーバ300へ送信し、応答通知を合成装置100から受信する。これにより、端末装置200は、合成装置100のアドレスを認識し、合成装置100と直接通信できるようになる。
(S52)画像取得部230は、合成装置100の画像の解像度を、合成装置100から受信する。
(S53)画像取得部230は、所定時間間隔で撮像カメラ204から画像データを取得する。
(S53)画像取得部230は、所定時間間隔で撮像カメラ204から画像データを取得する。
(S54)人物情報算出部240は、撮像カメラ204から取得した画像から、人物の像を抽出する。具体的には、人物情報算出部240は、参照画像情報テーブル211に登録された各参照画像に映る人物と、パターンが一致する人物の像を、取得した画像から抽出する。
なお、人物情報算出部240は、所定フレーム数の画像を撮像カメラ204から取得するまでに、人物の像が抽出されなかった場合、タイムアウトにして処理を終了してもよい。
(S55)人物情報算出部240は、ステップS54で抽出した人物の像について、特異点間距離を計測する。
(S56)人物情報算出部240は、図14のステップS27と同様の方法で、ステップS54で抽出した人物の向きを判定する。
(S56)人物情報算出部240は、図14のステップS27と同様の方法で、ステップS54で抽出した人物の向きを判定する。
(S57)ステップS56での向きの判定により、ステップS54で抽出した人物が正面を向いていない場合、人物情報算出部240は、図14のステップS28と同様の方法で、ステップS56で計測した人物の向きに基づいて、ステップS55で計測した特異点間距離を、その人物が撮像カメラ204に対して正面を向いたときの特異点間距離に補正する。
(S58)人物情報算出部240は、抽出された人物に対応する参照画像(ただし、正面を向いた人物が映っているもの)における深度および特異点間距離と、計測された特異点間距離(ステップS57で補正が行われた場合は、補正された特異点間距離)とに基づいて、図14のステップS29と同様の方法で、ステップS54で抽出した人物の深度を算出する。
図17は、合成画像の受信処理の例を示すフローチャート(続き)である。
(S61)図16のステップS52で受信した解像度と、撮像カメラ204で撮像される画像の解像度とが異なる場合、合成画像取得部250は、ステップS52で受信した解像度に合わせて、撮像カメラ204から取得した画像の解像度を調整する。
(S61)図16のステップS52で受信した解像度と、撮像カメラ204で撮像される画像の解像度とが異なる場合、合成画像取得部250は、ステップS52で受信した解像度に合わせて、撮像カメラ204から取得した画像の解像度を調整する。
(S62)合成画像取得部250は、撮像カメラ204から取得した画像(ステップS61で解像度が調整された場合、調整後の画像)のデータ、および、図16のステップS58で算出された深度を合成装置100へ送信する。この画像送信では、前述のように、合成装置100側で、受信した画像における人物の領域を認識可能な状態で、画像が送信されることが望ましい。
(S63)合成画像取得部250は、合成画像のデータを合成装置100から受信したか判定する。合成画像のデータを受信した場合、処理をステップS65へ進める。合成画像のデータを合成装置100から受信していない場合、処理をステップS64へ進める。
(S64)合成画像取得部250は、タイムアウトが発生したか判定する。すなわち、合成画像取得部250は、合成画像の受信待ちの状態となったときから、所定の時間が経過したか判定する。タイムアウトが発生した場合、処理をステップS66へ進める。タイムアウトが発生していない場合、処理をステップS63へ進める。
すなわち、合成画像取得部250は、タイムアウトが発生するまでの間、合成画像のデータを受信するまで待機する。
(S65)合成画像出力部260は、ステップS63で受信した合成画像を、ディスプレイ205に表示させる。
(S65)合成画像出力部260は、ステップS63で受信した合成画像を、ディスプレイ205に表示させる。
(S66)合成画像取得部250は、本画像合成システムを利用できない旨をディスプレイ205に表示させる。なお、合成画像取得部250は、本画像合成システムを利用できない旨を、ディスプレイ205に表示させる他、ログファイルに出力したり、他の周辺機器に出力したりしてもよい。
第2の実施の形態による画像合成システムによれば、合成装置100の画像に映る人物の深度と、端末装置200の画像に映る人物の深度に基づいて、端末装置200の画像に映る人物の像の大きさが調整される。そして、調整後の人物の像を合成装置100の画像の人物配置領域に配置することで、合成画像が生成される。これにより、画像内の被写体間のサイズ比が実際の被写体間のサイズ比と一致しないことで生じる違和感を低減できる。
また、同じ深度で撮像された人物の像であっても、その特異点間距離は、人物毎に異なる。上記のように、画像に映る個々の人物に対応する特異点間距離に基づいて、画像に映る人物の深度が算出される。これにより、人物毎に特異点間距離を正確に計測でき、その結果、人物の深度を精度よく算出できる。
また、画像を解析することで深度を算出できるため、例えば、専用のセンサデバイスを用いて深度を計算する方法と比較して、装置の製造コストを低減でき、装置を小型化できる。さらに、例えば、複数の撮像装置を用いて三角測量により深度を算出する方法と比較して、深度を計測するための撮像装置の数が少なくなるため、撮像装置のコストを低減できる。
また、画像に映る人物の向きの角度に基づいて、画像上の人物の特異点間距離が、その人物が正面を向いたときの特異点間距離に補正される。これにより、特異点間距離の基準となる参照画像に映る人物の向きと、撮像された画像に映る人物の向きとが異なる場合でも、補正後の特異点間距離を用いることで、撮像された画像に映る人物の深度を精度よく算出することができる。また、特異点間距離と深度を対応付けた参照画像を人物の向き毎に予め記憶する必要がなくなり、合成装置100の備える記憶装置の記憶領域を節約できる。
なお、ハイブリッドP2P方式の代わりに、ピュアP2P方式により合成装置100および端末装置200が通信されてもよい。ピュアP2P方式とは、ハイブリッドP2Pとは異なり、各装置間で互いのアドレスを管理し、直接通信を行う方式である。ピュアP2P方式を用いる場合、合成装置100および端末装置200は、互いのアドレスを認識しており、図13のステップS1〜S4のような、認証処理やアドレス通知処理も不要となる。そのため、ピュアP2P方式を用いる場合、そのシステムには、認証サーバ300を用いる必要がなくなる。
次に、図18〜19を用いて、人物配置領域の設定方法の第1の変形例について説明する。
図18は、人物配置領域の設定方法の第1の変形例を示す図である。第1の変形例では、画像から抽出された人物の向きに応じて、人物配置領域を設定する位置を可変にする。
図18は、人物配置領域の設定方法の第1の変形例を示す図である。第1の変形例では、画像から抽出された人物の向きに応じて、人物配置領域を設定する位置を可変にする。
図18に示す画像80は、撮像装置45によって撮像された画像である。画像80の略中央部には人物81が映っており、人物81の右側にも左側にも、端末装置200で撮像された人物の像を合成できる十分な領域が存在する。例えば、人物81の左側には人物配置領域82aを設定可能であり、人物81の右側には人物配置領域82bを設定可能である。この場合、図14のステップS25の人物配置領域の設定処理は、次のように変形される。
人物情報算出部150は、ステップS24で抽出された人物の像の位置に基づいて、人物の像の左右の両側に他の人物の像を合成できるだけの十分な領域が存在するかを判定する。人物情報算出部150は、十分な領域が存在すると判定した場合、ステップS27と同様の方法で、抽出された人物の向きを判定する。この判定では、人物が左右のどちらを向いているかが判定される。そして、人物情報算出部150は、人物が向いている方向に、人物配置領域を設定する。図18の例では、人物81は右方向を向いていると判定される。この場合、人物81の右側に人物配置領域82bが設定される。
このような処理により、画像に映る人物の向きから判断される自然な方向に、端末装置200で撮像された人物の像が合成される。よって、合成画像の不自然さが低減される。
なお、上記の第1の変形例における人物の方向判定処理は、図14のステップS27と兼用されてもよい。この場合、ステップS24の後にステップS26,S27が実行され、その後に、ステップS27での方向判定結果に基づいて人物配置領域が設定されればよい。
なお、上記の第1の変形例における人物の方向判定処理は、図14のステップS27と兼用されてもよい。この場合、ステップS24の後にステップS26,S27が実行され、その後に、ステップS27での方向判定結果に基づいて人物配置領域が設定されればよい。
図19は、人物配置領域の設定方法の第2の変形例を示す図である。第2の変形例では、撮像された画像に、人物配置領域を設定し得るスペースがない場合に、画像の画角を変えて人物配置領域を設定できるようにする。この第2の変形例では、撮像装置45は、ズーム機能を備えており、合成装置100は、撮像装置45の焦点距離(ズーム倍率)を制御できるものとする。
図19に示す画像90aは、撮像装置45によって撮像された画像である。画像90aには人物91が映っているが、人物91の顔があまりにも大きく映っているために、人物91の右側にも左側にも、人物配置領域を設定するスペースが残っていない。この場合、合成装置100は、撮像装置45の焦点距離を短くする(すなわち、ズーム倍率を小さくする)ように制御する。これにより、画像90bに示すように、画像90b全体に占める人物91の領域が小さくなり、人物91の右側または左側の少なくとも一方に人物配置領域を設定可能なスペースが生まれる。合成装置100は、例えば、人物91の右側に人物配置領域92を設定する。
人物が映っている画像に人物配置領域を設定するスペースがあるかの判定としては、例えば、人物の特異点間距離(例えば、図19の距離L21)が所定の閾値以上である場合に、人物配置領域を設定するスペースがないと判定する方法を用いることができる。この場合、図14のステップS25〜S28は、例えば次のように変形される。
人物情報算出部150は、ステップS26〜S28に示した方法で、画像から抽出された人物についての特異点間距離を算出する。算出された特異点間距離が所定の閾値以上である場合、人物情報算出部150は、撮像装置45のズーム倍率を所定倍率分だけ小さくする。そして、ステップS23からの処理が実行される。一方、算出された特異点間距離が所定の閾値未満である場合には、ステップS25と同様の手順で人物配置領域が設定される。
このような処理により、合成画像が生成される機会を多くすることができる。また、撮像装置45を調整するオペレータの手間がかからなくなり、操作性が向上する。
なお、上記の第2の変形例では、合成装置100が特異点間距離から深度を算出する際、その算出結果は撮像装置45の焦点距離に応じて補正される。この補正方法としては、例えば、画像から計測された特異点間距離を、焦点距離に応じた補正係数を用いて補正する方法がある。あるいは、参照画像に基づく特異点間距離の基準値を焦点距離毎に用意しておき、深度の計算の際に、その時点での焦点距離に対応する特異点間距離の基準値を利用する方法もある。
なお、上記の第2の変形例では、合成装置100が特異点間距離から深度を算出する際、その算出結果は撮像装置45の焦点距離に応じて補正される。この補正方法としては、例えば、画像から計測された特異点間距離を、焦点距離に応じた補正係数を用いて補正する方法がある。あるいは、参照画像に基づく特異点間距離の基準値を焦点距離毎に用意しておき、深度の計算の際に、その時点での焦点距離に対応する特異点間距離の基準値を利用する方法もある。
[第3の実施の形態]
次に、第3の実施の形態の画像合成システムについて説明する。第3の実施の形態の画像合成システムは、合成装置および端末装置それぞれの画像に映る人物の深度を合成装置が算出するように、第2の実施の形態の画像合成システムを変形したものである。
次に、第3の実施の形態の画像合成システムについて説明する。第3の実施の形態の画像合成システムは、合成装置および端末装置それぞれの画像に映る人物の深度を合成装置が算出するように、第2の実施の形態の画像合成システムを変形したものである。
図20〜21では、第3の実施の形態の合成システムに含まれる各装置の機能例と、シーケンス例について説明する。図20〜21において、第2の実施の形態と差異のある点を説明し、第2の実施の形態と同じ構成や処理については説明を省略する。
図20は、第3の実施の形態の合成装置、端末装置および認証サーバの機能例を示す図である。合成装置100aについて、第2の実施の形態の合成装置100との違いは、参照画像情報記憶部120が参照画像情報記憶部120aに変更され、人物情報算出部150が人物情報算出部150aに変更され、画像情報受信部160が画像情報受信部145aに変更されている点である。
参照画像情報記憶部120aは、第2の実施の形態の参照画像情報記憶部120が記憶していた情報に加えて、第2の実施の形態の参照画像情報記憶部210が記憶していた情報も記憶する。すなわち、参照画像情報記憶部120aは、他の端末装置200で撮像される人物に関する参照画像や特異点間距離も記憶する。
画像情報受信部145aは、端末装置200aで撮像された画像のデータと、端末装置200aで撮像される画像の解像度を示す情報を端末装置200aから受信する。
人物情報算出部150aは、参照画像情報記憶部120aに記憶された情報を参照しながら、画像取得部140が取得した画像に映る人物の深度を算出すると共に、画像情報受信部145aが受信した画像に映る人物の深度を算出する。
人物情報算出部150aは、参照画像情報記憶部120aに記憶された情報を参照しながら、画像取得部140が取得した画像に映る人物の深度を算出すると共に、画像情報受信部145aが受信した画像に映る人物の深度を算出する。
端末装置200aについて、第2の実施の形態の端末装置200との違いは、人物情報算出部240が削除され、合成画像取得部250が合成画像取得部250aに変更されている点である。合成画像取得部250aは、画像取得部230が取得した画像のデータとその画像の解像度とを合成装置100aへ送信し、合成画像を合成装置100aから受信する。
図21は、第3の実施の形態の合成画像の配信のシーケンス例を示す図である。第2の実施の形態との違いは、図13のステップS5〜S8の処理が、ステップS5a〜S7aに変更されている点である。以下、ステップS5a〜S7aについて、ステップ番号に沿って説明する。
(S5a)端末装置200aは、端末装置200aで撮像された画像のデータおよび画像の解像度を合成装置100aへ送信する。合成装置100aは、端末装置200aで撮像された画像のデータおよび画像の解像度を端末装置200aから受信する。
(S6a)ステップS5aで受信した解像度と、撮像装置45で撮像される画像の解像度とが異なる場合、合成装置100aは、これらの解像度の比に基づいて、ステップS5aで受信した画像の解像度を変換する。すなわち、端末装置200aから受信した画像の解像度は、“(撮像装置45で撮像される画像の解像度)/(受信した解像度)”で算出される倍率で変換される。
(S7a)合成装置100aは、図7〜8で説明した方法で、合成装置100aの画像に映る人物の深度と、端末装置200aで撮像された画像に映る人物の深度とを算出する。なお、ステップS6aで受信した画像の解像度が変換されている場合、ステップS7aおよびステップS9では、端末装置200aで撮像された画像として、解像度変換後の画像が利用される。
以上の第3の実施の形態による画像合成システムで説明したように、合成装置100aが取得した画像に写る人物の深度と、端末装置200aが取得した画像に写る人物の深度とを、合成装置100aがまとめて算出することも可能である。
[第4の実施の形態]
次に、第4の実施の形態の画像合成システムについて説明する。第4の実施の形態の画像合成システムは、クライアントサーバ方式より、認証サーバから2つの端末装置へ合成画像を配信するものである。すなわち、第4の実施の形態の通信システムは、2つの端末装置それぞれで撮像された画像に映る人物の深度を算出し、これらの画像を合成し、合成した画像を各端末装置に配信する処理を認証サーバが実行するように、第2の実施の形態の通信システムを変形したものである。
次に、第4の実施の形態の画像合成システムについて説明する。第4の実施の形態の画像合成システムは、クライアントサーバ方式より、認証サーバから2つの端末装置へ合成画像を配信するものである。すなわち、第4の実施の形態の通信システムは、2つの端末装置それぞれで撮像された画像に映る人物の深度を算出し、これらの画像を合成し、合成した画像を各端末装置に配信する処理を認証サーバが実行するように、第2の実施の形態の通信システムを変形したものである。
図22〜23では、第4の実施の形態の画像合成システムに含まれる各装置の機能例およびシーケンス例について説明する。図22〜23において、第2の実施の形態と差異のある点を説明し、第2の実施の形態と同じ構成や処理については説明を省略する。
図22は、第4の実施の形態の端末装置および認証サーバの機能例を示す図である。
前述した第2の実施の形態の画像合成システムでは、合成装置100がハイブリッドP2P方式により通信可能となった端末装置200へ合成画像を配信する。これに対し、第4の実施の形態の画像合成システムでは、クライアントサーバ方式により、認証サーバ300bが、端末装置200b1,200b2へ合成画像を配信するように変更されている。端末装置200b1,200b2それぞれは、互いに直接通信せず、認証サーバ300bを介して通信する。
前述した第2の実施の形態の画像合成システムでは、合成装置100がハイブリッドP2P方式により通信可能となった端末装置200へ合成画像を配信する。これに対し、第4の実施の形態の画像合成システムでは、クライアントサーバ方式により、認証サーバ300bが、端末装置200b1,200b2へ合成画像を配信するように変更されている。端末装置200b1,200b2それぞれは、互いに直接通信せず、認証サーバ300bを介して通信する。
端末装置200b1について、第2の実施の形態の端末装置200との違いは、参照画像情報記憶部210が削除され、通信要求部220が通信要求部220bに変更され、人物情報算出部240が削除され、合成画像取得部250が合成画像取得部250bに変更されている点である。通信要求部220bは、認証サーバ300bに端末装置200b2との通信要求を送信する。通信要求部220bは、自装置が通信要求を送信しない場合(すなわち、他の端末装置200b2が通信要求を認証サーバ300bへ送信した場合)には、他の端末装置200b2からの通信要求を、認証サーバ300bを介して受信する。合成画像取得部250bは、画像取得部230が取得した画像のデータとその画像の解像度とを認証サーバ300bへ送信し、合成画像を認証サーバ300bから受信する。
なお、端末装置200b2は、端末装置200b1と同様の機能を有する。
認証サーバ300bについて、第2の実施の形態の認証サーバ300との違いは、参照画像情報記憶部330、画像情報受信部340、人物情報算出部350、画像合成部360および合成画像送信部370が追加されている点である。
認証サーバ300bについて、第2の実施の形態の認証サーバ300との違いは、参照画像情報記憶部330、画像情報受信部340、人物情報算出部350、画像合成部360および合成画像送信部370が追加されている点である。
参照画像情報記憶部330は、認証サーバ300bの備えるRAMまたはHDDに確保した記憶領域として実現できる。画像情報受信部340、人物情報算出部350、画像合成部360および合成画像送信部370は、例えば、認証サーバ300bの備えるプロセッサが所定のプログラムを実行することで実現される。
参照画像情報記憶部330は、本画像合成システムの利用者等の所定の人物を被写体とした参照画像や、参照画像に関する情報を予め格納した参照画像情報テーブルを記憶する。なお、人物毎の参照画像は、例えば、撮像装置と人物とが予め決められた基準距離だけ離れた状態で撮像されたものであり、かつ、解像度が同じであるものとする。
画像情報受信部340は、撮像された画像のデータを端末装置200b1,200b2から受信する。
人物情報算出部350は、画像情報受信部340が受信した端末装置200b1,200b2それぞれの画像の解像度を、参照画像と同じ解像度に変換する。以後、人物情報算出部350、画像合成部360および合成画像送信部370で扱われる端末装置200b1,200b2それぞれの画像は、解像度変換後の画像とされる。
人物情報算出部350は、画像情報受信部340が受信した端末装置200b1,200b2それぞれの画像の解像度を、参照画像と同じ解像度に変換する。以後、人物情報算出部350、画像合成部360および合成画像送信部370で扱われる端末装置200b1,200b2それぞれの画像は、解像度変換後の画像とされる。
また、人物情報算出部350は、参照画像情報記憶部330に記憶された参照画像を用いて、画像情報受信部340が受信した端末装置200b1,200b2それぞれの画像から、人物を抽出する。このとき、一方(ここでは、端末装置200b1)の画像には、人物配置領域を設定する。人物情報算出部350は、抽出した人物の像の特異点間距離を測定する。人物情報算出部350は、測定した各特異点間距離と、参照画像情報記憶部330に記憶された、対応する人物についての特異点間距離の基準値とに基づいて、抽出した各人物の深度を算出する。
また、画像合成部360は、他方(ここでは、端末装置200b2)の画像に映る人物の深度と、端末装置200b1の画像に映る人物の深度に基づいて、端末装置200b2の画像を拡大または縮小する。さらに、画像合成部360は、端末装置200b1の画像における人物配置領域に、拡大または縮小された端末装置200b2の画像を配置することで合成する。
合成画像送信部370は、画像合成部360により合成された合成画像を端末装置200b1,200b2へ送信する。
図23は、第4の実施の形態の合成画像の配信のシーケンス例を示す図である。第2の実施の形態との違いは、図13のステップS1〜S12の処理が、ステップS71〜S84の処理に変更されている点である。また、図23では、端末装置200b1,200b2それぞれの間で、認証サーバ300bを介すことで通信が可能となっている。
図23は、第4の実施の形態の合成画像の配信のシーケンス例を示す図である。第2の実施の形態との違いは、図13のステップS1〜S12の処理が、ステップS71〜S84の処理に変更されている点である。また、図23では、端末装置200b1,200b2それぞれの間で、認証サーバ300bを介すことで通信が可能となっている。
以下、ステップS71〜S84について、ステップ番号に沿って説明する。
(S71)端末装置200b2は、他の端末装置と通信するための通信要求を認証サーバ300bへ送信する。この通信要求には、利用者IDとパスワードとが含まれる。認証サーバ300bは、通信要求を端末装置200b2から受信する。
(S71)端末装置200b2は、他の端末装置と通信するための通信要求を認証サーバ300bへ送信する。この通信要求には、利用者IDとパスワードとが含まれる。認証サーバ300bは、通信要求を端末装置200b2から受信する。
(S72)認証サーバ300bは、図13のステップS2と同様の手順で認証処理を行う。また、認証サーバ300bは、認証に成功すると、認証に成功したことを端末装置200b2に通知する。
(S73)認証サーバ300bは、端末装置200b1に対して通信要求を送信する。
(S74)通信要求を受信した端末装置200b1は、自装置で撮像される画像の解像度を認証サーバ300bへ送信する。認証サーバ300bは、端末装置200b1からの解像度を受信する。
(S74)通信要求を受信した端末装置200b1は、自装置で撮像される画像の解像度を認証サーバ300bへ送信する。認証サーバ300bは、端末装置200b1からの解像度を受信する。
(S75)認証に成功したことの通知を受けた端末装置200b2は、自装置で撮像される画像の解像度を認証サーバ300bへ送信する。認証サーバ300bは、端末装置200b2からの解像度を受信する。
(S76)端末装置200b1は、撮像された画像のデータを認証サーバ300bへ送信する。認証サーバ300bは、端末装置200b1から画像のデータを受信する。
(S77)端末装置200b2は、撮像された画像のデータを認証サーバ300bへ送信する。認証サーバ300bは、端末装置200b2から画像のデータを受信する。
(S77)端末装置200b2は、撮像された画像のデータを認証サーバ300bへ送信する。認証サーバ300bは、端末装置200b2から画像のデータを受信する。
(S78)認証サーバ300bは、ステップS74で受信した解像度が、参照画像の解像度と異なる場合に、ステップS76で端末装置200b1から受信した画像の解像度を、参照画像と同じ解像度に変換する。このステップS78で端末装置200b1から受信した画像の解像度が変換されている場合、この後のステップS79〜S82では、端末装置200b1から受信した画像として、解像度の変換後の画像が利用される。
また、認証サーバ300bは、ステップS75で受信した解像度が、参照画像の解像度と異なる場合に、ステップS77で端末装置200b2から受信した画像の解像度を、参照画像と同じ解像度に変換する。このステップS78で端末装置200b2から受信した画像の解像度が変換されている場合、この後のステップS79〜S82では、端末装置200b2から受信した画像として、解像度の変換後の画像が利用される。
(S79)認証サーバ300bは、図7〜8で説明した方法で、端末装置200b1,200b2からそれぞれ受信した画像から特異点間距離を計測し、各画像に映る人物の深度を算出する。
(S80)認証サーバ300bは、図6で説明した方法で、端末装置200b1から受信した画像に対して、端末装置200b2から受信した画像のうち、人物の領域の画像を合成した合成画像を生成する。
(S81)認証サーバ300bは、生成した合成画像を端末装置200b1へ送信する。端末装置200b1は、認証サーバ300bから合成画像を受信する。
(S82)認証サーバ300bは、生成した合成画像を端末装置200b2へ送信する。端末装置200b2は、認証サーバ300bから合成画像を受信する。
(S82)認証サーバ300bは、生成した合成画像を端末装置200b2へ送信する。端末装置200b2は、認証サーバ300bから合成画像を受信する。
(S83)端末装置200b1は、端末装置200b1の備えるディスプレイに、受信した合成画像を表示させる。
(S84)端末装置200b2は、端末装置200b2の備えるディスプレイに、受信した合成画像を表示させる。
(S84)端末装置200b2は、端末装置200b2の備えるディスプレイに、受信した合成画像を表示させる。
以上の第4の実施の形態による画像合成システムで説明したように、第2および第3の実施の形態の合成システムのようなハイブリッドP2P方式ではなく、クライアントサーバ方式によっても、合成画像を配信することが可能である。
なお、前述のように、第1の実施の形態の情報処理は、画像処理装置10にプログラムを実行させることで実現でき、第2〜第4の実施の形態の情報処理は、合成装置100,100aや端末装置200,200a,200b1,200b2や認証サーバ300,300bにプログラムを実行させることで実現できる。このようなプログラムは、コンピュータ読み取り可能な記録媒体(例えば、記録媒体33)に記録しておくことができる。記録媒体としては、例えば、磁気ディスク、光ディスク、光磁気ディスク、半導体メモリなどを使用できる。磁気ディスクには、FDおよびHDDが含まれる。光ディスクには、CD、CD−R(Recordable)/RW(Rewritable)、DVDおよびDVD−R/RWが含まれる。
プログラムを流通させる場合、例えば、当該プログラムを記録した可搬記録媒体が提供される。また、プログラムを他のコンピュータの記憶装置に格納しておき、ネットワーク20経由でプログラムを配布することもできる。コンピュータは、例えば、可搬記録媒体に記録されたプログラムまたは他のコンピュータから受信したプログラムを、記憶装置(例えば、HDD103)に格納し、当該記憶装置からプログラムを読み込んで実行する。ただし、可搬記録媒体から読み込んだプログラムを直接実行してもよく、他のコンピュータからネットワーク20を介して受信したプログラムを直接実行してもよい。また、上記の情報処理の少なくとも一部を、DSP(Digital Signal Processor)、ASIC、PLD(Programmable Logic Device)等の電子回路で実現することも可能である。
1,2,3 画像
1a,2a 被写体
10 画像処理装置
11 取得部
12 合成部
L1,L2 距離
1a,2a 被写体
10 画像処理装置
11 取得部
12 合成部
L1,L2 距離
Claims (8)
- 第1の画像に映った第1の被写体と前記第1の画像を撮像した撮像装置との間の第1の距離と、第2の画像に映った第2の被写体と前記第2の画像を撮像した撮像装置との間の第2の距離とを取得する取得部と、
前記第1の画像における前記第1の被写体の像と前記第2の画像における前記第2の被写体の像とを合成する合成部であって、各像を合成する際に、前記第1の距離と前記第2の距離とに基づいて、前記第1の被写体の像または前記第2の被写体の像の少なくとも一方のサイズを調整する前記合成部と、
を有することを特徴とする画像処理装置。 - 前記取得部は、前記第1の被写体の像から所定の複数の特徴点を抽出し、抽出した複数の特徴点の間の距離に基づいて、前記第1の距離を算出する、
ことを特徴とする請求項1記載の画像処理装置。 - 前記第1の被写体は、人物であり、
前記取得部は、前記人物の像における両目の位置情報を抽出し、抽出した両目の間の距離に基づいて、前記第1の距離を算出する、
ことを特徴とする請求項2記載の画像処理装置。 - 複数の人物それぞれに対応する、両目の間の基準距離を記憶する記憶部をさらに有し、
前記取得部は、前記第1の画像に映る人物を判別し、判別した人物に対応する前記基準距離を前記記憶部から読み出し、読み出した前記基準距離と、判別した人物の像から抽出した両目の間の距離とに基づいて、前記第1の距離を算出する、
ことを特徴とする請求項3記載の画像処理装置。 - 前記取得部は、さらに、前記第1の被写体の向きを判定し、判定した向きに基づいて前記複数の特徴点の間の距離を補正する、
ことを特徴とする請求項2記載の画像処理装置。 - 前記取得部は、さらに、前記第1の被写体の向きを判定し、
前記合成部は、判定した向きに基づいて、合成後の画像における、前記第1の被写体の像と、前記第2の被写体の像との位置関係を決定する、
ことを特徴とする請求項1乃至4の何れか1項に記載の画像処理装置。 - コンピュータが、
第1の画像に映った第1の被写体と前記第1の画像を撮像した撮像装置との間の第1の距離と、第2の画像に映った第2の被写体と前記第2の画像を撮像した撮像装置との間の第2の距離とを取得し、
前記第1の画像における前記第1の被写体の像と前記第2の画像における前記第2の被写体の像とを合成し、前記合成の際、前記第1の距離と前記第2の距離とに基づいて、前記第1の被写体の像または前記第2の被写体の像の少なくとも一方のサイズを調整する、
ことを特徴とする画像処理方法。 - コンピュータに、
第1の画像に映った第1の被写体と前記第1の画像を撮像した撮像装置との間の第1の距離と、第2の画像に映った第2の被写体と前記第2の画像を撮像した撮像装置との間の第2の距離とを取得し、
前記第1の画像における前記第1の被写体の像と前記第2の画像における前記第2の被写体の像とを合成し、前記合成の際、前記第1の距離と前記第2の距離とに基づいて、前記第1の被写体の像または前記第2の被写体の像の少なくとも一方のサイズを調整する、
処理を実行させることを特徴とする画像処理プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014030164A JP2015156540A (ja) | 2014-02-20 | 2014-02-20 | 画像処理装置、画像処理方法および画像処理プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014030164A JP2015156540A (ja) | 2014-02-20 | 2014-02-20 | 画像処理装置、画像処理方法および画像処理プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2015156540A true JP2015156540A (ja) | 2015-08-27 |
Family
ID=54775629
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014030164A Pending JP2015156540A (ja) | 2014-02-20 | 2014-02-20 | 画像処理装置、画像処理方法および画像処理プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2015156540A (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108076253A (zh) * | 2016-11-18 | 2018-05-25 | 福州瑞芯微电子股份有限公司 | 一种智能电子设备和图像处理单元、装置、方法 |
WO2019091423A1 (en) * | 2017-11-08 | 2019-05-16 | Fuzhou Rockchip Electronics Co., Ltd. | An image‐processing microprocessor for supporting an application processor and multiple cameras |
CN109981969A (zh) * | 2017-12-28 | 2019-07-05 | 福州瑞芯微电子股份有限公司 | 一种智能电子设备和图像处理单元、图像处理方法 |
WO2019230225A1 (ja) * | 2018-05-29 | 2019-12-05 | ソニー株式会社 | 画像処理装置、画像処理方法、プログラム |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10271427A (ja) * | 1997-03-26 | 1998-10-09 | Olympus Optical Co Ltd | 電子カメラ |
US20050270410A1 (en) * | 2004-06-03 | 2005-12-08 | Canon Kabushiki Kaisha | Image pickup apparatus and image pickup method |
JP2006018246A (ja) * | 2004-06-03 | 2006-01-19 | Canon Inc | 撮像装置及び撮像方法 |
-
2014
- 2014-02-20 JP JP2014030164A patent/JP2015156540A/ja active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10271427A (ja) * | 1997-03-26 | 1998-10-09 | Olympus Optical Co Ltd | 電子カメラ |
US20050270410A1 (en) * | 2004-06-03 | 2005-12-08 | Canon Kabushiki Kaisha | Image pickup apparatus and image pickup method |
CN1716078A (zh) * | 2004-06-03 | 2006-01-04 | 佳能株式会社 | 图像拾取设备和图像拾取方法 |
JP2006018246A (ja) * | 2004-06-03 | 2006-01-19 | Canon Inc | 撮像装置及び撮像方法 |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108076253A (zh) * | 2016-11-18 | 2018-05-25 | 福州瑞芯微电子股份有限公司 | 一种智能电子设备和图像处理单元、装置、方法 |
CN108076253B (zh) * | 2016-11-18 | 2020-08-21 | 瑞芯微电子股份有限公司 | 一种智能电子设备和图像处理单元、装置、方法 |
WO2019091423A1 (en) * | 2017-11-08 | 2019-05-16 | Fuzhou Rockchip Electronics Co., Ltd. | An image‐processing microprocessor for supporting an application processor and multiple cameras |
CN109981969A (zh) * | 2017-12-28 | 2019-07-05 | 福州瑞芯微电子股份有限公司 | 一种智能电子设备和图像处理单元、图像处理方法 |
CN109981969B (zh) * | 2017-12-28 | 2020-05-15 | 福州瑞芯微电子股份有限公司 | 一种智能电子设备和图像处理单元、图像处理方法 |
WO2019230225A1 (ja) * | 2018-05-29 | 2019-12-05 | ソニー株式会社 | 画像処理装置、画像処理方法、プログラム |
JPWO2019230225A1 (ja) * | 2018-05-29 | 2021-07-15 | ソニーグループ株式会社 | 画像処理装置、画像処理方法、プログラム |
US11450352B2 (en) | 2018-05-29 | 2022-09-20 | Sony Corporation | Image processing apparatus and image processing method |
JP7272356B2 (ja) | 2018-05-29 | 2023-05-12 | ソニーグループ株式会社 | 画像処理装置、画像処理方法、プログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101885779B1 (ko) | 3 차원 비디오의 전송 | |
JP5450739B2 (ja) | 画像処理装置及び画像表示装置 | |
US7733404B2 (en) | Fast imaging system calibration | |
WO2015180659A1 (zh) | 图像处理方法和图像处理装置 | |
WO2014064870A1 (ja) | 画像処理装置および画像処理方法 | |
CN108776822B (zh) | 目标区域检测方法、装置、终端及存储介质 | |
JP2010514044A (ja) | ディスプレイにおける顔検出に基づく画像の自動方向変換 | |
WO2021136386A1 (zh) | 数据处理方法、终端和服务器 | |
JP6020471B2 (ja) | 画像処理方法、画像処理装置および画像処理プログラム | |
JP2012079167A (ja) | 情報処理装置、情報処理システムおよび情報処理方法 | |
US20230152084A1 (en) | Height Measurement Method and Apparatus, and Terminal | |
JP2015156540A (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
JP4348028B2 (ja) | 画像処理方法、画像処理装置、撮像装置及びコンピュータプログラム | |
JP2017090420A (ja) | 3次元情報復元装置及び3次元情報復元方法 | |
CN108230372B (zh) | 一种图像处理方法、终端及计算机可读存储介质 | |
CN112235650A (zh) | 视频处理方法、装置、终端及存储介质 | |
JP2013207745A (ja) | 画像撮像装置、画像処理方法およびプログラム | |
JP6777507B2 (ja) | 画像処理装置および画像処理方法 | |
JP5478533B2 (ja) | 全方位画像生成方法、画像生成装置およびプログラム | |
CN111127539B (zh) | 视差确定方法、装置、计算机设备及存储介质 | |
CN110443841B (zh) | 地面深度的测量方法、装置及系统 | |
JP6103942B2 (ja) | 画像データ処理装置及び画像データ処理プログラム | |
JP2017184025A (ja) | 通信端末、画像通信システム、画像送信方法、画像表示方法、及びプログラム | |
US20120105677A1 (en) | Method and apparatus for processing location information-based image data | |
JP2019176471A (ja) | 通信システム、及び通信方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20161102 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170711 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170801 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20180213 |