JP2015156540A

JP2015156540A - 画像処理装置、画像処理方法および画像処理プログラム

Info

Publication number: JP2015156540A
Application number: JP2014030164A
Authority: JP
Inventors: 敏郎大櫃; Toshiro Obitsu
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2014-02-20
Filing date: 2014-02-20
Publication date: 2015-08-27

Abstract

【課題】複数の被写体の像を合成した際に生じる違和感を低減する。
【解決手段】画像処理装置１０は、取得部１１および合成部１２を有する。取得部１１は、画像１に映った被写体１ａと画像１を撮像した撮像装置との間の距離Ｌ１を取得する。取得部１１は、画像２に映った被写体２ａと画像２を撮像した撮像装置との間の距離Ｌ２を取得する。合成部１２は、画像１における被写体１ａの像と画像２における被写体２ａの像とを合成する。合成部１２は、各像を合成する際に、距離Ｌ１と距離Ｌ２とに基づいて、被写体１ａの像または被写体２ａの像の少なくとも一方のサイズを調整する。
【選択図】図１

Description

本発明は、画像処理装置、画像処理方法および画像処理プログラムに関する。

近年、画像を合成する技術が発展している。例えば、画像を複数の領域に分割し、分割された画像の所定の位置毎に距離情報を抽出し、抽出した距離情報に基づいて分割した領域毎に、その領域の画像を拡大または縮小する技術が提案されている。

特開２００６−３３２７４３号公報

ここで、ある画像に映った被写体の像と、別の画像に映った別の被写体の像とを合成して合成画像を生成する場合を考える。この場合、一方の被写体の像のサイズと他方の被写体の像のサイズの比率は、各被写体の実際の大きさの比率と一致するとは限らない。このため、各被写体の像をそのまま合成すると、違和感のある合成画像が生成される場合があるという問題があった。

１つの側面では、本発明は、複数の被写体の像を合成した際に生じる違和感を低減する画像処理装置、画像処理方法および画像処理プログラムを提供することを目的とする。

１つの案では、画像処理装置が提供される。画像処理装置は、取得部および合成部を有する。取得部は、第１の画像に映った第１の被写体と第１の画像を撮像した撮像装置との間の第１の距離を取得する。取得部は、第２の画像に映った第２の被写体と第２の画像を撮像した撮像装置との間の第２の距離とを取得する。合成部は、第１の画像における第１の被写体の像と第２の画像における第２の被写体の像を合成する。合成部は、各像を合成する際に、第１の距離と第２の距離とに基づいて、第１の被写体の像または第２の被写体の像の少なくとも一方のサイズを調整する。

さらに、１つの案では、上記画像処理装置と同様の処理を実行する画像処理方法が提供される。
また、１つの案では、上記画像処理装置と同様の処理をコンピュータに実行させる画像処理プログラムが提供される。

一側面では、複数の被写体の像を合成した際に生じる違和感を低減できる。

第１の実施の形態の画像処理装置の構成例および処理例を示す図である。第２の実施の形態の画像合成システムの例を示す図である。合成装置のハードウェア構成例を示す図である。端末装置のハードウェア構成例を示す図である。人物の像の大きさに基づいて２つの画像を合成する例を示す図である。人物の深度に基づいて２つの画像を合成する例を示す図である。深度の算出例を示す図である。特異点間距離の補正例を示す図である。合成装置、端末装置および認証サーバの機能例を示す図である。利用者リストの例を示す図である。参照画像情報テーブルの例を示す図である。利用者情報テーブルの例を示す図である。合成画像の配信のシーケンス例を示す図である。合成画像の生成および送信処理の例を示すフローチャートである。合成画像の生成および送信処理の例を示すフローチャート（続き）である。合成画像の受信処理の例を示すフローチャートである。合成画像の受信処理の例を示すフローチャート（続き）である。人物配置領域の設定方法の第１の変形例を示す図である。人物配置領域の設定方法の第２の変形例を示す図である。第３の実施の形態の合成装置、端末装置および認証サーバの機能例を示す図である。第３の実施の形態の合成画像の配信のシーケンス例を示す図である。第４の実施の形態の端末装置および認証サーバの機能例を示す図である。第４の実施の形態の合成画像の配信のシーケンス例を示す図である。

以下、本実施の形態を図面を参照して説明する。
［第１の実施の形態］
図１は、第１の実施の形態の画像処理装置の構成例および処理例を示す図である。画像処理装置１０は、画像の合成処理を行う装置であり、例えばコンピュータとして実現される。画像処理装置１０は、例えば、デスクトップコンピュータや、ノート型コンピュータや、タブレット型コンピュータの何れでもよい。画像処理装置１０は、取得部１１および合成部１２を有する。

取得部１１は、画像１（第１の画像）に映った被写体１ａ（第１の被写体）と、画像１を撮像した撮像装置との間の距離Ｌ１（第１の距離）を取得する。取得部１１は、画像２（第２の画像）に映った被写体２ａ（第２の被写体）と、画像２を撮像した撮像装置との間の距離Ｌ２（第２の距離）を取得する。なお、被写体１ａ，２ａは、人物であってもよいし、人物以外の物体であってもよい。

距離Ｌ１，Ｌ２は、例えば、画像１，２を解析することで取得可能である。例えば、各画像の被写体から所定の複数の特徴点を抽出し、各画像における特徴点間の距離に基づいて、撮像装置と被写体との距離を取得することができる。また、専用のセンサデバイスを用いて計測された距離Ｌ１，Ｌ２を取得してもよい。

合成部１２は、画像１における被写体１ａの像と、画像２における被写体２ａの像とを合成する。また、合成部１２は、各像を合成する際に、距離Ｌ１と距離Ｌ２とに基づいて、被写体１ａの像または被写体２ａの像の少なくとも一方のサイズを調整する。これにより、被写体１ａ，２ａの各像を合成した際に生じる違和感を低減することができる。

例えば、距離Ｌ１より距離Ｌ２の方が短い場合を考える。この場合、合成部１２は、例えば、図１に示すように、被写体２ａの像のサイズを縮小し、被写体１ａの像と、縮小された被写体２ａの像とを合成して合成画像３を生成する。図１の例では、被写体１ａを含む画像１の一部に、縮小された被写体２ａの像が合成されることで合成画像３が生成される。また、被写体２ａの像のサイズは、被写体２ａと撮像装置との距離が距離Ｌ１の状態で撮像されたときのサイズに近づくように（好ましくは一致するように）縮小される。例えば、被写体２ａの像のサイズは、縦方向および横方向の長さがそれぞれ（Ｌ２／Ｌ１）倍になるように調整される。

また、距離Ｌ１より距離Ｌ２の方が短い場合の他の例として、合成部１２は、被写体１ａの像のサイズを拡大し、拡大された被写体１ａの像と、被写体２ａの像とを合成してもよい。あるいは、合成部１２は、被写体１ａの像のサイズを拡大すると共に、被写体２ａの像のサイズを縮小して、拡大された被写体１ａの像と縮小された被写体２ａの像とを合成してもよい。すなわち、合成部１２は、被写体１ａ，２ａそれぞれの像のサイズが、被写体１ａ，２ａそれぞれと撮像装置とが同じ距離の状態で撮像されたときのサイズに近づくように、被写体１ａの像と被写体２ａの像の少なくとも一方のサイズを調整する。

ここで、一方の画像に映った被写体の像のサイズと、他方の画像に映った被写体の像のサイズとの比率は、各被写体の実際のサイズの比率と一致するとは限らない。このため、仮に、各被写体の像のサイズを変更せずに合成を行うと、違和感のある合成画像が生成される可能性がある。

また、各被写体の像を合成する方法の例として、各被写体の像の大きさが同じになるように少なくとも一方の像のサイズを調整する方法が考えられる。しかし、この方法では、各被写体の実際の大きさが異なる場合でも、合成後の画像上では各被写体が同じ大きさで映ってしまうので、不自然な合成画像が生成されてしまう。

これに対して、上記の画像処理装置１０によれば、各被写体の像を合成する際に、各被写体の像のサイズが、各被写体と撮像装置とが同じ距離の状態で撮像されたときのサイズに近づくように、少なくとも一方の被写体の像のサイズが調整される。これにより、合成後の画像における各被写体の像の大きさの比率が、各被写体の実際の大きさの比率に近づく。したがって、違和感の少ない自然な合成画像を生成することができる。

［第２の実施の形態］
図２は、第２の実施の形態の画像合成システムの例を示す図である。第２の実施の形態の画像合成システムは、撮像装置４５、合成装置１００、端末装置２００および認証サーバ３００を有する。合成装置１００は、撮像装置４５と接続されている。また、合成装置１００、端末装置２００および認証サーバ３００は、ネットワーク２０を介して互いに接続されている。

撮像装置４５は、所定の領域の画像を撮像し、撮像した画像のデータを合成装置１００へ送信する。合成装置１００は、画像の合成機能を有するコンピュータである。合成装置１００には、例えば、デスクトップ型のコンピュータや、ノート型のコンピュータ等が挙げられる。なお、合成装置１００は、第１の実施の形態の画像処理装置１０の一例である。一方、端末装置２００は、画像を撮像可能な撮像カメラを備える装置である。端末装置２００は、携帯可能であり、例えば、スマートホンやタブレット型の端末が挙げられる。

合成装置１００は、撮像装置４５から受信した画像に映る所定の人物（例えば、合成装置１００の利用者）の深度を計算する。人物の深度とは、撮像装置から、被写体の代表位置までの距離を意味する。

また、合成装置１００は、端末装置２００が撮像した画像のデータや、その画像に映る人物の深度を示す情報を端末装置２００から受信する。合成装置１００は、合成装置１００が計算した深度と端末装置２００から受信した深度とに基づいて、撮像装置４５から受信した画像と、端末装置２００から受信した画像とを合成し、合成した画像を端末装置２００へ送信する。以下、合成された画像を“合成画像”と記載する場合がある。また、合成装置１００は、合成画像を、合成装置１００に接続されたディスプレイにも表示する。

なお、合成装置１００に撮像装置が内蔵されている場合には、撮像装置４５によって撮像された画像の代わりに合成装置１００に内蔵された撮像装置によって撮像された画像が用いられてもよい。

端末装置２００は、撮像した画像に映る所定の人物（例えば、端末装置２００の利用者）の深度を算出する。端末装置２００は、撮像した画像のデータと、算出した深度とを合成装置１００へ送信する。

合成画像においては、撮像装置４５によって撮像された画像に映る人物と、端末装置２００によって撮像された画像に映る人物とが表示される。これにより、離れた場所に存在する人物を同一の画像上に合成して、合成画像を合成装置１００および端末装置２００に表示させるサービスが提供される。このようなサービスの例として、テレビ会議やテレビ電話などが考えられる。

また、合成装置１００と端末装置２００とは、ハイブリッドピアツーピア（ハイブリッドＰ２Ｐ：Hybrid Peer To Peer）方式により通信する。ここで、Ｐ２Ｐ方式とは、クライアントサーバ方式とは異なり、２つのノード（例えば、合成装置１００や端末装置２００）同士が対等の機能または立場で直接通信を行うことである。これに対して、ハイブリッドＰ２Ｐ方式は、実体的なデータはノード間で直接送受信されるものの、サーバが各ノードのアドレスや利用者のＩＤ（Identification）を管理する方式である。

例えば、ハイブリッドＰ２Ｐ方式において、各ノードは他のノードのアドレスを認識していない。そこで、通信を行う一方のノードは、例えば、利用者ＩＤなどの識別情報を指定してサーバに問い合わせることで、他方のノードのアドレスを取得する。その後、一方のノードは、取得したアドレスを用いて他方のノードと直接通信する。

図２に示す画像合成システムでは、認証サーバ３００がハイブリッドＰ２Ｐにおけるサーバに相当し、合成装置１００および端末装置２００がノードに相当する。すなわち、合成装置１００または端末装置２００が認証サーバ３００から通信相手のアドレスを取得した後、合成装置１００と端末装置２００との間で画像データが直接的に送受信される。

認証サーバ３００は、利用者のＩＤや、合成装置１００および端末装置２００のアドレスを管理する。また、認証サーバ３００は、本画像合成システムの利用者を認証する。認証サーバ３００は、認証した利用者が要求する通信先の装置（例えば、合成装置１００）に、利用者が使用する装置（例えば、端末装置２００）のアドレスを通知する。

図３は、合成装置のハードウェア構成例を示す図である。合成装置１００は、プロセッサ１０１、ＲＡＭ（Random Access Memory）１０２、ＨＤＤ（Hard Disk Drive）１０３、画像信号処理部１０４、入力信号処理部１０５、ディスクドライブ１０６、通信インタフェース１０７および入出力インタフェース１０８を有する。これらのユニットは、合成装置１００内でバス１０９に接続されている。

プロセッサ１０１は、プログラムの命令を実行する演算器を含み、例えばＣＰＵ（Central Processing Unit）である。プロセッサ１０１は、ＨＤＤ１０３に記憶されているプログラムやデータの少なくとも一部をＲＡＭ１０２にロードしてプログラムを実行する。なお、プロセッサ１０１は複数のプロセッサコアを備えてもよい。また、合成装置１００は、複数のプロセッサを備えてもよい。また、合成装置１００は、複数のプロセッサまたは複数のプロセッサコアを用いて並列処理を行ってもよい。また、２以上のプロセッサの集合、ＦＰＧＡ（Field Programmable Gate Array）やＡＳＩＣ（Application Specific Integrated Circuit）等の専用回路、２以上の専用回路の集合、プロセッサと専用回路の組み合わせ等を「プロセッサ」と呼んでもよい。

ＲＡＭ１０２は、プロセッサ１０１が実行するプログラムやプログラムから参照されるデータを一時的に記憶する揮発性メモリである。なお、合成装置１００は、ＲＡＭ以外の種類のメモリを備えてもよく、複数個の揮発性メモリを備えてもよい。

ＨＤＤ１０３は、ＯＳ（Operating System）やファームウェアやアプリケーションソフトウェア等のソフトウェアのプログラムおよびデータを記憶する不揮発性の記憶装置である。なお、合成装置１００は、フラッシュメモリ等の他の種類の記憶装置を備えてもよく、複数個の不揮発性の記憶装置を備えてもよい。

画像信号処理部１０４は、プロセッサ１０１からの命令に従って、合成装置１００に接続されたディスプレイ３１に画像を出力する。ディスプレイ３１としては、ＣＲＴ（Cathode Ray Tube）ディスプレイや液晶ディスプレイ等を用いることができる。

入力信号処理部１０５は、合成装置１００に接続された入力デバイス３２から入力信号を取得し、プロセッサ１０１に通知する。入力デバイス３２としては、マウスやタッチパネル等のポインティングデバイス、キーボード等を用いることができる。

ディスクドライブ１０６は、記録媒体３３に記録されたプログラムやデータを読み取る駆動装置である。記録媒体３３として、例えば、フレキシブルディスク（ＦＤ：Flexible Disk）やＨＤＤ等の磁気ディスク、ＣＤ（Compact Disc）やＤＶＤ（Digital Versatile Disc）等の光ディスク、光磁気ディスク（ＭＯ：Magneto-Optical disk）を使用できる。ディスクドライブ１０６は、プロセッサ１０１からの命令に従って、記録媒体３３から読み取ったプログラムやデータをＲＡＭ１０２またはＨＤＤ１０３に格納する。

通信インタフェース１０７は、ネットワーク２０等のネットワークを介して他の情報処理装置（例えば、端末装置２００等）と通信を行う。
入出力インタフェース１０８は、撮像装置４５等の周辺機器を、合成装置１００に接続するための通信インタフェースである。

なお、合成装置１００はディスクドライブ１０６を備えていなくてもよく、専ら他の端末装置から制御される場合には、入力信号処理部１０５を備えていなくてもよい。また、ディスプレイ３１や入力デバイス３２は、合成装置１００の筐体と一体に形成されていてもよい。

なお、認証サーバ３００も、合成装置１００と同様のハードウェア構成を有するコンピュータ（ただし、撮像装置が接続される必要はない）を用いて実現できる。
図４は、端末装置のハードウェア構成例を示す図である。端末装置２００は、プロセッサ２０１、ＲＡＭ２０２、フラッシュメモリ２０３、撮像カメラ２０４、ディスプレイ２０５、タッチパネル２０６および無線インタフェース２０７を有する。これらのユニットは、端末装置２００内でバス２０８に接続されている。

プロセッサ２０１は、前述のプロセッサ１０１と同様に、プログラムの命令を実行する演算器を含むプロセッサである。ＲＡＭ２０２は、前述のＲＡＭ１０２と同様に、プロセッサ２０１が実行するプログラムやデータを一時的に記憶する揮発性メモリである。

フラッシュメモリ２０３は、ＯＳやファームウェアやアプリケーションソフトウェア等のプログラムおよびデータを記憶する不揮発性の記憶装置である。なお、端末装置２００は、ＨＤＤ等の他の種類の記憶装置を備えてもよく、複数個の不揮発性の記憶装置を備えてもよい。

撮像カメラ２０４は、画像を撮像し、撮像した画像のデータをプロセッサ２０１へ出力する。
ディスプレイ２０５は、プロセッサ２０１からの命令に従って画像を表示する。ディスプレイ２０５としては、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）や有機ＥＬ（Electro Luminescence）ディスプレイ等を用いることができる。

タッチパネル２０６は、ディスプレイ２０５に重ねて設けられており、ディスプレイ２０５に対するユーザのタッチ操作を検出してタッチ位置を入力信号としてプロセッサ２０１に通知する。タッチ操作には、タッチペン等のポインティングデバイスまたはユーザの指が用いられる。タッチ位置の検出方式には、例えば、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式等様々な検出方式があり、何れの方式を採用してもよい。なお、端末装置２００は、複数の入力キーを備えたキーパッド等、他の種類の入力デバイスを備えてもよい。

無線インタフェース２０７は、無線通信を行う通信インタフェースである。無線インタフェース２０７は、受信信号の復調・復号や送信信号の符号化・変調等を行う。無線インタフェース２０７は、例えば、図示しないアクセスポイントを介してネットワーク２０に接続する。端末装置２００は、複数の無線インタフェースを備えてもよい。

なお、プロセッサ２０１に実行させるプログラムは、フラッシュメモリ２０３に他の記憶装置からコピーするようにしてもよい。また、プロセッサ２０１に実行させるプログラムは、無線インタフェース２０７がネットワーク２０等からダウンロードするようにしてもよい。

次に、図５〜８を用いて、一方の撮像装置で撮像された画像と、他方の撮像装置で撮像された画像とを合成する方法について説明する。具体的には、まず、図５を用いて、従来の合成方法の参考例を示し、その参考例の問題点について説明する。そして、図６〜８を用いて、合成装置１００により２つの画像を合成する方法について説明する。なお、これ以後の説明では、合成対象の画像を撮像する２つの撮像装置が同じ距離だけ離れた被写体を撮像したとき、撮像される各画像の画角が同じになるものとする。また、図５〜８の説明では、２つの撮像装置で撮像される画像の解像度も同じであるものとする。

図５で説明する合成方法の参考例では、まず、２つの画像のうち一方の画像に映る人物と、他方の画像に映る人物との大きさが合うように、２つの画像の少なくとも一方の画像に映る人物の像の大きさを調整する。人物の像の大きさの調整方法には、例えば、画像を拡大または縮小する方法や、画像を撮像する際の焦点距離を調整する方法などが挙げられる。ここでは、前者の方法を用いるが、後者の方法やその他の方法を用いてもよい。次に、拡大または縮小した一方の画像を、他方の画像の所定の領域に配置する。

図５は、人物の像の大きさに基づいて２つの画像を合成する例を示す図である。画像５１，５２は、異なる人物が映る画像である。画像５１，５２は、例えば、異なる撮像装置により撮像されたものである。画像５１に映る人物５１ａは、成人であり、画像５２に映る人物５２ａは、幼児である。なお、画像５２は、撮像装置から得られた画像から人物５２ａが存在する領域を抽出して得られた画像である。領域５１ｂは、画像５２の人物５２ａの像を合成するために確保された画像５１上の領域である。領域５１ｂは、人物５１ａの像が収まる程度の大きさである。

この参考例では、人物５１ａの像の大きさに合うように人物５２ａの像の大きさを調整し、調整された人物５２ａの像を画像５１上の領域５１ｂに配置することで、画像５１，５２が合成される。例えば、まず、人物５１ａの像の大きさに合うように人物５２ａの像が縮小される。次に、縮小された人物５２ａの像が、画像５１上の領域５１ｂ内に配置される。すると、図５下段に示すように、画像５１，５２が合成された画像５３が生成される。しかし、この合成された画像５３において、成人である人物５１ａと幼児である人物５２ａのそれぞれの実際の大きさは明らかに異なるにも関わらず、合成された画像５３に映る人物５１ａ，５２ａそれぞれの像の大きさが同じであるため、違和感が生じる。

図５で説明したように、人物の像の大きさが合うように画像を合成する方法では、合成された画像において、各人物の実際の大きさが明らかに異なる場合でも、各人物の像の大きさが同じになるため、その合成された画像が不自然になり、画像を見たユーザに違和感が生じる。

第２の実施の形態の画像合成システムは、このように合成された画像から生じる違和感を低減するものである。図６以降では、本画像合成システムにより、２つの画像を合成する方法について説明する。

図６は、人物の深度に基づいて２つの画像を合成する例を示す図である。なお、以下の説明では、合成装置１００に接続された撮像装置４５によって撮像された画像を“合成装置１００の画像”と略称する場合がある。また、端末装置２００の撮像カメラ２０４によって撮像された画像から、人物が映った領域を抽出することで得られた画像を、“端末装置２００の画像”と略称する場合がある。

本画像合成システムでは、次のように、合成装置１００の画像と端末装置２００の画像とが、合成装置１００により合成される。まず、端末装置２００の画像が、合成装置１００の画像に映る人物の深度に一致するように、拡大または縮小される。そして、拡大または縮小された画像が、合成装置１００の画像の所定の領域に配置される。

例えば、画像５４は、合成装置１００の画像である。画像５５は、端末装置２００の画像である。画像５４には、人物５４ａの像が含まれる。人物５４ａは、成人である。また、画像５４には、領域５４ｂが設定される。領域５４ｂは、画像５５との合成の際、画像５５の人物５５ａの像を配置するために確保された領域である。以下、領域５４ｂのような領域を“人物配置領域”と記載する場合がある。画像５５には、人物５５ａの像が含まれる。人物５５ａは、幼児である。

なお、図６では、理解しやすいように、設定される人物配置領域（領域５４ｂ）を矩形領域として示しているが、実際には、人物配置領域の代表位置（例えば中心位置）が画像５４に設定されればよい。これは、画像５４に対して合成される画像の大きさが一定にならないからである。

ここで、人物５４ａの深度は１０ｍであり、人物５５ａの深度は５ｍである場合、まず、人物５５ａの像が人物５５ａを深度１０ｍで撮像したときの大きさになるように、画像５５が合成装置１００により縮小される。画像５６は、画像５５が縮小されたときの画像である。すると、画像５４に映る人物５４ａの深度と、画像５６に映る人物５５ａの深度とが擬似的に一致した状態になる。

そして、画像５４の人物配置領域である領域５４ｂに画像５６を配置することで、合成された画像５７が生成される。この合成処理では、画像５４における領域５４ｂの画像データが、画像５６のデータに置換される。画像５７において、成人である人物５４ａの像の大きさと、幼児である人物５５ａの像の大きさとの比率は、人物５４ａの実際の大きさと人物５５ａの実際の大きさとの比率と一致するため、図５における画像５３と比較して違和感が低減される。

図６で説明したように、合成装置１００は、撮像装置４５から受信した画像に映る人物５４ａの深度と、端末装置２００から受信した画像に映る人物５５ａの深度とが一致するように、少なくとも一方の画像を拡大または縮小し、合成する。これにより、各人物の像の大きさの比率は、各人物の実際の大きさの比率と一致するため、合成された画像から生じる違和感が低減される。

図７は、深度の算出例を示す図である。本画像合成システムにおいて、各画像における人物の深度は、人物の像の特異点間距離に基づいて算出される。ここで、“特異点”とは、人物の像における特定の部位の代表位置を意味する。また、特異点は、画像から複数検出される。本画像合成システムにおいて、特異点は、左右の黒目の代表位置を示すものとするが、左右の口角の代表位置や、左右の耳の代表位置等、他の部位を示すものであってもよい。また、“特異点間距離”とは、人物の像における特異点それぞれの間の距離を意味する。

以下、合成装置１００での深度の算出処理について説明するが、端末装置２００でも同様の手順で深度を算出することができる。
本画像合成システムでは、画像合成のサービスが運用される前の事前処理として、人物毎に参照画像の撮像が行われる。この事前処理では、例えば、撮像装置から予め決められた距離だけ離れた位置に人物を配置した状態で、参照画像が撮像される。

図７に示す参照画像６１は、事前処理において、撮像装置４５が人物６０を撮像したときの画像である。距離Ｌ１１は、参照画像６１を撮像した撮像装置４５と、人物６０との距離である。すなわち、距離Ｌ１１は、参照画像６１に映る人物６０の深度となり、ここでは１０ｍであるとする。また、図７において、参照画像６１に映る人物６０の像の特異点間距離は、１００ピクセルとする。

画像６２は、画像合成が行われる際に、撮像装置４５が人物６０を撮像したときの画像である。距離Ｌ１２は、画像６２を撮像した撮像装置４５と、人物６０との距離である。すなわち、距離Ｌ１２は、画像６２に映る人物６０の深度となる。また、図７において、画像６２に映る人物６０の像の特異点間距離は、５０ピクセルとする。

ここで、２つの画像それぞれに映る人物は同一人物であるため、各画像に映る人物の深度の比率は、各画像に映る人物の像の特異点間距離の比率に反比例する。そのため、画像６２に映る人物６０の深度（距離Ｌ１２）は、“１０ｍ×１００÷５０＝２０ｍ”と算出される。

図７で説明したように、本画像合成システムにおいて、画像６２に映る人物６０の深度は、参照画像６１に映る人物６０の深度と、参照画像６１および画像６２に映る人物６０の像それぞれの特異点間距離の比率とに基づいて算出される。これにより、画像に映る人物の深度を簡易に算出することができる。例えば、撮像装置とは別に深度検出のためのセンサを設ける必要がなくなり、装置の製造コストや大きさを抑制できる。

図８は、特異点間距離の補正例を示す図である。図８左側は、人物７０が撮像装置４５に対して正面に向いている場合、画像を撮像する装置（ここでは、撮像装置４５を用いる）が人物７０を撮像したときの図である。撮像装置４５に撮像された画像に映る人物７０の像の特異点間距離として線分ＡＢに相当する長さが計測される。

一方、図８右側は、人物７０が撮像装置４５に対して正面以外の方向に向いている場合、図８左側と同じ距離だけ離れた場所から、撮像装置４５が人物７０を撮像したときの図である。このとき、撮像装置４５に撮像された画像に映る人物７０の像の特異点間距離として、線分ＣＤの長さが測定される。しかし、線分ＣＤの長さは、人物７０が撮像装置４５に対して正面の方向を向いている場合に計測された線分ＡＢの長さと異なるため、これらの画像に映る人物７０の特異点間距離に基づいても、深度を精度よく算出できない場合がある。

ここで、図８右側において、線分ＤＥは、人物７０の左右の目を結んだ線分と同じ長さであり、かつ、人物７０の左右の目を結んだ線分と平行である。すなわち、線分ＤＥの長さは、線分ＡＢの長さに相当する長さとなる。そのため、人物７０の向きの角度に基づいて、次のように線分ＤＥの長さを求めることで、正面以外の方向を向いた人物の像の特異点間距離を、正面を向いたときの人物の像の特異点間距離に補正できる。

まず、“９０°−（人物７０の向きの角度）”により、線分ＣＤと線分ＤＥとのなす角θが算出される。次に、“（線分ＣＤの長さ）／ｃｏｓθ”により、線分ＤＥの長さが算出される。この線分ＤＥの長さが、人物７０の像における補正後の特異点間距離となる。すなわち、線分ＤＥの長さは、正面を向いた状態で撮像された人物７０の像の特異点間距離となる。

図８で説明したように、撮像装置４５から見た人物７０の向きに基づいて、人物７０の特異点間距離が補正される。これにより、撮像装置４５から見て正面以外の方向を向いた人物の像の特異点間距離を、正面の方向を向いたときの人物の像の特異点間距離に補正できる。そして、補正後の特異点間距離を用いて深度を計算することで、合成装置１００は、人物のカメラに対する向きが参照画像と異なる場合でも、深度を精度よく算出できる。

次に、図９で、本画像合成システムに含まれる各装置の機能について説明する。
図９は、合成装置、端末装置および認証サーバの機能例を示す図である。合成装置１００は、管理情報記憶部１１０、参照画像情報記憶部１２０、応答通知部１３０、画像取得部１４０、人物情報算出部１５０、画像情報受信部１６０、画像合成部１７０、合成画像送信部１８０および合成画像出力部１９０を有する。

管理情報記憶部１１０および参照画像情報記憶部１２０は、ＲＡＭ１０２またはＨＤＤ１０３に確保した記憶領域として実現できる。応答通知部１３０、画像取得部１４０、人物情報算出部１５０、画像情報受信部１６０、画像合成部１７０、合成画像送信部１８０および合成画像出力部１９０の処理は、例えば、プロセッサ１０１が所定のプログラムを実行することで実現される。

管理情報記憶部１１０は、本画像合成システムの利用者ＩＤのリストを記憶する。参照画像情報記憶部１２０は、本画像合成システムの利用者等の所定の人物を被写体とした参照画像を記憶する。また、参照画像情報記憶部１２０は、記憶された参照画像に関する情報を予め格納した参照画像情報テーブルを記憶する。

応答通知部１３０は、端末装置２００による通信要求を、認証サーバ３００を介して受信する。認証サーバ３００からの要求には、利用者ＩＤと、端末装置２００のアドレスとが含まれる。応答通知部１３０が通信要求を受信することで、合成装置１００は、端末装置２００のアドレスを認識し、端末装置２００と通信可能となる。また、応答通知部１３０は、管理情報記憶部１１０に記憶されている利用者のリストに端末装置２００の利用者ＩＤが含まれている場合、受信したアドレスを用いて、通信要求に対する応答通知を端末装置２００へ送信する。

画像取得部１４０は、撮像装置４５によって撮像された画像を、撮像装置４５から所定時間間隔で取得する。
人物情報算出部１５０は、参照画像情報テーブルに登録されている参照画像を用いて、画像取得部１４０が取得した画像から、参照画像情報テーブルに登録されている人物を抽出すると共に、その画像について人物配置領域を設定する。人物配置領域は、例えば、画像に映った人物の像と重複しない所定以上の大きさになるように設定される。人物情報算出部１５０は、画像から抽出した人物の像の特異点間距離を測定する。また、人物情報算出部１５０は、予め撮像された参照画像に映る人物の深度および特異点間距離と、測定した特異点間距離とに基づいて、抽出した人物の深度を算出する。

画像情報受信部１６０は、端末装置２００の画像のデータと、その画像に映る人物の深度を示す情報とを端末装置２００から受信する。
また、画像合成部１７０は、画像情報受信部１６０が受信した深度と、人物情報算出部１５０が算出した深度に基づいて、画像情報受信部１６０が受信した画像を拡大または縮小する。さらに、画像合成部１７０は、合成装置１００の画像の人物配置領域に、拡大または縮小された端末装置２００の画像を配置することで合成する。

合成画像送信部１８０は、画像合成部１７０が合成した合成画像を端末装置２００へ送信する。これと共に、合成画像出力部１９０は、画像合成部１７０により合成された合成画像をディスプレイ３１へ出力させる。

端末装置２００は、参照画像情報記憶部２１０、通信要求部２２０、画像取得部２３０、人物情報算出部２４０、合成画像取得部２５０および合成画像出力部２６０を有する。
参照画像情報記憶部２１０は、ＲＡＭ２０２またはフラッシュメモリ２０３に確保した記憶領域として実現できる。通信要求部２２０、画像取得部２３０、人物情報算出部２４０、合成画像取得部２５０および合成画像出力部２６０の処理は、例えば、プロセッサ２０１が所定のプログラムを実行することで実現される。

参照画像情報記憶部２１０は、端末装置２００の利用者についての参照画像や、参照画像に関する情報を予め格納した参照画像情報テーブルを記憶する。
通信要求部２２０は、認証サーバ３００に合成装置１００との通信要求を送信する。通信要求部２２０は、合成装置１００から通信要求に対する応答通知を受信する。端末装置２００は、応答通知の送信元アドレスを参照することにより、合成装置１００との通信が可能となる。

画像取得部２３０は、撮像カメラ２０４を用いて所定時間間隔で画像を取得する。人物情報算出部２４０は、参照画像情報テーブルに登録されている参照画像を用いて、取得した画像から所定の人物の像を抽出する。人物情報算出部２４０は、人物情報算出部１５０と同様に、抽出した人物の像の特異点間距離を測定し、参照画像に映る人物の深度および特異点間距離と、測定した特異点間距離とに基づいて、抽出した人物の深度を算出する。

合成画像取得部２５０は、人物情報算出部２４０が算出した人物の深度を示す情報を、画像取得部２３０が取得した画像のデータと共に、合成装置１００へ送信する。そして、合成画像取得部２５０は、合成画像を合成装置１００から受信する。合成画像出力部２６０は、合成画像取得部２５０が受信した合成画像をディスプレイ２０５へ表示させる。

なお、合成画像取得部２５０は、例えば、合成装置１００の画像情報受信部１６０が、受信した画像における人物の領域を認識可能な状態で、撮像カメラ２０４から取得した画像を合成装置１００に送信する。例えば、合成画像取得部２５０は、取得した画像における人物の抽出領域を示す位置情報を、その画像のデータと共に合成装置１００に送信する。あるいは、合成画像取得部２５０は、取得した画像のうち、人物の抽出領域以外の領域の画素値を０に変換し、変換後の画像のデータを合成装置１００に送信する。また、さらに別の方法としては、合成画像取得部２５０は取得した画像のデータをそのまま合成装置１００に送信し、合成装置１００の画像情報受信部１６０が、受信した画像から人物領域を抽出してもよい。

認証サーバ３００は、利用者情報記憶部３１０および認証部３２０を有する。利用者情報記憶部３１０は、認証サーバ３００の備えるＲＡＭまたはＨＤＤに確保した記憶領域として実現できる。認証部３２０の処理は、例えば、認証サーバ３００の備えるプロセッサが所定のプログラムを実行することで実現される。

利用者情報記憶部３１０は、本画像合成システムの利用者に関する情報を予め格納した利用者情報テーブルを記憶する。認証部３２０は、合成装置１００との通信要求を端末装置２００から受信する。認証部３２０は、端末装置２００の利用者を認証する。認証部３２０は、認証に成功した場合、利用者ＩＤおよび端末装置２００のアドレスと共に、通信要求を合成装置１００へ送信する。

次に、図１０〜１２を用いて、本画像合成システムが用いるテーブルについて説明する。
図１０は、利用者リストの例を示す図である。利用者リスト１１１は、本画像合成システムの利用者のリストである。利用者リスト１１１は、管理情報記憶部１１０に予め記憶されている。利用者リスト１１１は、利用者ＩＤの項目を有する。利用者ＩＤの項目には、本画像合成システムの利用者を識別するための識別子が設定される。

図１１は、参照画像情報テーブルの例を示す図である。参照画像情報テーブル１２１，２１１は、参照画像に関する情報を予め格納する。参照画像には、所定の人物の像が含まれている。人物の例として、本画像合成システムの各装置の利用者が挙げられるが、各装置の利用者以外の撮像対象者であってもよい。参照画像情報テーブル１２１は、合成装置１００の備える参照画像情報記憶部１２０に記憶され、参照画像情報テーブル２１１は、端末装置２００の備える参照画像情報記憶部２１０に記憶されている。

参照画像情報テーブル１２１，２１１は、人物ＩＤ、参照画像、特異点間距離および深度の項目を有する。人物ＩＤの項目には、参照画像に映る人物を識別するための識別子が設定される。参照画像の項目には、参照画像を示す情報が設定される。参照画像を示す情報は、参照画像のデータであってもよいし、参照画像のデータの保存場所を示す情報であってもよい。なお、参照画像のデータは、画像から対応する人物を認識する際のテンプレートとして利用される。

特異点間距離の項目には、参照画像に映る人物の像の特異点間距離を示す情報が設定される。参照画像に映る人物の深度の項目には、参照画像に映る人物の深度を示す情報が設定される。

図１２は、利用者情報テーブルの例を示す図である。利用者情報テーブル３１１は、本画像合成システムの利用者に関する情報を予め格納する。利用者情報テーブル３１１は、利用者情報記憶部３１０に記憶されている。利用者情報テーブル３１１は、利用者ＩＤ、装置ＩＤ、アドレスおよびパスワードの項目を有する。

利用者ＩＤの項目には、本画像合成システムの利用者を識別するための識別子が設定される。装置ＩＤの項目には、利用者が利用する装置（例えば、合成装置１００または端末装置２００）を識別するための識別子が設定される。アドレスの項目には、本画像合成システムの利用者が利用する装置（例えば、合成装置１００または端末装置２００）のアドレスが設定される。パスワードの項目には、本画像合成システムの利用者のパスワードが設定される。

図１３は、合成画像の配信のシーケンス例を示す図である。図１３では、撮像装置４５や撮像カメラ２０４から画像を入力する処理については、説明を省略する。また、図１３では、まず、ステップＳ１〜Ｓ４を用いて、合成装置１００と端末装置２００とを通信可能にするための手続きについて説明し、次に、ステップＳ５以降で、合成画像の配信について説明する。

本画像合成システムにおいて、合成装置１００および端末装置２００は、認証サーバ３００以外の装置の送信先アドレスを互いに認識していないため、直接通信できない。そこで、合成装置１００および端末装置２００は、認証サーバ３００とステップＳ１〜４に示す手続きを行うことで、直接通信することができるようになる。その後、合成装置１００および端末装置２００は、ステップＳ５を実行し、さらにステップＳ６〜Ｓ１２の処理を繰り返し実行することで、合成された動画を取得し、ディスプレイに表示可能となる。

以下、図１３に示す処理をステップ番号に沿って説明する。
（Ｓ１）端末装置２００は、合成装置１００と通信するための通信要求を認証サーバ３００へ送信する。この通信要求には、利用者ＩＤとパスワードとが含まれる。認証サーバ３００は、合成装置１００との通信要求を端末装置２００から受信する。

（Ｓ２）認証サーバ３００は、受信した利用者ＩＤおよびパスワードを用いて、認証処理を行う。具体的には、認証サーバ３００は、利用者ＩＤおよびパスワードを含むレコードが利用者情報テーブル３１１に存在する場合、認証が成功したと判定する。図１３では、認証に成功したとする。

（Ｓ３）認証サーバ３００は、利用者ＩＤと、端末装置２００のアドレスと共に、端末装置２００による通信要求を合成装置１００へ送信する。合成装置１００は、利用者ＩＤと、端末装置２００のアドレスと、通信要求とを認証サーバ３００から受信する。これにより、合成装置１００は、端末装置２００のアドレスを認識できる。

（Ｓ４）合成装置１００は、受信した利用者ＩＤが利用者リスト１１１に含まれているか判定する。ここでは、利用者ＩＤが利用者リスト１１１に含まれているものとする。利用者ＩＤが利用者リスト１１１に含まれている場合、認証サーバ３００から受信したアドレスを用いて、受信した通信要求に対する応答通知を端末装置２００へ送信する。端末装置２００は、通信要求に対する応答通知を合成装置１００から受信する。端末装置２００は、応答通知の送信元アドレスを参照することで、合成装置１００の送信先アドレスを認識できる。これにより、合成装置１００と端末装置２００との間の接続が確立される。

なお、利用者ＩＤが利用者リスト１１１に含まれていない場合、利用者ＩＤおよび送信アドレスと共に通信要求は破棄される。
このように、合成装置１００および端末装置２００は、ステップＳ１〜Ｓ４の手続きを行うことで、互いの送信先アドレスを認識し、直接通信が可能となる。

（Ｓ５）合成装置１００は、合成装置１００の画像の解像度を端末装置２００へ送信する。端末装置２００は、合成装置１００の画像の解像度を合成装置１００から受信する。（Ｓ６）合成装置１００は、図７〜８で説明した方法で、合成装置１００の画像に映る人物の深度を算出する。

（Ｓ７）端末装置２００は、図７〜８で説明した方法で、端末装置２００の画像に映る人物の深度を算出する。
（Ｓ８）端末装置２００は、端末装置２００の撮像カメラ２０４から取得した画像のデータと、ステップＳ７で算出した人物の深度とを、合成装置１００へ送信する。この際、前述のように、撮像カメラ２０４から取得した画像は、合成装置１００側で、受信した画像における人物の領域を認識可能な状態で、送信される。合成装置１００は、端末装置２００の画像のデータと、ステップＳ７で算出した人物の深度とを、端末装置２００から受信する。

なお、ステップＳ５で受信した、合成装置１００の画像の解像度と、端末装置２００の撮像カメラ２０４から取得した画像の解像度とが異なる場合には、端末装置２００は、撮像カメラ２０４から取得した画像の解像度を、ステップＳ５で受信した解像度に変換し、変換後の画像を合成装置１００へ送信する。また、ステップＳ５での解像度の送信と、ステップＳ８での送信時における解像度の変換とが行われない代わりに、ステップＳ８において、合成装置１００が、端末装置２００から受信した画像の解像度を合成装置１００の画像の解像度に変換してもよい。また、合成装置１００の画像の解像度と、端末装置２００の撮像カメラ２０４から取得される画像の解像度とが同じであることが前提である場合には、ステップＳ５での解像度の送信も、端末装置２００または合成装置１００での解像度変換も行われる必要はない。

（Ｓ９）合成装置１００は、合成装置１００の画像および端末装置２００から受信した画像それぞれに映る人物の深度に基づいて、端末装置２００から受信した画像のうち、人物が映った領域の画像の大きさを調整する。合成装置１００は、合成装置１００の画像内の所定領域に、大きさを調整した画像を配置することで、合成画像を生成する。

（Ｓ１０）合成装置１００は、生成した合成画像を端末装置２００へ送信する。
（Ｓ１１）合成装置１００は、生成した合成画像をディスプレイ３１へ表示させる。
（Ｓ１２）端末装置２００は、受信した合成画像をディスプレイ２０５へ表示させる。

次に、図１４〜１７を用いて、合成画像の配信に関する処理について、フローチャートを用いて説明する。
図１４は、合成画像の生成および送信処理の例を示すフローチャートである。以下、図１４〜１５に示す処理をステップ番号に沿って説明する。

（Ｓ２１）応答通知部１３０は、図１３のステップＳ１〜Ｓ４で説明した方法で、端末装置２００による通信要求を、端末装置２００のアドレス等と共に認証サーバ３００から受信し、通信要求に対する応答通知を端末装置２００へ送信する。これにより、合成装置１００および端末装置２００は、互いのアドレスを認識し、直接通信できるようになる。

（Ｓ２２）画像取得部１４０は、撮像装置４５で撮像される画像の解像度を端末装置２００へ送信する。
（Ｓ２３）画像取得部１４０は、撮像装置４５から画像のデータを取得する。これ以後、画像取得部１４０は、所定時間間隔で撮像装置４５から画像のデータを取得する。

（Ｓ２４）人物情報算出部１５０は、撮像装置４５から取得した画像から、所定の人物の像を抽出する。具体的には、人物情報算出部１５０は、参照画像情報テーブル１２１に登録された各参照画像の何れかに映る人物とパターンが一致する人物の像を抽出する。

（Ｓ２５）人物情報算出部１５０は、ステップＳ２３で取得した画像に、人物配置領域を設定する。例えば、人物情報算出部１５０は、抽出した人物の像の左右の何れかに、人物配置領域を設定する。

なお、人物情報算出部１５０は、所定フレーム数の画像を撮像装置４５から取得するまでに、ステップＳ２４で人物の像を抽出できなかったり、ステップＳ２５で人物配置領域として設定可能な領域を検出できなかったりした場合、タイムアウトにして処理を終了してもよい。

（Ｓ２６）人物情報算出部１５０は、ステップＳ２４で抽出した人物の像について、特異点間距離を計測する。
（Ｓ２７）人物情報算出部１５０は、ステップＳ２４で抽出した人物の向きを判定する。人物の向きは、例えば、抽出した人物の像に対するその人物の鼻の像の相対位置に基づいて算出できる。

また、抽出した人物の向きは、人物の向き毎に撮像された参照画像を、その人物の向きと対応付けて予め参照画像情報テーブル１２１等に格納することで、次のように算出されてもよい。まず、人物情報算出部１５０は、抽出した人物の像とパターンが一致する人物の像を含む参照画像を検索する。そして、検索した参照画像に対応する人物の向きを、抽出した人物の向きとして算出する。

（Ｓ２８）ステップＳ２７での向きの判定により、ステップＳ２４で抽出した人物が正面を向いていない場合、人物情報算出部１５０は、ステップＳ２６で計測した特異点間距離を、その人物が撮像装置４５に対して正面を向いたときの特異点間距離に補正する。特異点間距離の補正は、ステップＳ２７で計測した人物の向きに基づいて、図８で説明した方法を用いる。

（Ｓ２９）人物情報算出部１５０は、抽出された人物に対応する参照画像（ただし、正面を向いた人物が映っているもの）についての深度および特異点間距離と、計測された特異点間距離（ステップＳ２８で補正が行われた場合は、補正された特異点間距離）とに基づいて、ステップＳ２４で抽出された人物について深度を算出する。具体的には、人物情報算出部１５０は、“（参照画像に映る人物の深度）×｛（参照画像に映る人物の像の特異点間距離）／（計測された特異点間距離）｝”により抽出した人物の深度を算出する。

参照画像に映る人物の像の特異点間距離および深度は、ステップＳ２４でパターンが一致した参照画像を含むレコードを参照画像情報テーブル１２１から検索し、検索したレコードから特異点間距離および深度を読み出すことで取得できる。

図１５は、合成画像の生成および送信処理の例を示すフローチャート（続き）である。
（Ｓ４１）画像情報受信部１６０は、端末装置２００で撮像された画像のデータ、および、その画像に映る人物の深度を端末装置２００から受信する。

（Ｓ４２）画像合成部１７０は、ステップＳ４１で受信した深度と、図１４のステップＳ２９で算出された深度とに基づいて、図６で説明した方法で、端末装置２００から受信した画像における、人物が映った領域の画像の大きさを調整（拡大または縮小）する。

（Ｓ４３）画像合成部１７０は、図１４のステップＳ２５で設定された領域に、ステップＳ４２で調整された画像を配置することで、合成画像を生成する。
（Ｓ４４）合成画像送信部１８０は、ステップＳ４３で生成された合成画像データを端末装置２００へ送信する。

（Ｓ４５）合成画像出力部１９０は、ステップＳ４３で生成された合成画像をディスプレイ３１へ表示させる。
その後、ステップＳ２３〜Ｓ４５の処理が繰り返し実行される。これにより、合成装置１００側で撮像された、人物を含む画像に、端末装置２００側で撮像された人物の画像が合成された合成画像が、動画として、ディスプレイ３１に表示されると共に、端末装置２００に送信される。

図１６は、合成画像の受信処理の例を示すフローチャートである。以下、図１６〜１７に示す処理をステップ番号に沿って説明する。
（Ｓ５１）通信要求部２２０は、図１３のステップＳ１〜Ｓ４で説明した方法で、合成装置１００との通信要求を認証サーバ３００へ送信し、応答通知を合成装置１００から受信する。これにより、端末装置２００は、合成装置１００のアドレスを認識し、合成装置１００と直接通信できるようになる。

（Ｓ５２）画像取得部２３０は、合成装置１００の画像の解像度を、合成装置１００から受信する。
（Ｓ５３）画像取得部２３０は、所定時間間隔で撮像カメラ２０４から画像データを取得する。

（Ｓ５４）人物情報算出部２４０は、撮像カメラ２０４から取得した画像から、人物の像を抽出する。具体的には、人物情報算出部２４０は、参照画像情報テーブル２１１に登録された各参照画像に映る人物と、パターンが一致する人物の像を、取得した画像から抽出する。

なお、人物情報算出部２４０は、所定フレーム数の画像を撮像カメラ２０４から取得するまでに、人物の像が抽出されなかった場合、タイムアウトにして処理を終了してもよい。

（Ｓ５５）人物情報算出部２４０は、ステップＳ５４で抽出した人物の像について、特異点間距離を計測する。
（Ｓ５６）人物情報算出部２４０は、図１４のステップＳ２７と同様の方法で、ステップＳ５４で抽出した人物の向きを判定する。

（Ｓ５７）ステップＳ５６での向きの判定により、ステップＳ５４で抽出した人物が正面を向いていない場合、人物情報算出部２４０は、図１４のステップＳ２８と同様の方法で、ステップＳ５６で計測した人物の向きに基づいて、ステップＳ５５で計測した特異点間距離を、その人物が撮像カメラ２０４に対して正面を向いたときの特異点間距離に補正する。

（Ｓ５８）人物情報算出部２４０は、抽出された人物に対応する参照画像（ただし、正面を向いた人物が映っているもの）における深度および特異点間距離と、計測された特異点間距離（ステップＳ５７で補正が行われた場合は、補正された特異点間距離）とに基づいて、図１４のステップＳ２９と同様の方法で、ステップＳ５４で抽出した人物の深度を算出する。

図１７は、合成画像の受信処理の例を示すフローチャート（続き）である。
（Ｓ６１）図１６のステップＳ５２で受信した解像度と、撮像カメラ２０４で撮像される画像の解像度とが異なる場合、合成画像取得部２５０は、ステップＳ５２で受信した解像度に合わせて、撮像カメラ２０４から取得した画像の解像度を調整する。

（Ｓ６２）合成画像取得部２５０は、撮像カメラ２０４から取得した画像（ステップＳ６１で解像度が調整された場合、調整後の画像）のデータ、および、図１６のステップＳ５８で算出された深度を合成装置１００へ送信する。この画像送信では、前述のように、合成装置１００側で、受信した画像における人物の領域を認識可能な状態で、画像が送信されることが望ましい。

（Ｓ６３）合成画像取得部２５０は、合成画像のデータを合成装置１００から受信したか判定する。合成画像のデータを受信した場合、処理をステップＳ６５へ進める。合成画像のデータを合成装置１００から受信していない場合、処理をステップＳ６４へ進める。

（Ｓ６４）合成画像取得部２５０は、タイムアウトが発生したか判定する。すなわち、合成画像取得部２５０は、合成画像の受信待ちの状態となったときから、所定の時間が経過したか判定する。タイムアウトが発生した場合、処理をステップＳ６６へ進める。タイムアウトが発生していない場合、処理をステップＳ６３へ進める。

すなわち、合成画像取得部２５０は、タイムアウトが発生するまでの間、合成画像のデータを受信するまで待機する。
（Ｓ６５）合成画像出力部２６０は、ステップＳ６３で受信した合成画像を、ディスプレイ２０５に表示させる。

（Ｓ６６）合成画像取得部２５０は、本画像合成システムを利用できない旨をディスプレイ２０５に表示させる。なお、合成画像取得部２５０は、本画像合成システムを利用できない旨を、ディスプレイ２０５に表示させる他、ログファイルに出力したり、他の周辺機器に出力したりしてもよい。

第２の実施の形態による画像合成システムによれば、合成装置１００の画像に映る人物の深度と、端末装置２００の画像に映る人物の深度に基づいて、端末装置２００の画像に映る人物の像の大きさが調整される。そして、調整後の人物の像を合成装置１００の画像の人物配置領域に配置することで、合成画像が生成される。これにより、画像内の被写体間のサイズ比が実際の被写体間のサイズ比と一致しないことで生じる違和感を低減できる。

また、同じ深度で撮像された人物の像であっても、その特異点間距離は、人物毎に異なる。上記のように、画像に映る個々の人物に対応する特異点間距離に基づいて、画像に映る人物の深度が算出される。これにより、人物毎に特異点間距離を正確に計測でき、その結果、人物の深度を精度よく算出できる。

また、画像を解析することで深度を算出できるため、例えば、専用のセンサデバイスを用いて深度を計算する方法と比較して、装置の製造コストを低減でき、装置を小型化できる。さらに、例えば、複数の撮像装置を用いて三角測量により深度を算出する方法と比較して、深度を計測するための撮像装置の数が少なくなるため、撮像装置のコストを低減できる。

また、画像に映る人物の向きの角度に基づいて、画像上の人物の特異点間距離が、その人物が正面を向いたときの特異点間距離に補正される。これにより、特異点間距離の基準となる参照画像に映る人物の向きと、撮像された画像に映る人物の向きとが異なる場合でも、補正後の特異点間距離を用いることで、撮像された画像に映る人物の深度を精度よく算出することができる。また、特異点間距離と深度を対応付けた参照画像を人物の向き毎に予め記憶する必要がなくなり、合成装置１００の備える記憶装置の記憶領域を節約できる。

なお、ハイブリッドＰ２Ｐ方式の代わりに、ピュアＰ２Ｐ方式により合成装置１００および端末装置２００が通信されてもよい。ピュアＰ２Ｐ方式とは、ハイブリッドＰ２Ｐとは異なり、各装置間で互いのアドレスを管理し、直接通信を行う方式である。ピュアＰ２Ｐ方式を用いる場合、合成装置１００および端末装置２００は、互いのアドレスを認識しており、図１３のステップＳ１〜Ｓ４のような、認証処理やアドレス通知処理も不要となる。そのため、ピュアＰ２Ｐ方式を用いる場合、そのシステムには、認証サーバ３００を用いる必要がなくなる。

次に、図１８〜１９を用いて、人物配置領域の設定方法の第１の変形例について説明する。
図１８は、人物配置領域の設定方法の第１の変形例を示す図である。第１の変形例では、画像から抽出された人物の向きに応じて、人物配置領域を設定する位置を可変にする。

図１８に示す画像８０は、撮像装置４５によって撮像された画像である。画像８０の略中央部には人物８１が映っており、人物８１の右側にも左側にも、端末装置２００で撮像された人物の像を合成できる十分な領域が存在する。例えば、人物８１の左側には人物配置領域８２ａを設定可能であり、人物８１の右側には人物配置領域８２ｂを設定可能である。この場合、図１４のステップＳ２５の人物配置領域の設定処理は、次のように変形される。

人物情報算出部１５０は、ステップＳ２４で抽出された人物の像の位置に基づいて、人物の像の左右の両側に他の人物の像を合成できるだけの十分な領域が存在するかを判定する。人物情報算出部１５０は、十分な領域が存在すると判定した場合、ステップＳ２７と同様の方法で、抽出された人物の向きを判定する。この判定では、人物が左右のどちらを向いているかが判定される。そして、人物情報算出部１５０は、人物が向いている方向に、人物配置領域を設定する。図１８の例では、人物８１は右方向を向いていると判定される。この場合、人物８１の右側に人物配置領域８２ｂが設定される。

このような処理により、画像に映る人物の向きから判断される自然な方向に、端末装置２００で撮像された人物の像が合成される。よって、合成画像の不自然さが低減される。
なお、上記の第１の変形例における人物の方向判定処理は、図１４のステップＳ２７と兼用されてもよい。この場合、ステップＳ２４の後にステップＳ２６，Ｓ２７が実行され、その後に、ステップＳ２７での方向判定結果に基づいて人物配置領域が設定されればよい。

図１９は、人物配置領域の設定方法の第２の変形例を示す図である。第２の変形例では、撮像された画像に、人物配置領域を設定し得るスペースがない場合に、画像の画角を変えて人物配置領域を設定できるようにする。この第２の変形例では、撮像装置４５は、ズーム機能を備えており、合成装置１００は、撮像装置４５の焦点距離（ズーム倍率）を制御できるものとする。

図１９に示す画像９０ａは、撮像装置４５によって撮像された画像である。画像９０ａには人物９１が映っているが、人物９１の顔があまりにも大きく映っているために、人物９１の右側にも左側にも、人物配置領域を設定するスペースが残っていない。この場合、合成装置１００は、撮像装置４５の焦点距離を短くする（すなわち、ズーム倍率を小さくする）ように制御する。これにより、画像９０ｂに示すように、画像９０ｂ全体に占める人物９１の領域が小さくなり、人物９１の右側または左側の少なくとも一方に人物配置領域を設定可能なスペースが生まれる。合成装置１００は、例えば、人物９１の右側に人物配置領域９２を設定する。

人物が映っている画像に人物配置領域を設定するスペースがあるかの判定としては、例えば、人物の特異点間距離（例えば、図１９の距離Ｌ２１）が所定の閾値以上である場合に、人物配置領域を設定するスペースがないと判定する方法を用いることができる。この場合、図１４のステップＳ２５〜Ｓ２８は、例えば次のように変形される。

人物情報算出部１５０は、ステップＳ２６〜Ｓ２８に示した方法で、画像から抽出された人物についての特異点間距離を算出する。算出された特異点間距離が所定の閾値以上である場合、人物情報算出部１５０は、撮像装置４５のズーム倍率を所定倍率分だけ小さくする。そして、ステップＳ２３からの処理が実行される。一方、算出された特異点間距離が所定の閾値未満である場合には、ステップＳ２５と同様の手順で人物配置領域が設定される。

このような処理により、合成画像が生成される機会を多くすることができる。また、撮像装置４５を調整するオペレータの手間がかからなくなり、操作性が向上する。
なお、上記の第２の変形例では、合成装置１００が特異点間距離から深度を算出する際、その算出結果は撮像装置４５の焦点距離に応じて補正される。この補正方法としては、例えば、画像から計測された特異点間距離を、焦点距離に応じた補正係数を用いて補正する方法がある。あるいは、参照画像に基づく特異点間距離の基準値を焦点距離毎に用意しておき、深度の計算の際に、その時点での焦点距離に対応する特異点間距離の基準値を利用する方法もある。

［第３の実施の形態］
次に、第３の実施の形態の画像合成システムについて説明する。第３の実施の形態の画像合成システムは、合成装置および端末装置それぞれの画像に映る人物の深度を合成装置が算出するように、第２の実施の形態の画像合成システムを変形したものである。

図２０〜２１では、第３の実施の形態の合成システムに含まれる各装置の機能例と、シーケンス例について説明する。図２０〜２１において、第２の実施の形態と差異のある点を説明し、第２の実施の形態と同じ構成や処理については説明を省略する。

図２０は、第３の実施の形態の合成装置、端末装置および認証サーバの機能例を示す図である。合成装置１００ａについて、第２の実施の形態の合成装置１００との違いは、参照画像情報記憶部１２０が参照画像情報記憶部１２０ａに変更され、人物情報算出部１５０が人物情報算出部１５０ａに変更され、画像情報受信部１６０が画像情報受信部１４５ａに変更されている点である。

参照画像情報記憶部１２０ａは、第２の実施の形態の参照画像情報記憶部１２０が記憶していた情報に加えて、第２の実施の形態の参照画像情報記憶部２１０が記憶していた情報も記憶する。すなわち、参照画像情報記憶部１２０ａは、他の端末装置２００で撮像される人物に関する参照画像や特異点間距離も記憶する。

画像情報受信部１４５ａは、端末装置２００ａで撮像された画像のデータと、端末装置２００ａで撮像される画像の解像度を示す情報を端末装置２００ａから受信する。
人物情報算出部１５０ａは、参照画像情報記憶部１２０ａに記憶された情報を参照しながら、画像取得部１４０が取得した画像に映る人物の深度を算出すると共に、画像情報受信部１４５ａが受信した画像に映る人物の深度を算出する。

端末装置２００ａについて、第２の実施の形態の端末装置２００との違いは、人物情報算出部２４０が削除され、合成画像取得部２５０が合成画像取得部２５０ａに変更されている点である。合成画像取得部２５０ａは、画像取得部２３０が取得した画像のデータとその画像の解像度とを合成装置１００ａへ送信し、合成画像を合成装置１００ａから受信する。

図２１は、第３の実施の形態の合成画像の配信のシーケンス例を示す図である。第２の実施の形態との違いは、図１３のステップＳ５〜Ｓ８の処理が、ステップＳ５ａ〜Ｓ７ａに変更されている点である。以下、ステップＳ５ａ〜Ｓ７ａについて、ステップ番号に沿って説明する。

（Ｓ５ａ）端末装置２００ａは、端末装置２００ａで撮像された画像のデータおよび画像の解像度を合成装置１００ａへ送信する。合成装置１００ａは、端末装置２００ａで撮像された画像のデータおよび画像の解像度を端末装置２００ａから受信する。

（Ｓ６ａ）ステップＳ５ａで受信した解像度と、撮像装置４５で撮像される画像の解像度とが異なる場合、合成装置１００ａは、これらの解像度の比に基づいて、ステップＳ５ａで受信した画像の解像度を変換する。すなわち、端末装置２００ａから受信した画像の解像度は、“（撮像装置４５で撮像される画像の解像度）／（受信した解像度）”で算出される倍率で変換される。

（Ｓ７ａ）合成装置１００ａは、図７〜８で説明した方法で、合成装置１００ａの画像に映る人物の深度と、端末装置２００ａで撮像された画像に映る人物の深度とを算出する。なお、ステップＳ６ａで受信した画像の解像度が変換されている場合、ステップＳ７ａおよびステップＳ９では、端末装置２００ａで撮像された画像として、解像度変換後の画像が利用される。

以上の第３の実施の形態による画像合成システムで説明したように、合成装置１００ａが取得した画像に写る人物の深度と、端末装置２００ａが取得した画像に写る人物の深度とを、合成装置１００ａがまとめて算出することも可能である。

［第４の実施の形態］
次に、第４の実施の形態の画像合成システムについて説明する。第４の実施の形態の画像合成システムは、クライアントサーバ方式より、認証サーバから２つの端末装置へ合成画像を配信するものである。すなわち、第４の実施の形態の通信システムは、２つの端末装置それぞれで撮像された画像に映る人物の深度を算出し、これらの画像を合成し、合成した画像を各端末装置に配信する処理を認証サーバが実行するように、第２の実施の形態の通信システムを変形したものである。

図２２〜２３では、第４の実施の形態の画像合成システムに含まれる各装置の機能例およびシーケンス例について説明する。図２２〜２３において、第２の実施の形態と差異のある点を説明し、第２の実施の形態と同じ構成や処理については説明を省略する。

図２２は、第４の実施の形態の端末装置および認証サーバの機能例を示す図である。
前述した第２の実施の形態の画像合成システムでは、合成装置１００がハイブリッドＰ２Ｐ方式により通信可能となった端末装置２００へ合成画像を配信する。これに対し、第４の実施の形態の画像合成システムでは、クライアントサーバ方式により、認証サーバ３００ｂが、端末装置２００ｂ１，２００ｂ２へ合成画像を配信するように変更されている。端末装置２００ｂ１，２００ｂ２それぞれは、互いに直接通信せず、認証サーバ３００ｂを介して通信する。

端末装置２００ｂ１について、第２の実施の形態の端末装置２００との違いは、参照画像情報記憶部２１０が削除され、通信要求部２２０が通信要求部２２０ｂに変更され、人物情報算出部２４０が削除され、合成画像取得部２５０が合成画像取得部２５０ｂに変更されている点である。通信要求部２２０ｂは、認証サーバ３００ｂに端末装置２００ｂ２との通信要求を送信する。通信要求部２２０ｂは、自装置が通信要求を送信しない場合（すなわち、他の端末装置２００ｂ２が通信要求を認証サーバ３００ｂへ送信した場合）には、他の端末装置２００ｂ２からの通信要求を、認証サーバ３００ｂを介して受信する。合成画像取得部２５０ｂは、画像取得部２３０が取得した画像のデータとその画像の解像度とを認証サーバ３００ｂへ送信し、合成画像を認証サーバ３００ｂから受信する。

なお、端末装置２００ｂ２は、端末装置２００ｂ１と同様の機能を有する。
認証サーバ３００ｂについて、第２の実施の形態の認証サーバ３００との違いは、参照画像情報記憶部３３０、画像情報受信部３４０、人物情報算出部３５０、画像合成部３６０および合成画像送信部３７０が追加されている点である。

参照画像情報記憶部３３０は、認証サーバ３００ｂの備えるＲＡＭまたはＨＤＤに確保した記憶領域として実現できる。画像情報受信部３４０、人物情報算出部３５０、画像合成部３６０および合成画像送信部３７０は、例えば、認証サーバ３００ｂの備えるプロセッサが所定のプログラムを実行することで実現される。

参照画像情報記憶部３３０は、本画像合成システムの利用者等の所定の人物を被写体とした参照画像や、参照画像に関する情報を予め格納した参照画像情報テーブルを記憶する。なお、人物毎の参照画像は、例えば、撮像装置と人物とが予め決められた基準距離だけ離れた状態で撮像されたものであり、かつ、解像度が同じであるものとする。

画像情報受信部３４０は、撮像された画像のデータを端末装置２００ｂ１，２００ｂ２から受信する。
人物情報算出部３５０は、画像情報受信部３４０が受信した端末装置２００ｂ１，２００ｂ２それぞれの画像の解像度を、参照画像と同じ解像度に変換する。以後、人物情報算出部３５０、画像合成部３６０および合成画像送信部３７０で扱われる端末装置２００ｂ１，２００ｂ２それぞれの画像は、解像度変換後の画像とされる。

また、人物情報算出部３５０は、参照画像情報記憶部３３０に記憶された参照画像を用いて、画像情報受信部３４０が受信した端末装置２００ｂ１，２００ｂ２それぞれの画像から、人物を抽出する。このとき、一方（ここでは、端末装置２００ｂ１）の画像には、人物配置領域を設定する。人物情報算出部３５０は、抽出した人物の像の特異点間距離を測定する。人物情報算出部３５０は、測定した各特異点間距離と、参照画像情報記憶部３３０に記憶された、対応する人物についての特異点間距離の基準値とに基づいて、抽出した各人物の深度を算出する。

また、画像合成部３６０は、他方（ここでは、端末装置２００ｂ２）の画像に映る人物の深度と、端末装置２００ｂ１の画像に映る人物の深度に基づいて、端末装置２００ｂ２の画像を拡大または縮小する。さらに、画像合成部３６０は、端末装置２００ｂ１の画像における人物配置領域に、拡大または縮小された端末装置２００ｂ２の画像を配置することで合成する。

合成画像送信部３７０は、画像合成部３６０により合成された合成画像を端末装置２００ｂ１，２００ｂ２へ送信する。
図２３は、第４の実施の形態の合成画像の配信のシーケンス例を示す図である。第２の実施の形態との違いは、図１３のステップＳ１〜Ｓ１２の処理が、ステップＳ７１〜Ｓ８４の処理に変更されている点である。また、図２３では、端末装置２００ｂ１，２００ｂ２それぞれの間で、認証サーバ３００ｂを介すことで通信が可能となっている。

以下、ステップＳ７１〜Ｓ８４について、ステップ番号に沿って説明する。
（Ｓ７１）端末装置２００ｂ２は、他の端末装置と通信するための通信要求を認証サーバ３００ｂへ送信する。この通信要求には、利用者ＩＤとパスワードとが含まれる。認証サーバ３００ｂは、通信要求を端末装置２００ｂ２から受信する。

（Ｓ７２）認証サーバ３００ｂは、図１３のステップＳ２と同様の手順で認証処理を行う。また、認証サーバ３００ｂは、認証に成功すると、認証に成功したことを端末装置２００ｂ２に通知する。

（Ｓ７３）認証サーバ３００ｂは、端末装置２００ｂ１に対して通信要求を送信する。
（Ｓ７４）通信要求を受信した端末装置２００ｂ１は、自装置で撮像される画像の解像度を認証サーバ３００ｂへ送信する。認証サーバ３００ｂは、端末装置２００ｂ１からの解像度を受信する。

（Ｓ７５）認証に成功したことの通知を受けた端末装置２００ｂ２は、自装置で撮像される画像の解像度を認証サーバ３００ｂへ送信する。認証サーバ３００ｂは、端末装置２００ｂ２からの解像度を受信する。

（Ｓ７６）端末装置２００ｂ１は、撮像された画像のデータを認証サーバ３００ｂへ送信する。認証サーバ３００ｂは、端末装置２００ｂ１から画像のデータを受信する。
（Ｓ７７）端末装置２００ｂ２は、撮像された画像のデータを認証サーバ３００ｂへ送信する。認証サーバ３００ｂは、端末装置２００ｂ２から画像のデータを受信する。

（Ｓ７８）認証サーバ３００ｂは、ステップＳ７４で受信した解像度が、参照画像の解像度と異なる場合に、ステップＳ７６で端末装置２００ｂ１から受信した画像の解像度を、参照画像と同じ解像度に変換する。このステップＳ７８で端末装置２００ｂ１から受信した画像の解像度が変換されている場合、この後のステップＳ７９〜Ｓ８２では、端末装置２００ｂ１から受信した画像として、解像度の変換後の画像が利用される。

また、認証サーバ３００ｂは、ステップＳ７５で受信した解像度が、参照画像の解像度と異なる場合に、ステップＳ７７で端末装置２００ｂ２から受信した画像の解像度を、参照画像と同じ解像度に変換する。このステップＳ７８で端末装置２００ｂ２から受信した画像の解像度が変換されている場合、この後のステップＳ７９〜Ｓ８２では、端末装置２００ｂ２から受信した画像として、解像度の変換後の画像が利用される。

（Ｓ７９）認証サーバ３００ｂは、図７〜８で説明した方法で、端末装置２００ｂ１，２００ｂ２からそれぞれ受信した画像から特異点間距離を計測し、各画像に映る人物の深度を算出する。

（Ｓ８０）認証サーバ３００ｂは、図６で説明した方法で、端末装置２００ｂ１から受信した画像に対して、端末装置２００ｂ２から受信した画像のうち、人物の領域の画像を合成した合成画像を生成する。

（Ｓ８１）認証サーバ３００ｂは、生成した合成画像を端末装置２００ｂ１へ送信する。端末装置２００ｂ１は、認証サーバ３００ｂから合成画像を受信する。
（Ｓ８２）認証サーバ３００ｂは、生成した合成画像を端末装置２００ｂ２へ送信する。端末装置２００ｂ２は、認証サーバ３００ｂから合成画像を受信する。

（Ｓ８３）端末装置２００ｂ１は、端末装置２００ｂ１の備えるディスプレイに、受信した合成画像を表示させる。
（Ｓ８４）端末装置２００ｂ２は、端末装置２００ｂ２の備えるディスプレイに、受信した合成画像を表示させる。

以上の第４の実施の形態による画像合成システムで説明したように、第２および第３の実施の形態の合成システムのようなハイブリッドＰ２Ｐ方式ではなく、クライアントサーバ方式によっても、合成画像を配信することが可能である。

なお、前述のように、第１の実施の形態の情報処理は、画像処理装置１０にプログラムを実行させることで実現でき、第２〜第４の実施の形態の情報処理は、合成装置１００，１００ａや端末装置２００，２００ａ，２００ｂ１，２００ｂ２や認証サーバ３００，３００ｂにプログラムを実行させることで実現できる。このようなプログラムは、コンピュータ読み取り可能な記録媒体（例えば、記録媒体３３）に記録しておくことができる。記録媒体としては、例えば、磁気ディスク、光ディスク、光磁気ディスク、半導体メモリなどを使用できる。磁気ディスクには、ＦＤおよびＨＤＤが含まれる。光ディスクには、ＣＤ、ＣＤ−Ｒ（Recordable）／ＲＷ（Rewritable）、ＤＶＤおよびＤＶＤ−Ｒ／ＲＷが含まれる。

プログラムを流通させる場合、例えば、当該プログラムを記録した可搬記録媒体が提供される。また、プログラムを他のコンピュータの記憶装置に格納しておき、ネットワーク２０経由でプログラムを配布することもできる。コンピュータは、例えば、可搬記録媒体に記録されたプログラムまたは他のコンピュータから受信したプログラムを、記憶装置（例えば、ＨＤＤ１０３）に格納し、当該記憶装置からプログラムを読み込んで実行する。ただし、可搬記録媒体から読み込んだプログラムを直接実行してもよく、他のコンピュータからネットワーク２０を介して受信したプログラムを直接実行してもよい。また、上記の情報処理の少なくとも一部を、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ、ＰＬＤ（Programmable Logic Device）等の電子回路で実現することも可能である。

１，２，３画像
１ａ，２ａ被写体
１０画像処理装置
１１取得部
１２合成部
Ｌ１，Ｌ２距離

Claims

第１の画像に映った第１の被写体と前記第１の画像を撮像した撮像装置との間の第１の距離と、第２の画像に映った第２の被写体と前記第２の画像を撮像した撮像装置との間の第２の距離とを取得する取得部と、
前記第１の画像における前記第１の被写体の像と前記第２の画像における前記第２の被写体の像とを合成する合成部であって、各像を合成する際に、前記第１の距離と前記第２の距離とに基づいて、前記第１の被写体の像または前記第２の被写体の像の少なくとも一方のサイズを調整する前記合成部と、
を有することを特徴とする画像処理装置。
前記取得部は、前記第１の被写体の像から所定の複数の特徴点を抽出し、抽出した複数の特徴点の間の距離に基づいて、前記第１の距離を算出する、
ことを特徴とする請求項１記載の画像処理装置。
前記第１の被写体は、人物であり、
前記取得部は、前記人物の像における両目の位置情報を抽出し、抽出した両目の間の距離に基づいて、前記第１の距離を算出する、
ことを特徴とする請求項２記載の画像処理装置。
複数の人物それぞれに対応する、両目の間の基準距離を記憶する記憶部をさらに有し、
前記取得部は、前記第１の画像に映る人物を判別し、判別した人物に対応する前記基準距離を前記記憶部から読み出し、読み出した前記基準距離と、判別した人物の像から抽出した両目の間の距離とに基づいて、前記第１の距離を算出する、
ことを特徴とする請求項３記載の画像処理装置。
前記取得部は、さらに、前記第１の被写体の向きを判定し、判定した向きに基づいて前記複数の特徴点の間の距離を補正する、
ことを特徴とする請求項２記載の画像処理装置。
前記取得部は、さらに、前記第１の被写体の向きを判定し、
前記合成部は、判定した向きに基づいて、合成後の画像における、前記第１の被写体の像と、前記第２の被写体の像との位置関係を決定する、
ことを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
コンピュータが、
第１の画像に映った第１の被写体と前記第１の画像を撮像した撮像装置との間の第１の距離と、第２の画像に映った第２の被写体と前記第２の画像を撮像した撮像装置との間の第２の距離とを取得し、
前記第１の画像における前記第１の被写体の像と前記第２の画像における前記第２の被写体の像とを合成し、前記合成の際、前記第１の距離と前記第２の距離とに基づいて、前記第１の被写体の像または前記第２の被写体の像の少なくとも一方のサイズを調整する、
ことを特徴とする画像処理方法。
コンピュータに、
第１の画像に映った第１の被写体と前記第１の画像を撮像した撮像装置との間の第１の距離と、第２の画像に映った第２の被写体と前記第２の画像を撮像した撮像装置との間の第２の距離とを取得し、
前記第１の画像における前記第１の被写体の像と前記第２の画像における前記第２の被写体の像とを合成し、前記合成の際、前記第１の距離と前記第２の距離とに基づいて、前記第１の被写体の像または前記第２の被写体の像の少なくとも一方のサイズを調整する、
処理を実行させることを特徴とする画像処理プログラム。