JP2005109862A - 合成静止画像生成方法及びその装置 - Google Patents

Abstract

【課題】 自分の画質のみならず相手の画質も良い合成静止画像であって、それに含まれる自分の画像及び相手の画像が制御されたタイミングで撮影されたものを生成することを可能とする。
【解決手段】 所定の空間的構成がユーザに認識できるような画面を２以上の動画像を用いて表示する空間的構成表示ステップと、それぞれが前記２以上の動画像それぞれの基となる２以上の原画像を基に、それぞれが前記２以上の原画像それぞれに対応する２以上の原静止画像を生成する静止画像生成ステップと、前記所定の空間的構成に従って、前記２以上の原静止画像を用いた合成静止画像を生成する静止画像合成ステップと、を備える。
【選択図】 図５

Description

本発明は、それぞれが２以上の動画像それぞれに対応した２以上の静止画像から合成静止画像を生成する方法及び装置に関し、特に、テレビ電話を行っている２以上のテレビ電話装置それぞれで撮影されたテレビ電話参加者等の被写体を合わせた合成静止画像を生成する方法及び装置に関する。

インターネット技術の発達に伴い、近年インターネットを利用したテレビ電話が普及してきている。かかるテレビ電話においては、ＵＤＰ／ＩＰ(User Datagram Protocol/Internet Protocol)又はＴＣＰ／ＩＰ(Transmission Control Protocol/Internet Protocol)上のＳＩＰ(Session Initiation Protocol)又はＨ．３２３を用いられている。そして、画像圧縮方式としては、ＭＰＥＧ(Moving Picture Experts Group)１、ＭＰＥＧ４又はＨ．２６３等が用いられている。

なお、本発明に関連する先行技術文献として以下の特許文献１及び特許文献２があげられる。

特許文献１に記載の発明及び特許文献２に記載の発明は、共に、動画像の受信側のユーザが現在見ている動画像と同一のフレームの静止画像を得ようとした場合、動画像の符号化及び復号化により生じる遅延のために動画像の受信側のユーザが現在見ている動画像は過去に撮影された相手側の動画像であるため、過去に撮影された相手側の動画像と同一のフレームの静止画像を得ようとすることとなり、その静止画像を得ることができないという従来技術の問題点を解決するために、動画像の送信側で、各フレーム毎又は数フレーム毎に静止画像をバッファに保存しておいて、動画像の受信側のユーザが希望するフレームの静止画像をそのバッファから読み出して送るようにするものである。
特開平９−２１４９１４号公報 特開２００１−３０９３３７号公報

しかしながら、特許文献１及び特許文献２の発明においては、一方で撮影された画像を一方から他方に画像を送信するが、他方で画像を撮影することはなく、また、他方から一方に画像を送信することはない。従って、一方で撮影され他方が受信する画像を何かに同期させるという考えが導入されていない。

これに対し、テレビ電話においては、モニターに自分の画像及び相手の画像を表示する。ここで、自分の画像としては、カメラにより撮影されたままの非圧縮画像を用いることができるが、相手の画像としては、相手のテレビ電話装置から自テレビ電話装置へ伝送するために一旦圧縮された画像が用いられ、このような画像は画質があまりよくない。テレビ電話で用いる動画像の場合であれば、特に、相手の動き等が注目されるために、画質があまりよくなくても実用に耐えられる。

しかしながら、一旦圧縮した動画像から特定のフレーム又はフィールドを抜き出して静止画像を得るとすると、その静止画像の画質は必ずしも良いとは限らず、実用に耐えられない場合が多々ある。

テレビ電話がせっかく行われているので、図１に示すように自分の画像１１と相手の画像１２を合成した画像１３を作成して保存しておきたいというユーザのニーズがあるものと考えられるが、自分の動画像のあるフレーム又はフィールドから得た自分の静止画像と相手の動画像のあるフレーム又はフィールドから得た相手の静止画像を合成した静止画像を得ようとした場合、その合成静止画像は、自分の静止画像は高画質であるのに対し、相手の静止画像は低画質であるちぐはぐしたものとなってしまう。

また、自分の動画像はリアルタイムで表示されるのに対し、相手の動画像は、圧縮及び伸張の過程を経ているために、遅延されて表示される。従って、現在表示されている自分の動画像のフレーム又はフィールドから得た静止画像の時刻と、現在表示されている相手の動画像のフレーム又はフィールドから得た静止画像の時刻は、異なったものとなり、同時刻に撮影された自分と相手の画像を合成することが困難であった。

そこで、本発明は、自分の画質のみならず相手の画質も良い合成静止画像であって、それに含まれる自分の画像及び相手の画像が制御されたタイミングで撮影されたものを生成することを可能とする合成静止画像生成方法及びその装置を提供することを目的とする。

本発明によれば、所定の空間的構成がユーザに認識できるような画面を２以上の動画像を用いて表示する空間的構成表示ステップと、それぞれが前記２以上の動画像それぞれの基となる２以上の原画像を基に、それぞれが前記２以上の原画像それぞれに対応する２以上の原静止画像を生成する静止画像生成ステップと、前記所定の空間的構成に従って、前記２以上の原静止画像を用いた合成静止画像を生成する静止画像合成ステップと、を備えることを特徴とする合成静止画像生成方法が提供される。

上記の合成静止画像生成方法は、前記２以上の原画像をそれぞれ異なるカメラにより撮影する原画像撮影ステップを更に備えていてもよい。

上記の合成静止画像生成方法において、前記静止画像生成ステップは、前記２以上の原画像それぞれのフレーム又はフィールドを用いて前記２以上の原静止画像それぞれを生成してもよい。

上記の合成静止画像生成方法において、前記静止画像合成ステップは、前記２以上の原静止画像それぞれの全空間又は部分空間を用いた合成静止画像を生成してもよい。

上記の合成静止画像生成方法において、前記空間的構成表示ステップは、前記所定の空間的構成に従って前記２以上の動画像それぞれの全空間又は部分空間を１つの動画像に合成し、前記２以上の動画像それぞれの全空間又は部分空間を前記所定の空間的構成に従って合成された状態で表示してもよい。

上記の合成静止画像生成方法において、前記空間的構成表示ステップは、前記２以上の動画像それぞれに前記所定の空間的構成に従った場合の選択部分を示す枠を加えたものを表示してもよい。

上記の合成静止画像生成方法は、前記所定の空間的構成をユーザに設定させる空間的構成設定ステップを更に備えていてもよい。

上記の合成静止画像生成方法は、それぞれが前記２以上の原画像それぞれのうち前記２以上の原静止画像それぞれに用いられる２以上のフレーム又はフィードが全て同一時刻のものとなるような調整を行う時刻調整ステップを更に備えていてもよい。

上記の合成静止画像生成方法は、前記時刻をユーザに予告する時刻予告ステップを更に備えていてもよい。

上記の合成静止画像生成方法は、１の原画像のうち１の原静止画に用いられるフレーム又はフィールドの時刻が、他の原画像のうち他の原静止画像に用いられるフレーム又はフィールドの時刻から前記他の原画像から得られる動画像の伝送時間だけ遅延した時刻となるような調整を行う時刻調整ステップを更に備えていてもよい。

上記の合成静止画像生成方法において、前記静止画像合成ステップは、前記２以上の原静止画像のみならず他の１又は２以上の静止画像も用いた合成静２止画像を生成してもよい。

本発明の請求項１又は１２に記載の発明によれば、所定の空間的構成がユーザに認識できるような画面を２以上の動画像を用いて表示するので、ユーザは、その空間的構成に従って、場所を移動したり、ズームを変えたりして、被写体の位置及び大きさを所定の空間的構成に適合したものとすることができる。

また、本発明の請求項１又は１２に記載の発明によれば、原画像を基に原静止画像を生成するので、高画質な合成静止画像を得ることができる。

更に、本発明の請求項１又は１２に記載の発明によれば、所定の空間的構成に従って、２以上の原静止画像を用いた合成静止画像を生成するので、被写体の位置及び大きさが所定の空間的構成に適合し、且つ、高画質は合成静止画像を得ることができる。

本発明の請求項２又は１３に記載の発明によれば、２以上の原画像をそれぞれ異なるカメラにより撮影するので、例えば、遠隔地に居るユーザを１つの合成静止画像に含めることができる。

本発明の請求項３又は１４に記載の発明によれば、原画像のフレーム又はフィールドを用いて原静止画像を生成するので、高画質な合成静止画像を得ることができる。また、ユーザが撮影をしたいタイミングの合成静止画像を得ることができる。

本発明の請求項４又は１５に記載の発明によれば、原静止画像の全空間又は部分空間を用いた合成静止画像を生成するので、原静止画像の必要な部分を過不足無く含んだ合成静止画像を得ることができる。

本発明の請求項５又は１６に記載の発明によれば、２以上の動画像それぞれの全空間又は部分空間を所定の空間的構成に従って合成された状態で表示するので、ユーザは、得られる合成静止画像を事前に把握することができ、これにより被写体の位置等を調整でき、撮影タイミングも調整することができる。

請求項６又は１７に記載の発明によれば、動画像に所定の空間的構成に従った場合の選択部分を示す枠を加えたものを表示するので、ユーザは画面全体と選択部分との空間関係を把握することができる。

請求項７又は１８に記載の発明によれば、所定の空間的構成をユーザに設定させるので、ユーザの好みにあった空間的構成の合成静止画像を生成することができる。

請求項８又は１９に記載の発明によれば、原静止画像に用いられるフレーム又はフィールドの時刻が全て同一となるので、第三者から見た場合の同期を確立することができる。

請求項９又は２０に記載の発明によれば、時刻をユーザに予告するので、ユーザはその時刻に備えて被写体の準備をすることができる。

請求項１０又は２１に記載の発明によれば、一方のフレーム又はフィールドの時刻が他方のフレーム又はフィールドの時刻よりも伝送時間だけ遅延するので、１のユーザからみた同期を確立することができる。

請求項１１又は２２に記載の発明によれば、他の静止画像も合成静止画像に用いるので、合成静止画像を多彩なものとすることができる。

以下、図面を参照して本発明を実施するための最良の形態について詳細に説明する。

まず、以下の説明において、装飾フレームというときには、合成静止画像に重ね合わせる合成静止画像を装飾するためのフレームのことをいい、単にフレームというときには、動画像の構成する例えば３０ヘルツのフレームのことをいう。また、合成静止画像をフレームにより構成しても良いが、インターレース方式でいうところのフィールドにより構成しても良い。従って、単にフレームというときには、動画像の構成する例えば３０ヘルツのフレームのみならず、動画像を構成する例えば６０ヘルツのフィールドのこともいうものとする。

図２は、本発明の実施形態によるテレビ電話システムを示すブロック図である。このテレビ電話システムは、インターネット１６１で接続された第１テレビ電話装置１００−１及び第２テレビ電話装置１００−２を備える。なお、インターネットの代わりにＬＡＮ(Local Area Network)等の他のネットワークを用いても良い。

図３は、図２に示す第１テレビ電話装置１００−１の構成を示すブロック図である。

図３を参照すると、第１テレビ電話装置１００−１は、第１カメラ１０１−１、第１動画像生成部１０３−１、第１送信バッファ１０５−１、第１送信部１０７−１、第１静止画像取込部１０９−１、第１静止画像符号化部１１０−１、第１静止画像格納部１１１−１、第１ユーザインタフェース１１３−１、第１空間的構成設定部１１５−１、第１空間的構成表示部１１７−１、第１装飾フレーム格納部１１９−１、第１静止画像合成部１２１−１、第１合成静止画像格納部１２３−１、第１時刻調整部１２５−１、第１時刻予告部１２７−１、第１受信部１２９−１、第１受信バッファ１３１−１、第１動画像復元部１３３−１、第１静止画像復元部１３５−１、第１ウィンドウ合成部１３７−１及び第１モニタ１３９−１を備える。

図４は、図２に示す第２テレビ電話装置１００−２の構成を示すブロック図である。

第１テレビ電話装置１００−１と同様に、第２テレビ電話装置１００−２は、第２カメラ１０１−２、第２動画像生成部１０３−２、第２送信バッファ１０５−２、第２送信部１０７−２、第２静止画像取込部１０９−２、第２静止画像符号化部１１０−２、第２静止画像格納部１１１−２、第２ユーザインタフェース１１３−２、第２空間的構成設定部１１５−２、第２空間的構成表示部１１７−２、第２装飾フレーム格納部１１９−２、第２静止画像合成部１２１−２、第２合成静止画像格納部１２３−２、第２時刻調整部１２５−２、第２時刻予告部１２７−２、第２受信部１２９−２、第２受信バッファ１３１−２、第２動画像復元部１３３−２、第２静止画像復元部１３５−２、第２ウィンドウ合成部１３７−２及び第２モニタ１３９−２を備える。

第１カメラ１０１−１は、第１テレビ電話装置１００−１を利用してテレビ電話をしている者を撮影する。第１動画像生成部１０３−１は、第１カメラ１０１−１が撮影した画像を基に、圧縮動画像データを生成する。圧縮方式としては、例えば、ＭＰＥＧ１、ＭＰＥＧ４又はＨ．２６３等を用いる。第１送信バッファ１０５−１は、第１動画像生成部１０３−１が生成した圧縮動画像データを一時的に格納し、圧縮動画像データの伝送速度を一定にする。第１送信部１０７−１は、主に、圧縮動画像データをインターネット１６１を介して第２テレビ電話装置１００−２の第２受信部１２９−２に送信する。また、第１送信部１０７−１は、第１静止画像合成部１２１−１が生成した合成静止画像、第１空間的構成設定部１１５−１が設定した装飾フレームの識別情報及びフレームの空間的構成並びに第１時刻調整部１２５−１が生成したタイミング信号（時刻、期間、フレーム番号等を示すもの）を第２テレビ電話装置１００−２の第２受信部１２９−２に送信する。更に、第１送信部１０７−１は、第２テレビ電話装置１００−２で合成静止画像を生成する場合には、第１静止画像符号化部１１０−１から第１テレビ電話装置１００−１側の静止画像を入力し、第２テレビ電話装置１００−２の第２受信部１２９−２に送信する。

第１静止画像取込部１０９−１は、第１カメラ１０１−１が撮影した画像の各フレームの静止画像を取り込む。第１静止画像符号化部１１０−１は、第１時刻調整部１２５−１から入力するタイミング信号に従って、第１静止画像取込部１０９−１又は第１静止画像格納部１１１−１から第１テレビ電話装置１００−１側の静止画像を入力し、この静止画像を必要に応じて符号化する。符号化方式としては、可逆符号化方式（ＴＩＦＦ(Tagged Image File Format)方式等）又は非可逆符号化方式（ＪＰＥＧ(Joint Photographic Experts Group)方式等）を用いる。可逆符号化方式を用いた場合には、符号化による画質劣化はない。また、非可逆符号化方式の場合であっても、高画質の静止画像を得るという本発明の目的を満たすために、符号化による画質劣化の少ない方式及びパラメータを用いる。第１テレビ電話装置１００−１と第２テレビ電話装置１００−２との間の通信路の伝送容量が十分大きい場合には、第１静止画像符号化部１１０−１は、静止画像を符号化しなくても良い。第１静止画像格納部１１１−１は、第１静止画像取込部１０９−１が取り込んだ第１テレビ電話装置１００−１側の静止画像を一定時間格納する。第１静止画像格納部１１１−１を設けた理由は、第１テレビ電話装置１００−１で撮影された静止画像及び第２テレビ電話装置１００−２で撮影された静止画像が所定のタイミングモードを満たすようにするためである。所定のタイミングモードについては後述する。

第１ユーザインタフェース１１３−１は、合成静止画像の空間的構成をユーザが決定するためのユーザの操作を受け付け、また、ユーザがその決定をするための画面を生成する。第１空間的構成設定部１１５−１は、合成静止画像の空間的構成を設定する。合成静止画像の空間的構成とは、第１カメラ１０１−１が撮影した画像中の合成静止画像に取り入れるべき位置及び範囲、第２カメラ１０１−２が撮影した画像中の合成静止画像に取り入れるべき位置及び範囲並びに合成静止画像に取り入れるべき装飾フレームの種類等のことをいう。第１空間的構成表示部１１７−１は、第１空間的構成設定部１１５−１が設定した合成静止画像の空間的構成をユーザが認識できるような画像を生成する。例えば、第１空間的構成表示部１１７−１は、第１カメラ１０１−１が撮影した画像（テレビ電話で表示する自分側の画像）に、この画像中の合成静止画像に取り入れるべき位置及び範囲を示す枠を挿入したものを表示し、第１動画像復元部１３３−１が復元した画像（テレビ電話で表示する相手側の画像）に、この画像中の合成静止画像に取り入れるべき位置及び範囲を示す枠を挿入したものを表示し、新たに設けたウィンドウを表示し、そのウィンドウに選択された装飾フレーム、取り入れるべき範囲にある両者の現在の動画像を挿入する。ユーザは、第１ユーザインターフェース１１３−１により枠を動かすことにより、取り入れるべき位置及び範囲を調整する。

第１装飾フレーム格納部１１９−１は、合成静止画像に挿入するべき装飾フレームを複数格納する。第１空間的構成設定部１１５−１は、第１装飾フレーム格納部１１９−１に格納された複数の装飾フレームのうち第１ユーザインターフェース１１３−１を用いてユーザが選択した装飾フレームを合成静止画像に挿入する。

第１テレビ電話装置１００−１が主導権を握るときには、第１静止画像合成部１２１−１は、第１時刻調整部１２５−１が第１テレビ電話装置１００−１側の画像について決定したタイミングに従って、第１静止画像取込部１０９−１又は第１静止画像格納部１１１−１から第１テレビ電話装置１００−１側の静止画像を入力し、第１時刻調整部１２５−１が第２テレビ電話装置１００−２側の画像について決定したタイミングに従って、第１静止画像復元部１３５−１から第２テレビ電話装置１００−２側の静止画像を入力し、そして、第１空間的構成設定部１１５−１が設定した空間的構成に従って、第１テレビ電話装置１００−１側の静止画像のうちの必要な部分、第２テレビ電話装置１００−２側の静止画像のうち必要な部分及びユーザにより選択された装飾フレームを重ね合わせて、合成静止画像を生成する。第１合成静止画像格納部１２３−１は、第１静止画像合成部１２１−１が生成した合成静止画像を格納する。

第１テレビ電話装置１００−１が主導権を握っているときには、第１時刻調整部１２５−１は、第１ユーザインターフェース１１３−１を用いてユーザが決定したタイミングモードに従った第１のタイミング信号を第１静止画像合成部１２１−１に出力し、そのタイミングモードに従った第２のタイミング信号を第１送信部１０７−１、第２受信部１２９−２を介して、第２時刻調整部１２５−２に出力する。第１静止画像合成部１２１−１は、第１のタイミング信号に従って、第１静止画像取込部１０９−１又は第１静止画像格納部１１１−１から第１テレビ電話装置１００−１側の静止画像を入力する。他方、第２のタイミング信号を受け取った第２時刻調整部１２５−２は、第２のタイミング信号に従って、第２静止画像符号化部１１０−２を制御し、第２静止画像符号化部１１０−２は、第２のタイミング信号に従って、第２静止画像取込部１０９−２又は第２静止画像格納部１１１−２から第２テレビ電話装置１００−２側の静止画像を入力し、入力した静止画像を必要に応じて符号化し、第２送信部１０７−２に出力する。第２送信部１０７−２は、第２のタイミング信号に従って第２静止画像生成部１０９−２又は第２静止画像格納部１１１−２から読み出されて、必要に応じて符号化された第２テレビ電話装置１００−２側の静止画像を第１テレビ電話装置１００−１の第１受信部１２９−１に送信する。第１静止画像復元部１３５−１は、第１受信部１２９−１が受信した第２テレビ電話装置１００−２側の静止画像を復元する。第１静止画像合成部１２１−１は、第１静止画像復元部１３５−１が復元した第２テレビ電話装置１００−２側の静止画像を入力する。

第１時刻予告部１２７−１は、第１時刻調整部１２５−１が決定したタイミング又は第２時刻調整部１２５−２が決定して第１時刻調整部１２５−１が通知を受けたタイミングに従って、第１テレビ電話装置１００−１のユーザが静止画像を取り込むタイミングがわかるような画面（例えば、カウントダウンするタイマーの画面）を生成する。

第１受信部１２９−１は、第２送信部１０７−２が送信した信号を受信する。第１受信バッファ１３１−１は、第１受信部１２９−１が受信した信号のうち動画像符号を入力し、その動画像符号を一時的に格納する。第１動画像復元部１３３−１は、第１受信バッファ１３１−１から動画像符号を読み出し、第２テレビ電話装置１００−２側の動画像を復元する。

第１ウィンドウ合成部１３７−１は、第１カメラ１０１−１が撮影した第１テレビ電話装置１００−１側の動画像のウィンドウ、第１動画像復元部１３３−１が復元した第２テレビ電話装置１００−２側の動画像のウィンドウ、第１ユーザインターフェース１１３−１が作成したユーザインターフェースのウィンドウ、第１時刻予告部１２７−１が生成した時刻予告のためのウィンドウ、第１空間的構成表示部１１７−１が生成した空間的構成を示すためのウィンドウ及び第１静止画像合成部１２１−１が生成した合成静止画像のウィンドウを合わせた画面を生成する。第１モニタ１３９−１は、第１ウィンドウ合成部１３７−１が生成した画面を表示する。

第２テレビ電話装置１００−２の各部は、第１テレビ電話装置１００−１の対応する各部と同様であるので、これらの説明は省略する。

なお、第１テレビ電話装置１００−１の各部及び第２テレビ電話装置１００−２の各部は、ハードウェアによって実現することも可能であるが、コンピュータをこれらの各部として機能させるためのプログラムをコンピュータが読み込んで、実行することによっても実現することができ、コンピュータをこれらの各部の一部として機能させるためのプログラムを読み込んで実行するコンピュータとハードウェアによっても実現することができる。

次に、図２に示すテレビ電話システムが行う合成静止画像生成方法について図５〜１１を参照して説明する。

図５は、合成静止画像生成方法の全体の流れを示すフローチャートである。

図５を参照すると、まず、第１テレビ電話装置１００−１と第２テレビ電話装置１００−２は、テレビ電話の通信を確立し（ステップＳ２０１）、テレビ電話が始まる。

テレビ電話の途中で、合成静止画像を第１テレビ電話装置１００−１のユーザが作成することとする。

第１ユーザインターフェース１１３−１、第１空間的構成設定部１１５−１、第１空間的構成表示部１１７−１、第１装飾フレーム格納部１１９−１等を用いて、例えば、符号３０１（図６）又は符号３１１（図７）に示すような装飾フレームを選択する（ステップＳ２０２）。次に、第１テレビ電話装置１００−１から第２テレビ電話装置１００−２に選択された装飾フレームの識別情報を送信する（ステップＳ２０３）。

次に、第１テレビ電話装置１００−１及び第２テレビ電話装置１００−２でプレビューの表示を開始する（ステップＳ２０４、Ｓ２０５）。プレビューの画面は、例えば、選択された装飾フレームに第１テレビ電話装置１００−１側の第１カメラ１０１−１で撮影した動画像及び第２テレビ電話装置１００−２側の第２カメラ１０１−２で撮影した動画像をはめ込んだ画面である。第１装飾フレーム格納部１１９−１及び第２装飾フレーム格納部１１９−２には、同一の装飾フレームが格納されており、第２テレビ電話装置１００−２は装飾フレームの識別情報を参照して、装飾フレームを表示することができる。

次に、第１カメラ１０１−１が撮影した画像のうち合成静止画像にはめ込むべき領域の位置及び範囲並びに第２カメラ１０１−２で撮影した画像のうち合成静止画像にはめ込むべき領域の位置及び範囲を合わせる（ステップＳ２０６）。具体的には、例えば、第１カメラ１０１−１が撮影した画像を表示する符号３０２（図６）又は符号３１２（図７）で示すような画面において、領域を示す符号３０４（図６）又は符号３１４（図７）で示すような枠を表示し、この枠を符号３０６（図６）又は符号３１６（図７）で示すようなハンドルで調整できるようにする。同様に、第２カメラ１０１−２が撮影した画像を表示する符号３０３（図６）又は符号３１３（図７）で示すような画面において、領域を示す符号３０５（図６）又は符号３１５（図７）で示すような枠を表示し、この枠を符号３０７（図６）又は符号３１７（図７）で示すようなハンドルで調整できるようにする。調整された枠の範囲の画像は必要に応じて縮尺が調整された後に、符号３０１（図６）又は符号３１１（図７）で示すような装飾フレームの内部にはめ込まれる。

位置合わせが終了したならば、第１テレビ電話装置１００−１から第２テレビ電話装置１００−２に位置情報を送信する（ステップＳ２０７）。或いはステップＳ２０６とステップＳ２０７を位置合わせが終了するまで繰返し、第２テレビ電話装置１００−２でもリアルタイムに位置合わせの様子がわかるようにしてもよい。

次に、第１テレビ電話装置１００−１でタイミングモードを選択する（ステップＳ２０８）。タイミングモードについては後述する。次に、第１テレビ電話装置１００−１から第２テレビ電話装置１００−２に、選択されたタイミングモードを送信する（ステップＳ２０９）。

次に、選択されたタイミングモードに従って、両テレビ電話装置１００−１、１００−２で静止画像の撮影を行い、第２テレビ電話装置１００−２で撮影された静止画像を第１テレビ電話装置１００−１に送信する（ステップＳ２１０）。ステップＳ２１０の詳細については、後述する。

次に、ステップＳ２０２で選択された装飾フレームにステップＳ２１０で両テレビ電話装置１００−１、１００−２で撮影された静止画像をステップＳ２０６で調整した位置及び範囲をはめ込むことにより、静止画像を合成する（ステップＳ２１１）。

次に、第１テレビ電話装置１００−１から第２テレビ電話装置１００−２に合成静止画像を送信し（ステップＳ２１２）、両テレビ電話装置で合成静止画像を格納する（ステップＳ２１３、Ｓ２１４）。

次に、両テレビ電話装置１００−１、１００−２で、ステップＳ２０４、Ｓ２０５で開始したプレビューを終了し（ステップＳ２１５、Ｓ２１６）、合成静止画像の表示を開始する（ステップＳ２１７、Ｓ２１８）。

次に、タイミングモードについて説明する。

図８は、両テレビ電話装置１００−１、１００−２で動画像が撮影されるタイミングと表示されるタイミングを示す図である。第１テレビ電話装置１００−１に着目すると、第２テレビ電話装置１００−２で時刻Ｔ１で撮影された動画像Ｍ２（Ｔ１）は、時刻Ｔ１から時間ΔＴだけ遅れた時刻Ｔ２に第１テレビ電話装置１００−１に到着して、表示される。このとき、動画像Ｍ２（Ｔ１）と同時に表示される第１テレビ電話１００−１で撮影された動画像は、時刻Ｔ２において撮影されたＭ１（Ｔ２）である。従って、第１テレビ電話装置１００−１のユーザは、相互にタイミングがずれた第１テレビ電話装置１００−１で撮影された動画像及び第２テレビ電話装置１００−２で撮影された動画像を同時に見ることになる。これは、第２テレビ電話装置１００−２についても同様である。

従って、第１テレビ電話装置１００−１のユーザは、時間ΔＴだけ過去の相手の様子に反応していることとなる。そして、時間ΔＴだけ過去の相手の様子は、更に、時間ΔＴだけ遡った自分の様子に反応していることとなる。

そこで、数種類のタイミングモードを設け、ユーザが選択できるようにする。各タイミングモードに従った以下の動作は、主に第１時刻調整部１２５−１及び第２時刻調整部１２５−２の制御の下に行われる。

第１のタイミングモードについて図９を参照して説明する。第１のタイミングモードは、両テレビ電話装置１００−１、１００−２において、同時に静止画像を撮影するものである。このために、第１テレビ電話装置１００−１から第２テレビ電話装置１００−２にタイマー起動信号を送信する。タイマー起動信号の種類としては、タイマー起動信号を送信してから撮影するまでの時間を通知するもの及び撮影時間を通知するものの２種類が考えられる。前者の場合であれば、タイマー起動信号の伝送時間は殆ど無視できるので、ほぼ同時の撮影を両テレビ電話装置１００−１、１００−２で行うことができる。後者の場合であれば、両テレビ電話装置１００−１、１００−２の内部タイマークロックが同時刻を刻んでいるならば完全に一致したタイミングで両テレビ電話装置１００−１、１００−２で撮影をすることができる。両内部タイマークロックを揃えるためには、例えば、両テレビ電話装置１００−１、１００−２で例えばステップＳ２０１の直後にインターネット時刻サーバに両内部タイマークロックを合わせることが考えられる。

タイマーを起動した後には、タイマーがカウントダウンする様子を示す画面を両テレビ電話装置１００−１、１００−２において表示する。両ユーザはカウントダウンするタイマーをみることにより、ポーズを決め、撮影に備える。このようにして、両テレビ電話装置１００−１、１００−２において、同時に静止画像を撮影することが可能となる。

また、タイマーが０を示したならば、再度、タイマーをプリセットし、撮影を２度以上繰り返してもよい。

第２のタイミングモードについて図１０を参照して説明する。第２のタイミングモードは、相手の様子とその相手の様子に反応する自分の様子を撮影するものである。時刻Ｔ１において撮影した相手の静止画像は第２静止画像格納部１１１−２に格納しておく。これはフレーム毎に行われるが、遅延時間ΔＴは有限であるので、第２静止画像格納部１１１−２の容量を遅延時間ΔＴの間の全フレームを格納できる大きさにすれば、容量不足は生じない。第１テレビ電話装置１００−１のユーザは、相手の様子を見ながら所望のタイミングでシャッターボタンを押す。そうすると、第２静止画像格納部１１１−２からシャッターボタンを押した時刻から時間ΔＴだけ遡った時刻の相手の静止画像が読み出され、第２テレビ電話装置１００−２から第１テレビ電話装置１００−１にその静止画像が送信されてくる。そして、第１テレビ電話装置１００−１において、時刻Ｔ１において撮影された相手側の静止画像Ｓ２（Ｔ１）と時刻Ｔ２において撮影された自分側の静止画像Ｓ１（Ｔ２）が合成される。なお、第１テレビ電話装置１００−１では、動画像Ｍ２（Ｔ１）のフレーム番号等で時刻Ｔ１を把握することができ、この時刻Ｔ１をパラメータとして静止画像要求信号を第２テレビ電話装置１００−２に送信することにより、第１テレビ電話装置１００−１は時刻Ｔ１における相手側の静止画像Ｓ２（Ｔ１）を得ることができる。

第３のタイミングモードについて図１１を参照して説明する。第３のタイミングモードは、自分の様子とその自分の様子に反応する相手の様子を撮影するものである。時刻Ｔ１において撮影した自分の静止画像は第１静止画像格納部１１１−１に格納しておく。これはフレーム毎に行われる。第１テレビ電話装置１００−１のユーザは自分の様子を見ながら所望のタイミングでシャッターボタンを押す。そうすると、第１テレビ電話装置１００−１は、時刻Ｔ１に関する情報を第２テレビ電話装置１００−２に送信する。第２テレビ電話装置１００−２は、時刻Ｔ１に関する情報を保持しておく一方で、第２テレビ電話装置１００−２で表示される第１テレビ電話装置１００−１で撮影された動画像の各フレームの時刻をモニターし、フレームの時刻が保持していた時刻Ｔ１と一致するタイミングにおいて、第２テレビ電話装置１００−２側の静止画像Ｓ２（Ｔ２）を撮影する。そして、第２テレビ電話装置１００−２は、静止画像Ｓ２（Ｔ２）を第１テレビ電話装置１００−１に送信する。第１テレビ電話装置１００−１は、第１静止画像格納部１１１−１から静止画像Ｓ１（Ｔ１）を読み出し、第２テレビ電話装置１００−２から静止画像Ｓ２（Ｔ２）を受信し、両静止画像を合成する。

なお、合成静止画に挿入する装飾フレームの数は１とは限らず複数であっても良い。

また、上記の実施形態では、２つのテレビ電話装置を用いて、２つの静止画像を合成した合成静止画像を生成することとしたが、３以上のテレビ電話装置を用いて、３以上の静止画像を合成した合成静止画像を生成しても良い。この場合、第ｎ（ｎは３以上の整数）のテレビ電話装置の構成を第２のテレビ電話装置と同様なものとし、第ｎ（ｎは３以上の整数）のテレビ電話装置の動作を第２のテレビ電話装置と同様なものとする。つまり、２つのテレビ電話装置を用いた場合には、２つのテレビ電話装置は１対１の関係で接続するが、３以上のテレビ電話装置を用いた場合には、合成静止画像生成方法に関しては、３以上のテレビ電話装置を１対ｎ（ｎは２以上の整数）の関係で接続する。この接続関係に従って、第１〜第３のタイミングモードによるタイミング調整を第１のテレビ電話装置と第ｎ（ｎは２以上の整数）のテレビ電話装置との間で行う。

本発明は、テレビ電話をしている２以上のユーザ等の２以上の被写体を含む高画質な静止画を所望のタイミング及び所望の構成に従って作成することに利用することができる。

テレビ電話をしている二者それぞれの画像及びそれらの者を含む合成画像を示す図である。 本発明の実施形態によるテレビ電話システムの構成を示すブロック図である。 図２に示す第１テレビ電話装置の構成を示すブロック図である。 図２に示す第２テレビ電話装置の構成を示すブロック図である。 本発明の実施形態によるテレビ電話システムにより行われる合成静止画像生成方法の全体の流れを示すフローチャートである。 本発明の実施形態による静止画像の空間的構成を設定する方法を説明するための第１の図である。 本発明の実施形態による静止画像の空間的構成を設定する方法を説明するための第２の図である。 テレビ電話装置における撮影画像と表示画像の時間的なずれを説明するための図である。 本発明の実施形態により合成静止画像生成方法における第１のタイミングモードを説明するための図である。 本発明の実施形態により合成静止画像生成方法における第２のタイミングモードを説明するための図である。 本発明の実施形態により合成静止画像生成方法における第３のタイミングモードを説明するための図である。

符号の説明

１００−１ 第１テレビ電話装置
１０１−１ 第１カメラ
１０３−１ 第１動画像生成部
１０５−１ 第１送信バッファ
１０７−１ 第１送信部
１０９−１ 第１静止画像取込部
１１０−１ 第１静止画像符号化部
１１１−１ 第１静止画像格納部
１１３−１ 第１ユーザインタフェース
１１５−１ 第１空間的構成設定部
１１７−１ 第１空間的構成表示部
１１９−１ 第１装飾フレーム格納部
１２１−１ 第１静止画像合成部
１２３−１ 第１合成静止画像格納部
１２５−１ 第１時刻調整部
１２７−１ 第１時刻予告部
１２９−１ 第１受信部
１３１−１ 第１受信バッファ
１３３−１ 第１動画像復元部
１３５−１ 第１静止画像復元部
１３７−１ 第１ウィンドウ合成部
１３９−１ 第１モニタ
１００−２ 第２テレビ電話装置
１０１−２ 第２カメラ
１０３−２ 第２動画像生成部
１０５−２ 第２送信バッファ
１０７−２ 第２送信部
１０９−２ 第２静止画像取込部
１１０−１ 第２静止画像符号化部
１１１−２ 第２静止画像格納部
１１３−２ 第２ユーザインタフェース
１１５−２ 第２空間的構成設定部
１１７−２ 第２空間的構成表示部
１１９−２ 第２装飾フレーム格納部
１２１−２ 第２静止画像合成部
１２３−２ 第２合成静止画像格納部
１２５−２ 第２時刻調整部
１２７−２ 第２時刻予告部
１２９−２ 第２受信部
１３１−２ 第２受信バッファ
１３３−２ 第２動画像復元部
１３５−２ 第２静止画像復元部
１３７−２ 第２ウィンドウ合成部
１３９−２ 第２モニタ

Claims (23)

1. 所定の空間的構成がユーザに認識できるような画面を２以上の動画像を用いて表示する空間的構成表示ステップと、
   それぞれが前記２以上の動画像それぞれの基となる２以上の原画像を基に、それぞれが前記２以上の原画像それぞれに対応する２以上の原静止画像を生成する静止画像生成ステップと、
   前記所定の空間的構成に従って、前記２以上の原静止画像を用いた合成静止画像を生成する静止画像合成ステップと、
   を備えることを特徴とする合成静止画像生成方法。
2. 請求項１に記載の合成静止画像生成方法において、
   前記２以上の原画像をそれぞれ異なるカメラにより撮影する原画像撮影ステップを更に備えることを特徴とする合成静止画像生成方法。
3. 請求項１に記載の合成静止画像生成方法において、
   前記静止画像生成ステップは、前記２以上の原画像それぞれのフレーム又はフィールドを用いて前記２以上の原静止画像それぞれを生成することを特徴とする合成静止画像生成方法。
4. 請求項１に記載の合成静止画像生成方法において、
   前記静止画像合成ステップは、前記２以上の原静止画像それぞれの全空間又は部分空間を用いた合成静止画像を生成することを特徴とする合成静止画像生成方法。
5. 請求項１に記載の合成静止画像生成方法において、
   前記空間的構成表示ステップは、前記所定の空間的構成に従って前記２以上の動画像それぞれの全空間又は部分空間を１つの動画像に合成し、前記２以上の動画像それぞれの全空間又は部分空間を前記所定の空間的構成に従って合成された状態で表示することを特徴とする合成静止画像生成方法。
6. 請求項１に記載の合成静止画像生成方法において、
   前記空間的構成表示ステップは、前記２以上の動画像それぞれに前記所定の空間的構成に従った場合の選択部分を示す枠を加えたものを表示することを特徴とする合成静止画像生成方法。
7. 請求項１に記載の合成静止画像生成方法において、
   前記所定の空間的構成をユーザに設定させる空間的構成設定ステップを更に備えることを特徴とする合成静止画像生成方法。
8. 請求項３に記載の合成静止画像生成方法において、
   それぞれが前記２以上の原画像それぞれのうち前記２以上の原静止画像それぞれに用いられる２以上のフレーム又はフィードが全て同一時刻のものとなるような調整を行う時刻調整ステップを更に備えることを特徴とする合成静止画像生成方法。
9. 請求項８に記載の合成静止画像生成方法において、
   前記時刻をユーザに予告する時刻予告ステップを更に備えることを特徴とする合成静止画像生成方法。
10. 請求項３に記載の合成静止画像生成方法において、
    １の原画像のうち１の原静止画に用いられるフレーム又はフィールドの時刻が、他の原画像のうち他の原静止画像に用いられるフレーム又はフィールドの時刻から前記他の原画像から得られる動画像の伝送時間だけ遅延した時刻となるような調整を行う時刻調整ステップを更に備えることを特徴とする合成静止画像生成方法。
11. 請求項１に記載の合成静止画像生成方法において、
    前記静止画像合成ステップは、前記２以上の原静止画像のみならず他の１又は２以上の静止画像も用いた合成静止画像を生成することを特徴とする合成静止画像生成方法。
12. 所定の空間的構成がユーザに認識できるような画面を２以上の動画像を用いて表示する空間的構成表示手段と、
    それぞれが前記２以上の動画像それぞれの基となる２以上の原画像を基に、それぞれが前記２以上の原画像それぞれに対応する２以上の原静止画像を生成する静止画像生成手段と、
    前記所定の空間的構成に従って、前記２以上の原静止画像を用いた合成静止画像を生成する静止画像合成手段と、
    を備えることを特徴とする合成静止画像生成装置。
13. 請求項１２に記載の合成静止画像生成装置において、
    前記２以上の原画像をそれぞれ異なるカメラにより撮影する原画像撮影手段を更に備えることを特徴とする合成静止画像生成装置。
14. 請求項１２に記載の合成静止画像生成装置において、
    前記静止画像生成手段は、前記２以上の原画像それぞれのフレーム又はフィールドを用いて前記２以上の原静止画像それぞれを生成することを特徴とする合成静止画像生成装置。
15. 請求項１２に記載の合成静止画像生成装置において、
    前記静止画像合成手段は、前記２以上の原静止画像それぞれの全空間又は部分空間を用いた合成静止画像を生成することを特徴とする合成静止画像生成装置。
16. 請求項１２に記載の合成静止画像生成装置において、
    前記空間的構成表示手段は、前記所定の空間的構成に従って前記２以上の動画像それぞれの全空間又は部分空間を１つの動画像に合成し、前記２以上の動画像それぞれの全空間又は部分空間を前記所定の空間的構成に従って合成された状態で表示することを特徴とする合成静止画像生成装置。
17. 請求項１２に記載の合成静止画像生成装置において、
    前記空間的構成表示手段は、前記２以上の動画像それぞれに前記所定の空間的構成に従った場合の選択部分を示す枠を加えたものを表示することを特徴とする合成静止画像生成装置。
18. 請求項１２に記載の合成静止画像生成装置において、
    前記所定の空間的構成をユーザに設定させる空間的構成設定手段を更に備えることを特徴とする合成静止画像生成装置。
19. 請求項１４に記載の合成静止画像生成装置において、
    それぞれが前記２以上の原画像それぞれのうち前記２以上の原静止画像それぞれに用いられる２以上のフレーム又はフィードが全て同一時刻のものとなるような調整を行う時刻調整手段を更に備えることを特徴とする合成静止画像生成装置。
20. 請求項１９に記載の合成静止画像生成装置において、
    前記時刻をユーザに予告する時刻予告手段を更に備えることを特徴とする合成静止画像生成装置。
21. 請求項１４に記載の合成静止画像生成装置において、
    １の原画像のうち１の原静止画に用いられるフレーム又はフィールドの時刻が、他の原画像のうち他の原静止画像に用いられるフレーム又はフィールドの時刻から前記他の原画像から得られる動画像の伝送時間だけ遅延した時刻となるような調整を行う時刻調整手段を更に備えることを特徴とする合成静止画像生成装置。
22. 請求項１２に記載の合成静止画像生成装置において、
    前記静止画像合成手段は、前記２以上の原静止画像のみならず他の１又は２以上の静止画像も用いた合成静止画像を生成することを特徴とする合成静止画像生成装置。
23. コンピュータに請求項１乃至１１のいずれか１項に記載の合成静止画像生成方法を行わせるためのプログラム。

Images