JP2005109862A - 合成静止画像生成方法及びその装置 - Google Patents
合成静止画像生成方法及びその装置 Download PDFInfo
- Publication number
- JP2005109862A JP2005109862A JP2003340340A JP2003340340A JP2005109862A JP 2005109862 A JP2005109862 A JP 2005109862A JP 2003340340 A JP2003340340 A JP 2003340340A JP 2003340340 A JP2003340340 A JP 2003340340A JP 2005109862 A JP2005109862 A JP 2005109862A
- Authority
- JP
- Japan
- Prior art keywords
- still image
- original
- images
- still
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Studio Circuits (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
【課題】 自分の画質のみならず相手の画質も良い合成静止画像であって、それに含まれる自分の画像及び相手の画像が制御されたタイミングで撮影されたものを生成することを可能とする。
【解決手段】 所定の空間的構成がユーザに認識できるような画面を2以上の動画像を用いて表示する空間的構成表示ステップと、それぞれが前記2以上の動画像それぞれの基となる2以上の原画像を基に、それぞれが前記2以上の原画像それぞれに対応する2以上の原静止画像を生成する静止画像生成ステップと、前記所定の空間的構成に従って、前記2以上の原静止画像を用いた合成静止画像を生成する静止画像合成ステップと、を備える。
【選択図】 図5
【解決手段】 所定の空間的構成がユーザに認識できるような画面を2以上の動画像を用いて表示する空間的構成表示ステップと、それぞれが前記2以上の動画像それぞれの基となる2以上の原画像を基に、それぞれが前記2以上の原画像それぞれに対応する2以上の原静止画像を生成する静止画像生成ステップと、前記所定の空間的構成に従って、前記2以上の原静止画像を用いた合成静止画像を生成する静止画像合成ステップと、を備える。
【選択図】 図5
Description
本発明は、それぞれが2以上の動画像それぞれに対応した2以上の静止画像から合成静止画像を生成する方法及び装置に関し、特に、テレビ電話を行っている2以上のテレビ電話装置それぞれで撮影されたテレビ電話参加者等の被写体を合わせた合成静止画像を生成する方法及び装置に関する。
インターネット技術の発達に伴い、近年インターネットを利用したテレビ電話が普及してきている。かかるテレビ電話においては、UDP/IP(User Datagram Protocol/Internet Protocol)又はTCP/IP(Transmission Control Protocol/Internet Protocol)上のSIP(Session Initiation Protocol)又はH.323を用いられている。そして、画像圧縮方式としては、MPEG(Moving Picture Experts Group)1、MPEG4又はH.263等が用いられている。
なお、本発明に関連する先行技術文献として以下の特許文献1及び特許文献2があげられる。
特許文献1に記載の発明及び特許文献2に記載の発明は、共に、動画像の受信側のユーザが現在見ている動画像と同一のフレームの静止画像を得ようとした場合、動画像の符号化及び復号化により生じる遅延のために動画像の受信側のユーザが現在見ている動画像は過去に撮影された相手側の動画像であるため、過去に撮影された相手側の動画像と同一のフレームの静止画像を得ようとすることとなり、その静止画像を得ることができないという従来技術の問題点を解決するために、動画像の送信側で、各フレーム毎又は数フレーム毎に静止画像をバッファに保存しておいて、動画像の受信側のユーザが希望するフレームの静止画像をそのバッファから読み出して送るようにするものである。
特開平9−214914号公報
特開2001−309337号公報
しかしながら、特許文献1及び特許文献2の発明においては、一方で撮影された画像を一方から他方に画像を送信するが、他方で画像を撮影することはなく、また、他方から一方に画像を送信することはない。従って、一方で撮影され他方が受信する画像を何かに同期させるという考えが導入されていない。
これに対し、テレビ電話においては、モニターに自分の画像及び相手の画像を表示する。ここで、自分の画像としては、カメラにより撮影されたままの非圧縮画像を用いることができるが、相手の画像としては、相手のテレビ電話装置から自テレビ電話装置へ伝送するために一旦圧縮された画像が用いられ、このような画像は画質があまりよくない。テレビ電話で用いる動画像の場合であれば、特に、相手の動き等が注目されるために、画質があまりよくなくても実用に耐えられる。
しかしながら、一旦圧縮した動画像から特定のフレーム又はフィールドを抜き出して静止画像を得るとすると、その静止画像の画質は必ずしも良いとは限らず、実用に耐えられない場合が多々ある。
テレビ電話がせっかく行われているので、図1に示すように自分の画像11と相手の画像12を合成した画像13を作成して保存しておきたいというユーザのニーズがあるものと考えられるが、自分の動画像のあるフレーム又はフィールドから得た自分の静止画像と相手の動画像のあるフレーム又はフィールドから得た相手の静止画像を合成した静止画像を得ようとした場合、その合成静止画像は、自分の静止画像は高画質であるのに対し、相手の静止画像は低画質であるちぐはぐしたものとなってしまう。
また、自分の動画像はリアルタイムで表示されるのに対し、相手の動画像は、圧縮及び伸張の過程を経ているために、遅延されて表示される。従って、現在表示されている自分の動画像のフレーム又はフィールドから得た静止画像の時刻と、現在表示されている相手の動画像のフレーム又はフィールドから得た静止画像の時刻は、異なったものとなり、同時刻に撮影された自分と相手の画像を合成することが困難であった。
そこで、本発明は、自分の画質のみならず相手の画質も良い合成静止画像であって、それに含まれる自分の画像及び相手の画像が制御されたタイミングで撮影されたものを生成することを可能とする合成静止画像生成方法及びその装置を提供することを目的とする。
本発明によれば、所定の空間的構成がユーザに認識できるような画面を2以上の動画像を用いて表示する空間的構成表示ステップと、それぞれが前記2以上の動画像それぞれの基となる2以上の原画像を基に、それぞれが前記2以上の原画像それぞれに対応する2以上の原静止画像を生成する静止画像生成ステップと、前記所定の空間的構成に従って、前記2以上の原静止画像を用いた合成静止画像を生成する静止画像合成ステップと、を備えることを特徴とする合成静止画像生成方法が提供される。
上記の合成静止画像生成方法は、前記2以上の原画像をそれぞれ異なるカメラにより撮影する原画像撮影ステップを更に備えていてもよい。
上記の合成静止画像生成方法において、前記静止画像生成ステップは、前記2以上の原画像それぞれのフレーム又はフィールドを用いて前記2以上の原静止画像それぞれを生成してもよい。
上記の合成静止画像生成方法において、前記静止画像合成ステップは、前記2以上の原静止画像それぞれの全空間又は部分空間を用いた合成静止画像を生成してもよい。
上記の合成静止画像生成方法において、前記空間的構成表示ステップは、前記所定の空間的構成に従って前記2以上の動画像それぞれの全空間又は部分空間を1つの動画像に合成し、前記2以上の動画像それぞれの全空間又は部分空間を前記所定の空間的構成に従って合成された状態で表示してもよい。
上記の合成静止画像生成方法において、前記空間的構成表示ステップは、前記2以上の動画像それぞれに前記所定の空間的構成に従った場合の選択部分を示す枠を加えたものを表示してもよい。
上記の合成静止画像生成方法は、前記所定の空間的構成をユーザに設定させる空間的構成設定ステップを更に備えていてもよい。
上記の合成静止画像生成方法は、それぞれが前記2以上の原画像それぞれのうち前記2以上の原静止画像それぞれに用いられる2以上のフレーム又はフィードが全て同一時刻のものとなるような調整を行う時刻調整ステップを更に備えていてもよい。
上記の合成静止画像生成方法は、前記時刻をユーザに予告する時刻予告ステップを更に備えていてもよい。
上記の合成静止画像生成方法は、1の原画像のうち1の原静止画に用いられるフレーム又はフィールドの時刻が、他の原画像のうち他の原静止画像に用いられるフレーム又はフィールドの時刻から前記他の原画像から得られる動画像の伝送時間だけ遅延した時刻となるような調整を行う時刻調整ステップを更に備えていてもよい。
上記の合成静止画像生成方法において、前記静止画像合成ステップは、前記2以上の原静止画像のみならず他の1又は2以上の静止画像も用いた合成静2止画像を生成してもよい。
本発明の請求項1又は12に記載の発明によれば、所定の空間的構成がユーザに認識できるような画面を2以上の動画像を用いて表示するので、ユーザは、その空間的構成に従って、場所を移動したり、ズームを変えたりして、被写体の位置及び大きさを所定の空間的構成に適合したものとすることができる。
また、本発明の請求項1又は12に記載の発明によれば、原画像を基に原静止画像を生成するので、高画質な合成静止画像を得ることができる。
更に、本発明の請求項1又は12に記載の発明によれば、所定の空間的構成に従って、2以上の原静止画像を用いた合成静止画像を生成するので、被写体の位置及び大きさが所定の空間的構成に適合し、且つ、高画質は合成静止画像を得ることができる。
本発明の請求項2又は13に記載の発明によれば、2以上の原画像をそれぞれ異なるカメラにより撮影するので、例えば、遠隔地に居るユーザを1つの合成静止画像に含めることができる。
本発明の請求項3又は14に記載の発明によれば、原画像のフレーム又はフィールドを用いて原静止画像を生成するので、高画質な合成静止画像を得ることができる。また、ユーザが撮影をしたいタイミングの合成静止画像を得ることができる。
本発明の請求項4又は15に記載の発明によれば、原静止画像の全空間又は部分空間を用いた合成静止画像を生成するので、原静止画像の必要な部分を過不足無く含んだ合成静止画像を得ることができる。
本発明の請求項5又は16に記載の発明によれば、2以上の動画像それぞれの全空間又は部分空間を所定の空間的構成に従って合成された状態で表示するので、ユーザは、得られる合成静止画像を事前に把握することができ、これにより被写体の位置等を調整でき、撮影タイミングも調整することができる。
請求項6又は17に記載の発明によれば、動画像に所定の空間的構成に従った場合の選択部分を示す枠を加えたものを表示するので、ユーザは画面全体と選択部分との空間関係を把握することができる。
請求項7又は18に記載の発明によれば、所定の空間的構成をユーザに設定させるので、ユーザの好みにあった空間的構成の合成静止画像を生成することができる。
請求項8又は19に記載の発明によれば、原静止画像に用いられるフレーム又はフィールドの時刻が全て同一となるので、第三者から見た場合の同期を確立することができる。
請求項9又は20に記載の発明によれば、時刻をユーザに予告するので、ユーザはその時刻に備えて被写体の準備をすることができる。
請求項10又は21に記載の発明によれば、一方のフレーム又はフィールドの時刻が他方のフレーム又はフィールドの時刻よりも伝送時間だけ遅延するので、1のユーザからみた同期を確立することができる。
請求項11又は22に記載の発明によれば、他の静止画像も合成静止画像に用いるので、合成静止画像を多彩なものとすることができる。
以下、図面を参照して本発明を実施するための最良の形態について詳細に説明する。
まず、以下の説明において、装飾フレームというときには、合成静止画像に重ね合わせる合成静止画像を装飾するためのフレームのことをいい、単にフレームというときには、動画像の構成する例えば30ヘルツのフレームのことをいう。また、合成静止画像をフレームにより構成しても良いが、インターレース方式でいうところのフィールドにより構成しても良い。従って、単にフレームというときには、動画像の構成する例えば30ヘルツのフレームのみならず、動画像を構成する例えば60ヘルツのフィールドのこともいうものとする。
図2は、本発明の実施形態によるテレビ電話システムを示すブロック図である。このテレビ電話システムは、インターネット161で接続された第1テレビ電話装置100−1及び第2テレビ電話装置100−2を備える。なお、インターネットの代わりにLAN(Local Area Network)等の他のネットワークを用いても良い。
図3は、図2に示す第1テレビ電話装置100−1の構成を示すブロック図である。
図3を参照すると、第1テレビ電話装置100−1は、第1カメラ101−1、第1動画像生成部103−1、第1送信バッファ105−1、第1送信部107−1、第1静止画像取込部109−1、第1静止画像符号化部110−1、第1静止画像格納部111−1、第1ユーザインタフェース113−1、第1空間的構成設定部115−1、第1空間的構成表示部117−1、第1装飾フレーム格納部119−1、第1静止画像合成部121−1、第1合成静止画像格納部123−1、第1時刻調整部125−1、第1時刻予告部127−1、第1受信部129−1、第1受信バッファ131−1、第1動画像復元部133−1、第1静止画像復元部135−1、第1ウィンドウ合成部137−1及び第1モニタ139−1を備える。
図4は、図2に示す第2テレビ電話装置100−2の構成を示すブロック図である。
第1テレビ電話装置100−1と同様に、第2テレビ電話装置100−2は、第2カメラ101−2、第2動画像生成部103−2、第2送信バッファ105−2、第2送信部107−2、第2静止画像取込部109−2、第2静止画像符号化部110−2、第2静止画像格納部111−2、第2ユーザインタフェース113−2、第2空間的構成設定部115−2、第2空間的構成表示部117−2、第2装飾フレーム格納部119−2、第2静止画像合成部121−2、第2合成静止画像格納部123−2、第2時刻調整部125−2、第2時刻予告部127−2、第2受信部129−2、第2受信バッファ131−2、第2動画像復元部133−2、第2静止画像復元部135−2、第2ウィンドウ合成部137−2及び第2モニタ139−2を備える。
第1カメラ101−1は、第1テレビ電話装置100−1を利用してテレビ電話をしている者を撮影する。第1動画像生成部103−1は、第1カメラ101−1が撮影した画像を基に、圧縮動画像データを生成する。圧縮方式としては、例えば、MPEG1、MPEG4又はH.263等を用いる。第1送信バッファ105−1は、第1動画像生成部103−1が生成した圧縮動画像データを一時的に格納し、圧縮動画像データの伝送速度を一定にする。第1送信部107−1は、主に、圧縮動画像データをインターネット161を介して第2テレビ電話装置100−2の第2受信部129−2に送信する。また、第1送信部107−1は、第1静止画像合成部121−1が生成した合成静止画像、第1空間的構成設定部115−1が設定した装飾フレームの識別情報及びフレームの空間的構成並びに第1時刻調整部125−1が生成したタイミング信号(時刻、期間、フレーム番号等を示すもの)を第2テレビ電話装置100−2の第2受信部129−2に送信する。更に、第1送信部107−1は、第2テレビ電話装置100−2で合成静止画像を生成する場合には、第1静止画像符号化部110−1から第1テレビ電話装置100−1側の静止画像を入力し、第2テレビ電話装置100−2の第2受信部129−2に送信する。
第1静止画像取込部109−1は、第1カメラ101−1が撮影した画像の各フレームの静止画像を取り込む。第1静止画像符号化部110−1は、第1時刻調整部125−1から入力するタイミング信号に従って、第1静止画像取込部109−1又は第1静止画像格納部111−1から第1テレビ電話装置100−1側の静止画像を入力し、この静止画像を必要に応じて符号化する。符号化方式としては、可逆符号化方式(TIFF(Tagged Image File Format)方式等)又は非可逆符号化方式(JPEG(Joint Photographic Experts Group)方式等)を用いる。可逆符号化方式を用いた場合には、符号化による画質劣化はない。また、非可逆符号化方式の場合であっても、高画質の静止画像を得るという本発明の目的を満たすために、符号化による画質劣化の少ない方式及びパラメータを用いる。第1テレビ電話装置100−1と第2テレビ電話装置100−2との間の通信路の伝送容量が十分大きい場合には、第1静止画像符号化部110−1は、静止画像を符号化しなくても良い。第1静止画像格納部111−1は、第1静止画像取込部109−1が取り込んだ第1テレビ電話装置100−1側の静止画像を一定時間格納する。第1静止画像格納部111−1を設けた理由は、第1テレビ電話装置100−1で撮影された静止画像及び第2テレビ電話装置100−2で撮影された静止画像が所定のタイミングモードを満たすようにするためである。所定のタイミングモードについては後述する。
第1ユーザインタフェース113−1は、合成静止画像の空間的構成をユーザが決定するためのユーザの操作を受け付け、また、ユーザがその決定をするための画面を生成する。第1空間的構成設定部115−1は、合成静止画像の空間的構成を設定する。合成静止画像の空間的構成とは、第1カメラ101−1が撮影した画像中の合成静止画像に取り入れるべき位置及び範囲、第2カメラ101−2が撮影した画像中の合成静止画像に取り入れるべき位置及び範囲並びに合成静止画像に取り入れるべき装飾フレームの種類等のことをいう。第1空間的構成表示部117−1は、第1空間的構成設定部115−1が設定した合成静止画像の空間的構成をユーザが認識できるような画像を生成する。例えば、第1空間的構成表示部117−1は、第1カメラ101−1が撮影した画像(テレビ電話で表示する自分側の画像)に、この画像中の合成静止画像に取り入れるべき位置及び範囲を示す枠を挿入したものを表示し、第1動画像復元部133−1が復元した画像(テレビ電話で表示する相手側の画像)に、この画像中の合成静止画像に取り入れるべき位置及び範囲を示す枠を挿入したものを表示し、新たに設けたウィンドウを表示し、そのウィンドウに選択された装飾フレーム、取り入れるべき範囲にある両者の現在の動画像を挿入する。ユーザは、第1ユーザインターフェース113−1により枠を動かすことにより、取り入れるべき位置及び範囲を調整する。
第1装飾フレーム格納部119−1は、合成静止画像に挿入するべき装飾フレームを複数格納する。第1空間的構成設定部115−1は、第1装飾フレーム格納部119−1に格納された複数の装飾フレームのうち第1ユーザインターフェース113−1を用いてユーザが選択した装飾フレームを合成静止画像に挿入する。
第1テレビ電話装置100−1が主導権を握るときには、第1静止画像合成部121−1は、第1時刻調整部125−1が第1テレビ電話装置100−1側の画像について決定したタイミングに従って、第1静止画像取込部109−1又は第1静止画像格納部111−1から第1テレビ電話装置100−1側の静止画像を入力し、第1時刻調整部125−1が第2テレビ電話装置100−2側の画像について決定したタイミングに従って、第1静止画像復元部135−1から第2テレビ電話装置100−2側の静止画像を入力し、そして、第1空間的構成設定部115−1が設定した空間的構成に従って、第1テレビ電話装置100−1側の静止画像のうちの必要な部分、第2テレビ電話装置100−2側の静止画像のうち必要な部分及びユーザにより選択された装飾フレームを重ね合わせて、合成静止画像を生成する。第1合成静止画像格納部123−1は、第1静止画像合成部121−1が生成した合成静止画像を格納する。
第1テレビ電話装置100−1が主導権を握っているときには、第1時刻調整部125−1は、第1ユーザインターフェース113−1を用いてユーザが決定したタイミングモードに従った第1のタイミング信号を第1静止画像合成部121−1に出力し、そのタイミングモードに従った第2のタイミング信号を第1送信部107−1、第2受信部129−2を介して、第2時刻調整部125−2に出力する。第1静止画像合成部121−1は、第1のタイミング信号に従って、第1静止画像取込部109−1又は第1静止画像格納部111−1から第1テレビ電話装置100−1側の静止画像を入力する。他方、第2のタイミング信号を受け取った第2時刻調整部125−2は、第2のタイミング信号に従って、第2静止画像符号化部110−2を制御し、第2静止画像符号化部110−2は、第2のタイミング信号に従って、第2静止画像取込部109−2又は第2静止画像格納部111−2から第2テレビ電話装置100−2側の静止画像を入力し、入力した静止画像を必要に応じて符号化し、第2送信部107−2に出力する。第2送信部107−2は、第2のタイミング信号に従って第2静止画像生成部109−2又は第2静止画像格納部111−2から読み出されて、必要に応じて符号化された第2テレビ電話装置100−2側の静止画像を第1テレビ電話装置100−1の第1受信部129−1に送信する。第1静止画像復元部135−1は、第1受信部129−1が受信した第2テレビ電話装置100−2側の静止画像を復元する。第1静止画像合成部121−1は、第1静止画像復元部135−1が復元した第2テレビ電話装置100−2側の静止画像を入力する。
第1時刻予告部127−1は、第1時刻調整部125−1が決定したタイミング又は第2時刻調整部125−2が決定して第1時刻調整部125−1が通知を受けたタイミングに従って、第1テレビ電話装置100−1のユーザが静止画像を取り込むタイミングがわかるような画面(例えば、カウントダウンするタイマーの画面)を生成する。
第1受信部129−1は、第2送信部107−2が送信した信号を受信する。第1受信バッファ131−1は、第1受信部129−1が受信した信号のうち動画像符号を入力し、その動画像符号を一時的に格納する。第1動画像復元部133−1は、第1受信バッファ131−1から動画像符号を読み出し、第2テレビ電話装置100−2側の動画像を復元する。
第1ウィンドウ合成部137−1は、第1カメラ101−1が撮影した第1テレビ電話装置100−1側の動画像のウィンドウ、第1動画像復元部133−1が復元した第2テレビ電話装置100−2側の動画像のウィンドウ、第1ユーザインターフェース113−1が作成したユーザインターフェースのウィンドウ、第1時刻予告部127−1が生成した時刻予告のためのウィンドウ、第1空間的構成表示部117−1が生成した空間的構成を示すためのウィンドウ及び第1静止画像合成部121−1が生成した合成静止画像のウィンドウを合わせた画面を生成する。第1モニタ139−1は、第1ウィンドウ合成部137−1が生成した画面を表示する。
第2テレビ電話装置100−2の各部は、第1テレビ電話装置100−1の対応する各部と同様であるので、これらの説明は省略する。
なお、第1テレビ電話装置100−1の各部及び第2テレビ電話装置100−2の各部は、ハードウェアによって実現することも可能であるが、コンピュータをこれらの各部として機能させるためのプログラムをコンピュータが読み込んで、実行することによっても実現することができ、コンピュータをこれらの各部の一部として機能させるためのプログラムを読み込んで実行するコンピュータとハードウェアによっても実現することができる。
次に、図2に示すテレビ電話システムが行う合成静止画像生成方法について図5〜11を参照して説明する。
図5は、合成静止画像生成方法の全体の流れを示すフローチャートである。
図5を参照すると、まず、第1テレビ電話装置100−1と第2テレビ電話装置100−2は、テレビ電話の通信を確立し(ステップS201)、テレビ電話が始まる。
テレビ電話の途中で、合成静止画像を第1テレビ電話装置100−1のユーザが作成することとする。
第1ユーザインターフェース113−1、第1空間的構成設定部115−1、第1空間的構成表示部117−1、第1装飾フレーム格納部119−1等を用いて、例えば、符号301(図6)又は符号311(図7)に示すような装飾フレームを選択する(ステップS202)。次に、第1テレビ電話装置100−1から第2テレビ電話装置100−2に選択された装飾フレームの識別情報を送信する(ステップS203)。
次に、第1テレビ電話装置100−1及び第2テレビ電話装置100−2でプレビューの表示を開始する(ステップS204、S205)。プレビューの画面は、例えば、選択された装飾フレームに第1テレビ電話装置100−1側の第1カメラ101−1で撮影した動画像及び第2テレビ電話装置100−2側の第2カメラ101−2で撮影した動画像をはめ込んだ画面である。第1装飾フレーム格納部119−1及び第2装飾フレーム格納部119−2には、同一の装飾フレームが格納されており、第2テレビ電話装置100−2は装飾フレームの識別情報を参照して、装飾フレームを表示することができる。
次に、第1カメラ101−1が撮影した画像のうち合成静止画像にはめ込むべき領域の位置及び範囲並びに第2カメラ101−2で撮影した画像のうち合成静止画像にはめ込むべき領域の位置及び範囲を合わせる(ステップS206)。具体的には、例えば、第1カメラ101−1が撮影した画像を表示する符号302(図6)又は符号312(図7)で示すような画面において、領域を示す符号304(図6)又は符号314(図7)で示すような枠を表示し、この枠を符号306(図6)又は符号316(図7)で示すようなハンドルで調整できるようにする。同様に、第2カメラ101−2が撮影した画像を表示する符号303(図6)又は符号313(図7)で示すような画面において、領域を示す符号305(図6)又は符号315(図7)で示すような枠を表示し、この枠を符号307(図6)又は符号317(図7)で示すようなハンドルで調整できるようにする。調整された枠の範囲の画像は必要に応じて縮尺が調整された後に、符号301(図6)又は符号311(図7)で示すような装飾フレームの内部にはめ込まれる。
位置合わせが終了したならば、第1テレビ電話装置100−1から第2テレビ電話装置100−2に位置情報を送信する(ステップS207)。或いはステップS206とステップS207を位置合わせが終了するまで繰返し、第2テレビ電話装置100−2でもリアルタイムに位置合わせの様子がわかるようにしてもよい。
次に、第1テレビ電話装置100−1でタイミングモードを選択する(ステップS208)。タイミングモードについては後述する。次に、第1テレビ電話装置100−1から第2テレビ電話装置100−2に、選択されたタイミングモードを送信する(ステップS209)。
次に、選択されたタイミングモードに従って、両テレビ電話装置100−1、100−2で静止画像の撮影を行い、第2テレビ電話装置100−2で撮影された静止画像を第1テレビ電話装置100−1に送信する(ステップS210)。ステップS210の詳細については、後述する。
次に、ステップS202で選択された装飾フレームにステップS210で両テレビ電話装置100−1、100−2で撮影された静止画像をステップS206で調整した位置及び範囲をはめ込むことにより、静止画像を合成する(ステップS211)。
次に、第1テレビ電話装置100−1から第2テレビ電話装置100−2に合成静止画像を送信し(ステップS212)、両テレビ電話装置で合成静止画像を格納する(ステップS213、S214)。
次に、両テレビ電話装置100−1、100−2で、ステップS204、S205で開始したプレビューを終了し(ステップS215、S216)、合成静止画像の表示を開始する(ステップS217、S218)。
次に、タイミングモードについて説明する。
図8は、両テレビ電話装置100−1、100−2で動画像が撮影されるタイミングと表示されるタイミングを示す図である。第1テレビ電話装置100−1に着目すると、第2テレビ電話装置100−2で時刻T1で撮影された動画像M2(T1)は、時刻T1から時間ΔTだけ遅れた時刻T2に第1テレビ電話装置100−1に到着して、表示される。このとき、動画像M2(T1)と同時に表示される第1テレビ電話100−1で撮影された動画像は、時刻T2において撮影されたM1(T2)である。従って、第1テレビ電話装置100−1のユーザは、相互にタイミングがずれた第1テレビ電話装置100−1で撮影された動画像及び第2テレビ電話装置100−2で撮影された動画像を同時に見ることになる。これは、第2テレビ電話装置100−2についても同様である。
従って、第1テレビ電話装置100−1のユーザは、時間ΔTだけ過去の相手の様子に反応していることとなる。そして、時間ΔTだけ過去の相手の様子は、更に、時間ΔTだけ遡った自分の様子に反応していることとなる。
そこで、数種類のタイミングモードを設け、ユーザが選択できるようにする。各タイミングモードに従った以下の動作は、主に第1時刻調整部125−1及び第2時刻調整部125−2の制御の下に行われる。
第1のタイミングモードについて図9を参照して説明する。第1のタイミングモードは、両テレビ電話装置100−1、100−2において、同時に静止画像を撮影するものである。このために、第1テレビ電話装置100−1から第2テレビ電話装置100−2にタイマー起動信号を送信する。タイマー起動信号の種類としては、タイマー起動信号を送信してから撮影するまでの時間を通知するもの及び撮影時間を通知するものの2種類が考えられる。前者の場合であれば、タイマー起動信号の伝送時間は殆ど無視できるので、ほぼ同時の撮影を両テレビ電話装置100−1、100−2で行うことができる。後者の場合であれば、両テレビ電話装置100−1、100−2の内部タイマークロックが同時刻を刻んでいるならば完全に一致したタイミングで両テレビ電話装置100−1、100−2で撮影をすることができる。両内部タイマークロックを揃えるためには、例えば、両テレビ電話装置100−1、100−2で例えばステップS201の直後にインターネット時刻サーバに両内部タイマークロックを合わせることが考えられる。
タイマーを起動した後には、タイマーがカウントダウンする様子を示す画面を両テレビ電話装置100−1、100−2において表示する。両ユーザはカウントダウンするタイマーをみることにより、ポーズを決め、撮影に備える。このようにして、両テレビ電話装置100−1、100−2において、同時に静止画像を撮影することが可能となる。
また、タイマーが0を示したならば、再度、タイマーをプリセットし、撮影を2度以上繰り返してもよい。
第2のタイミングモードについて図10を参照して説明する。第2のタイミングモードは、相手の様子とその相手の様子に反応する自分の様子を撮影するものである。時刻T1において撮影した相手の静止画像は第2静止画像格納部111−2に格納しておく。これはフレーム毎に行われるが、遅延時間ΔTは有限であるので、第2静止画像格納部111−2の容量を遅延時間ΔTの間の全フレームを格納できる大きさにすれば、容量不足は生じない。第1テレビ電話装置100−1のユーザは、相手の様子を見ながら所望のタイミングでシャッターボタンを押す。そうすると、第2静止画像格納部111−2からシャッターボタンを押した時刻から時間ΔTだけ遡った時刻の相手の静止画像が読み出され、第2テレビ電話装置100−2から第1テレビ電話装置100−1にその静止画像が送信されてくる。そして、第1テレビ電話装置100−1において、時刻T1において撮影された相手側の静止画像S2(T1)と時刻T2において撮影された自分側の静止画像S1(T2)が合成される。なお、第1テレビ電話装置100−1では、動画像M2(T1)のフレーム番号等で時刻T1を把握することができ、この時刻T1をパラメータとして静止画像要求信号を第2テレビ電話装置100−2に送信することにより、第1テレビ電話装置100−1は時刻T1における相手側の静止画像S2(T1)を得ることができる。
第3のタイミングモードについて図11を参照して説明する。第3のタイミングモードは、自分の様子とその自分の様子に反応する相手の様子を撮影するものである。時刻T1において撮影した自分の静止画像は第1静止画像格納部111−1に格納しておく。これはフレーム毎に行われる。第1テレビ電話装置100−1のユーザは自分の様子を見ながら所望のタイミングでシャッターボタンを押す。そうすると、第1テレビ電話装置100−1は、時刻T1に関する情報を第2テレビ電話装置100−2に送信する。第2テレビ電話装置100−2は、時刻T1に関する情報を保持しておく一方で、第2テレビ電話装置100−2で表示される第1テレビ電話装置100−1で撮影された動画像の各フレームの時刻をモニターし、フレームの時刻が保持していた時刻T1と一致するタイミングにおいて、第2テレビ電話装置100−2側の静止画像S2(T2)を撮影する。そして、第2テレビ電話装置100−2は、静止画像S2(T2)を第1テレビ電話装置100−1に送信する。第1テレビ電話装置100−1は、第1静止画像格納部111−1から静止画像S1(T1)を読み出し、第2テレビ電話装置100−2から静止画像S2(T2)を受信し、両静止画像を合成する。
なお、合成静止画に挿入する装飾フレームの数は1とは限らず複数であっても良い。
また、上記の実施形態では、2つのテレビ電話装置を用いて、2つの静止画像を合成した合成静止画像を生成することとしたが、3以上のテレビ電話装置を用いて、3以上の静止画像を合成した合成静止画像を生成しても良い。この場合、第n(nは3以上の整数)のテレビ電話装置の構成を第2のテレビ電話装置と同様なものとし、第n(nは3以上の整数)のテレビ電話装置の動作を第2のテレビ電話装置と同様なものとする。つまり、2つのテレビ電話装置を用いた場合には、2つのテレビ電話装置は1対1の関係で接続するが、3以上のテレビ電話装置を用いた場合には、合成静止画像生成方法に関しては、3以上のテレビ電話装置を1対n(nは2以上の整数)の関係で接続する。この接続関係に従って、第1〜第3のタイミングモードによるタイミング調整を第1のテレビ電話装置と第n(nは2以上の整数)のテレビ電話装置との間で行う。
本発明は、テレビ電話をしている2以上のユーザ等の2以上の被写体を含む高画質な静止画を所望のタイミング及び所望の構成に従って作成することに利用することができる。
100−1 第1テレビ電話装置
101−1 第1カメラ
103−1 第1動画像生成部
105−1 第1送信バッファ
107−1 第1送信部
109−1 第1静止画像取込部
110−1 第1静止画像符号化部
111−1 第1静止画像格納部
113−1 第1ユーザインタフェース
115−1 第1空間的構成設定部
117−1 第1空間的構成表示部
119−1 第1装飾フレーム格納部
121−1 第1静止画像合成部
123−1 第1合成静止画像格納部
125−1 第1時刻調整部
127−1 第1時刻予告部
129−1 第1受信部
131−1 第1受信バッファ
133−1 第1動画像復元部
135−1 第1静止画像復元部
137−1 第1ウィンドウ合成部
139−1 第1モニタ
100−2 第2テレビ電話装置
101−2 第2カメラ
103−2 第2動画像生成部
105−2 第2送信バッファ
107−2 第2送信部
109−2 第2静止画像取込部
110−1 第2静止画像符号化部
111−2 第2静止画像格納部
113−2 第2ユーザインタフェース
115−2 第2空間的構成設定部
117−2 第2空間的構成表示部
119−2 第2装飾フレーム格納部
121−2 第2静止画像合成部
123−2 第2合成静止画像格納部
125−2 第2時刻調整部
127−2 第2時刻予告部
129−2 第2受信部
131−2 第2受信バッファ
133−2 第2動画像復元部
135−2 第2静止画像復元部
137−2 第2ウィンドウ合成部
139−2 第2モニタ
101−1 第1カメラ
103−1 第1動画像生成部
105−1 第1送信バッファ
107−1 第1送信部
109−1 第1静止画像取込部
110−1 第1静止画像符号化部
111−1 第1静止画像格納部
113−1 第1ユーザインタフェース
115−1 第1空間的構成設定部
117−1 第1空間的構成表示部
119−1 第1装飾フレーム格納部
121−1 第1静止画像合成部
123−1 第1合成静止画像格納部
125−1 第1時刻調整部
127−1 第1時刻予告部
129−1 第1受信部
131−1 第1受信バッファ
133−1 第1動画像復元部
135−1 第1静止画像復元部
137−1 第1ウィンドウ合成部
139−1 第1モニタ
100−2 第2テレビ電話装置
101−2 第2カメラ
103−2 第2動画像生成部
105−2 第2送信バッファ
107−2 第2送信部
109−2 第2静止画像取込部
110−1 第2静止画像符号化部
111−2 第2静止画像格納部
113−2 第2ユーザインタフェース
115−2 第2空間的構成設定部
117−2 第2空間的構成表示部
119−2 第2装飾フレーム格納部
121−2 第2静止画像合成部
123−2 第2合成静止画像格納部
125−2 第2時刻調整部
127−2 第2時刻予告部
129−2 第2受信部
131−2 第2受信バッファ
133−2 第2動画像復元部
135−2 第2静止画像復元部
137−2 第2ウィンドウ合成部
139−2 第2モニタ
Claims (23)
- 所定の空間的構成がユーザに認識できるような画面を2以上の動画像を用いて表示する空間的構成表示ステップと、
それぞれが前記2以上の動画像それぞれの基となる2以上の原画像を基に、それぞれが前記2以上の原画像それぞれに対応する2以上の原静止画像を生成する静止画像生成ステップと、
前記所定の空間的構成に従って、前記2以上の原静止画像を用いた合成静止画像を生成する静止画像合成ステップと、
を備えることを特徴とする合成静止画像生成方法。 - 請求項1に記載の合成静止画像生成方法において、
前記2以上の原画像をそれぞれ異なるカメラにより撮影する原画像撮影ステップを更に備えることを特徴とする合成静止画像生成方法。 - 請求項1に記載の合成静止画像生成方法において、
前記静止画像生成ステップは、前記2以上の原画像それぞれのフレーム又はフィールドを用いて前記2以上の原静止画像それぞれを生成することを特徴とする合成静止画像生成方法。 - 請求項1に記載の合成静止画像生成方法において、
前記静止画像合成ステップは、前記2以上の原静止画像それぞれの全空間又は部分空間を用いた合成静止画像を生成することを特徴とする合成静止画像生成方法。 - 請求項1に記載の合成静止画像生成方法において、
前記空間的構成表示ステップは、前記所定の空間的構成に従って前記2以上の動画像それぞれの全空間又は部分空間を1つの動画像に合成し、前記2以上の動画像それぞれの全空間又は部分空間を前記所定の空間的構成に従って合成された状態で表示することを特徴とする合成静止画像生成方法。 - 請求項1に記載の合成静止画像生成方法において、
前記空間的構成表示ステップは、前記2以上の動画像それぞれに前記所定の空間的構成に従った場合の選択部分を示す枠を加えたものを表示することを特徴とする合成静止画像生成方法。 - 請求項1に記載の合成静止画像生成方法において、
前記所定の空間的構成をユーザに設定させる空間的構成設定ステップを更に備えることを特徴とする合成静止画像生成方法。 - 請求項3に記載の合成静止画像生成方法において、
それぞれが前記2以上の原画像それぞれのうち前記2以上の原静止画像それぞれに用いられる2以上のフレーム又はフィードが全て同一時刻のものとなるような調整を行う時刻調整ステップを更に備えることを特徴とする合成静止画像生成方法。 - 請求項8に記載の合成静止画像生成方法において、
前記時刻をユーザに予告する時刻予告ステップを更に備えることを特徴とする合成静止画像生成方法。 - 請求項3に記載の合成静止画像生成方法において、
1の原画像のうち1の原静止画に用いられるフレーム又はフィールドの時刻が、他の原画像のうち他の原静止画像に用いられるフレーム又はフィールドの時刻から前記他の原画像から得られる動画像の伝送時間だけ遅延した時刻となるような調整を行う時刻調整ステップを更に備えることを特徴とする合成静止画像生成方法。 - 請求項1に記載の合成静止画像生成方法において、
前記静止画像合成ステップは、前記2以上の原静止画像のみならず他の1又は2以上の静止画像も用いた合成静止画像を生成することを特徴とする合成静止画像生成方法。 - 所定の空間的構成がユーザに認識できるような画面を2以上の動画像を用いて表示する空間的構成表示手段と、
それぞれが前記2以上の動画像それぞれの基となる2以上の原画像を基に、それぞれが前記2以上の原画像それぞれに対応する2以上の原静止画像を生成する静止画像生成手段と、
前記所定の空間的構成に従って、前記2以上の原静止画像を用いた合成静止画像を生成する静止画像合成手段と、
を備えることを特徴とする合成静止画像生成装置。 - 請求項12に記載の合成静止画像生成装置において、
前記2以上の原画像をそれぞれ異なるカメラにより撮影する原画像撮影手段を更に備えることを特徴とする合成静止画像生成装置。 - 請求項12に記載の合成静止画像生成装置において、
前記静止画像生成手段は、前記2以上の原画像それぞれのフレーム又はフィールドを用いて前記2以上の原静止画像それぞれを生成することを特徴とする合成静止画像生成装置。 - 請求項12に記載の合成静止画像生成装置において、
前記静止画像合成手段は、前記2以上の原静止画像それぞれの全空間又は部分空間を用いた合成静止画像を生成することを特徴とする合成静止画像生成装置。 - 請求項12に記載の合成静止画像生成装置において、
前記空間的構成表示手段は、前記所定の空間的構成に従って前記2以上の動画像それぞれの全空間又は部分空間を1つの動画像に合成し、前記2以上の動画像それぞれの全空間又は部分空間を前記所定の空間的構成に従って合成された状態で表示することを特徴とする合成静止画像生成装置。 - 請求項12に記載の合成静止画像生成装置において、
前記空間的構成表示手段は、前記2以上の動画像それぞれに前記所定の空間的構成に従った場合の選択部分を示す枠を加えたものを表示することを特徴とする合成静止画像生成装置。 - 請求項12に記載の合成静止画像生成装置において、
前記所定の空間的構成をユーザに設定させる空間的構成設定手段を更に備えることを特徴とする合成静止画像生成装置。 - 請求項14に記載の合成静止画像生成装置において、
それぞれが前記2以上の原画像それぞれのうち前記2以上の原静止画像それぞれに用いられる2以上のフレーム又はフィードが全て同一時刻のものとなるような調整を行う時刻調整手段を更に備えることを特徴とする合成静止画像生成装置。 - 請求項19に記載の合成静止画像生成装置において、
前記時刻をユーザに予告する時刻予告手段を更に備えることを特徴とする合成静止画像生成装置。 - 請求項14に記載の合成静止画像生成装置において、
1の原画像のうち1の原静止画に用いられるフレーム又はフィールドの時刻が、他の原画像のうち他の原静止画像に用いられるフレーム又はフィールドの時刻から前記他の原画像から得られる動画像の伝送時間だけ遅延した時刻となるような調整を行う時刻調整手段を更に備えることを特徴とする合成静止画像生成装置。 - 請求項12に記載の合成静止画像生成装置において、
前記静止画像合成手段は、前記2以上の原静止画像のみならず他の1又は2以上の静止画像も用いた合成静止画像を生成することを特徴とする合成静止画像生成装置。 - コンピュータに請求項1乃至11のいずれか1項に記載の合成静止画像生成方法を行わせるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003340340A JP2005109862A (ja) | 2003-09-30 | 2003-09-30 | 合成静止画像生成方法及びその装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003340340A JP2005109862A (ja) | 2003-09-30 | 2003-09-30 | 合成静止画像生成方法及びその装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2005109862A true JP2005109862A (ja) | 2005-04-21 |
Family
ID=34535260
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003340340A Pending JP2005109862A (ja) | 2003-09-30 | 2003-09-30 | 合成静止画像生成方法及びその装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2005109862A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022046041A (ja) * | 2020-09-10 | 2022-03-23 | Kddi株式会社 | 元画像を用いてオンラインコミュニケーション画像を生成する装置、プログラム及び方法 |
WO2022156721A1 (zh) * | 2021-01-20 | 2022-07-28 | 华为技术有限公司 | 一种拍摄方法及电子设备 |
-
2003
- 2003-09-30 JP JP2003340340A patent/JP2005109862A/ja active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022046041A (ja) * | 2020-09-10 | 2022-03-23 | Kddi株式会社 | 元画像を用いてオンラインコミュニケーション画像を生成する装置、プログラム及び方法 |
JP7373477B2 (ja) | 2020-09-10 | 2023-11-02 | Kddi株式会社 | 元画像を用いてオンラインコミュニケーション画像を生成する装置、プログラム及び方法 |
WO2022156721A1 (zh) * | 2021-01-20 | 2022-07-28 | 华为技术有限公司 | 一种拍摄方法及电子设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6240642B2 (ja) | イメージ撮影装置のイメージを提供する方法及びその装置 | |
KR101893406B1 (ko) | 카메라의 이미지처리 장치 및 방법 | |
JP4612866B2 (ja) | 撮像方法および撮像システム | |
US20080084482A1 (en) | Image-capturing system and method | |
EP2654288B1 (en) | Image processing apparatus and method of camera | |
JP2007215189A (ja) | 移動通信端末機、移動通信端末機の制御方法及び移動通信端末機を用いたテレビ電話方法 | |
WO2017166360A1 (zh) | 视频通话方法及装置 | |
JP4583717B2 (ja) | 撮像装置及び方法、画像情報提供システム、プログラム、並びに制御装置 | |
JP6032987B2 (ja) | 画像出力装置および画像出力装置の作動方法 | |
JP2009239762A (ja) | テレビ会議システム、テレビ会議方法 | |
KR102058860B1 (ko) | 카메라의 이미지 처리 장치 및 방법 | |
JP2013243531A (ja) | 撮像装置、撮像処理方法、プログラム、撮像処理システム | |
KR20120040622A (ko) | 영상 통신 방법 및 장치 | |
JP2015119335A (ja) | 動き変化量に応じて撮影動画像のフレームを間引く端末、システム、プログラム及び方法 | |
JP2008005349A (ja) | 映像符号化装置、映像伝送装置、映像符号化方法及び映像伝送方法 | |
JP2005109862A (ja) | 合成静止画像生成方法及びその装置 | |
JP4692138B2 (ja) | 携帯端末からのパン&チルト機能搭載型ネットワークカメラ画像の閲覧方法及びパン&チルト機能搭載型ネットワークカメラ | |
JP4799191B2 (ja) | 通信端末、通信システムおよび通信方法 | |
JP2010056768A (ja) | 撮影システム並びに当該撮影システムを構成する撮影装置及び操作装置 | |
JP2008301399A (ja) | テレビ会議装置、テレビ会議方法、テレビ会議システム、コンピュータプログラム及び記録媒体 | |
JP2007274034A (ja) | テレビ電話システム及びテレビ電話端末装置並びにテレビ電話画像表示方法 | |
JPH0946710A (ja) | 画像通信システムおよび画像通信装置 | |
JP2006165664A (ja) | 画像送受信システム | |
JP5004680B2 (ja) | 画像処理装置、画像処理方法、テレビ会議システム、テレビ会議方法、プログラムおよび記録媒体 | |
JP2001111976A (ja) | 映像撮影装置および通信端末装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20061107 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070219 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20070618 |