JP2005020607A - Composite image output device and composite image output processing program - Google Patents

Composite image output device and composite image output processing program Download PDF

Info

Publication number
JP2005020607A
JP2005020607A JP2003185498A JP2003185498A JP2005020607A JP 2005020607 A JP2005020607 A JP 2005020607A JP 2003185498 A JP2003185498 A JP 2003185498A JP 2003185498 A JP2003185498 A JP 2003185498A JP 2005020607 A JP2005020607 A JP 2005020607A
Authority
JP
Japan
Prior art keywords
image
moving
images
background
composite
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2003185498A
Other languages
Japanese (ja)
Inventor
Tomohiro Shimizu
知洋 清水
Takashi Koshiro
孝 湖城
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2003185498A priority Critical patent/JP2005020607A/en
Publication of JP2005020607A publication Critical patent/JP2005020607A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Studio Circuits (AREA)
  • Studio Devices (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a composite image output device and a composite image output processing program capable of forming a composite moving image whose background image is also reproduced accurately, when an arbitrary substance in a still picture is cut out, moved and composed, and displayed as a moving image. <P>SOLUTION: On the basis of two or more still original images 12b1a, 12b1b, 12b1c obtained by photographing, partial images (moving images Ma, Mb, Mc) which change in those individual original images 12b1a-12b1c are extracted, and partial background images in regions where the images of the changing parts do not exist in these first to third images 12b1a-12b1c are composed and a perfect background image is formed. Each moving image M is composed at the position of each changing-part image (moving images Ma-Mc) and at a middle (intermediate) position set according to its moving direction Q, and each middle (intermediate ) image 12b6 is formed. These images are combined with the first to third images 12b1a-12b1c in the order of time and displayed successively. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
本発明は、撮影などによって得られた静止画像に基づき合成画像を生成して出力するための合成画像出力装置および合成画像出力処理プログラムに関する。
【０００２】
【従来の技術】
従来、カメラなどにより撮影された静止画像を動画として表示させるためには、一定時間間隔で撮影した複数枚の静止画像を連続して再生表示させることにより、コマ送り的な動画表示を行っていた。このような静止画像を連続表示させて動画としての再生表示を行うときに、なめらかな動きの画像として表示させたい場合には、短い時間間隔で多数の静止画像を撮影しこれを連続再生する必要がある。
【０００３】
従ってこの場合には、多数の静止画像を記憶保持する必要があり、画像メモリの多くの領域を占有してしまう。
【０００４】
一方、任意の静止画像について、当該静止画像に含まれる物体などの部分画像を切り出すのと共に、当該物体の静止画像上での移動経路・大きさ・回転角度などをユーザにより指定するか、あるいは自動計算し、この静止画像に対して前記切り出した部分画像を連続的に合成して出力することで、多数の静止画像を予め記憶保持する必要なく、擬似的な動画を再生表示するようにした動画作成装置が考えられている（例えば、特許文献１参照。）。
【０００５】
【特許文献１】
特開平１１−１８５０５１号公報
【０００６】
【発明が解決しようとする課題】
しかしながら、このような従来の動画作成装置では、静止画像から切り出した任意の物体について当該静止画像上で移動させながら合成出力することで、簡易な動画像を作成して表示できるものの、切り出した部分画像の領域に対応した背景の画像について明確に再現した合成画像を作成することはできない。
【０００７】
本発明は、前記のような問題に鑑みてなされたもので、静止画上の任意の物体を切り出して移動合成し動画表示する場合に、背景画像についても明確に再現した合成画像を作成することが可能になる合成画像出力装置および合成画像出力処理プログラムを提供することを目的とする。
【０００８】
【課題を解決するための手段】
本発明の請求項１に係る合成画像出力装置では、画像取得手段によって複数の画像が取得されると、この取得された複数の画像の中から移動している物体の画像が移動画像抽出手段によって抽出され、この抽出された移動物体の画像について、移動方向設定手段によって前記画像取得手段により取得された背景画像上での移動方向が設定される。そして、背景画像作成手段によって前記画像取得手段により取得された複数の画像に基づき当該画像の背景画像が合成されて作成され、この背景画像に対して、前記移動画像抽出手段により抽出された移動物体の画像が、前記移動方向設定手段により設定された移動方向に応じて移動画像合成手段によって合成される。そして、この移動画像合成手段により背景画像に移動画像の合成された合成画像が画像出力手段によって出力される。
【０００９】
これによれば、複数の静止画像に基づき完全な背景画像を合成して作成し、これに設定された移動方向に応じて移動物体の画像を合成して、擬似的な合成動画像を作成表示できることになる。
【００１０】
本発明の請求項２に係る合成画像出力装置は、前記請求項１に係る合成画像出力装置にあって、前記移動画像合成手段では、補間位置指定手段によって前記移動方向設定手段により設定された移動方向に沿った補間位置が指定され、前記背景画像作成手段により作成された背景画像上の前記補間位置指定手段により指定された補間位置に対して、前記移動画像抽出手段により抽出された移動物体の画像が合成される。
【００１１】
これによれば、設定された移動方向に沿った背景画像上の補間位置に対して移動物体の画像を合成し、擬似的な合成動画像として作成表示できることになる。
【００１２】
また、本発明の請求項３に係る合成画像出力装置は、前記請求項１に係る合成画像出力装置にあって、前記移動画像合成手段では、補間位置指定手段によって前記移動方向設定手段により設定された移動方向に沿った複数の補間位置が順次指定され、この補間位置指定手段により前記移動方向に沿った複数の補間位置が順次指定される毎に、当該補間位置およびその位置での移動方向に応じた前記移動物体の中間変形画像が、中間画像作成手段によって前記移動画像抽出手段により前記複数の画像の中からそれぞれ抽出された移動物体の各画像に基づき作成される。そして、この中間画像作成手段により作成された前記移動物体の中間変形画像は、前記背景画像作成手段により作成された背景画像上の前記補間位置指定手段により指定された補間位置に対して合成される。
【００１３】
これによれば、設定された移動方向に沿った背景画像上の複数の補間位置に対して、順次当該補間位置およびその位置での移動方向に応じた移動物体の中間変形画像を作成して合成し、よりリアルに移動物体が移動する擬似的な合成動画像として作成表示できることになる。
【００１４】
本発明の請求項４に係る合成動画像出力装置は、前記請求項１乃至請求項３の何れか１項に係る合成画像出力装置にあって、さらに、画像を撮影する画像撮影手段が備えられ、前記画像取得手段では、前記画像撮影手段により撮影される画像に基づいて複数の画像が取得される。
【００１５】
これによれば、複数の撮影静止画像に基づいて完全な背景画像を合成して作成し、これに設定された移動方向に応じて移動物体の画像を合成して、擬似的な合成動画像を作成表示できることになる。
【００１６】
本発明の請求項５に係る合成画像出力装置は、前記請求項４に係るの合成画像出力装置であって、前記画像取得手段では、前記画像撮影手段により撮影されている画像が任意のタイミングで取得されると共に、この任意画像取得の後、前記画像撮影手段により撮影されている画像上の変化部分が抽出され、当該変化部分により隠れていた撮影画像の背景部分が現れたタイミングで次画像取得手段によってその撮影画像が次画像として取得される。
【００１７】
これによれば、合成動画像作成のために必要な完全な背景画像を合成作成するための複数の撮影画像を最適なタイミングで取得できることになる。
【００１８】
本発明の請求項６に係る合成画像出力装置は、前記請求項４に係る合成画像出力装置にあって、前記画像取得手段では、前記画像撮影手段により撮影されている画像が取得されると共に、この画像取得の後、前記画像撮影手段により撮影されている画像上の変化部分が抽出され、当該変化部分により隠れていた撮影画像の背景部分が現れたタイミングで次画像取得指示手段によってその撮影画像の次取得が指示される。
【００１９】
これによれば、合成動画像作成のために必要な完全な背景画像を合成作成するための複数の撮影画像を、最適なタイミングで取得するための操作指示が得られることになる。
【００２０】
本発明の請求項７に係る合成画像出力装置では、前記請求項１乃至請求項６の何れか１項に係る合成画像出力装置であって、画像出力手段で合成画像を表示する表示部の解像度に応じて、画像取得手段により取得された複数の画像それぞれの少なくとも画素数が画像変換手段によって減少変換され、前記移動画像抽出手段は、前記画像変換手段により画素数の変換された複数の画像の中から移動している物体の画像を抽出し、前記背景画像作成手段は、前記画像変換手段により画素数の変換された複数の画像に基づき当該画像の背景画像を合成して作成する。そして、外部表示装置と、この外部表示装置に前記画像取得手段により取得された複数の画像を送信する画像送信手段とが備えられ、この外部表示装置では、前記画像送信手段により送信された複数の画像を受信する画像受信手段と、この画像受信手段により受信された複数の画像の中から移動している物体の画像を抽出する外部の移動画像抽出手段と、この移動画像抽出手段により抽出された移動物体の画像について、前記画像受信手段により受信された背景画像上での移動方向を設定する外部の移動方向設定手段と、前記画像受信手段により受信された複数の画像に基づき当該画像の背景画像を合成して作成する外部の背景画像作成手段と、この背景画像作成手段により作成された背景画像に対して、前記外部の移動画像抽出手段により抽出された移動物体の画像を、前記外部の移動方向設定手段により設定された移動方向に応じて合成する外部の移動画像合成手段と、この移動画像合成手段により背景画像に移動画像の合成された合成画像を前記画像表示手段の表示部より解像度の高い表示部に表示する外部の画像表示手段とが備えられる。
【００２１】
これによれば、装置本体側ではその表示部の解像度に応じて画素数を減少変換した複数の画像に基づいて負担の軽い処理で擬似的動画像を作成表示でき、しかも、外部表示装置には画像取得時のままの画素数の画像を送って擬似的動画像を高画質に作成表示できることになる。
【００２２】
本発明の請求項８に係る合成画像出力装置は、画像を撮影する撮影装置と、この撮影装置とは別体の画像処理装置と、前記撮影装置と画像処理装置とを接続する接続装置とからなる合成画像出力装置であって、
前記撮影装置は、画像を撮影する画像撮影手段と、この画像撮影手段により撮影される画像に基づき複数の画像を取得する画像取得手段と、この画像取得手段により取得された複数の画像を前記画像処理装置へ送信する画像送信手段と、前記画像処理装置から送信された合成画像を前記接続装置を介して受信する合成画像受信手段と、この合成画像受信手段により受信された合成画像を表示する表示手段とを備え、
前記画像処理装置は、前記撮影装置から送信された複数の画像を前記接続装置を介して受信する画像受信手段と、この画像受信手段により受信された複数の画像の中から移動している物体の画像を抽出する移動画像抽出手段と、この移動画像抽出手段により抽出された移動物体の画像について、前記画像受信手段により受信された背景画像上での移動方向を設定する移動方向設定手段と、前記画像受信手段により受信された複数の画像に基づき当該画像の背景画像を合成して作成する背景画像作成手段と、この背景画像作成手段により作成された背景画像に対して、前記移動画像抽出手段により抽出された移動物体の画像を、前記移動方向設定手段により設定された移動方向に応じて合成する移動画像合成手段と、この移動画像合成手段により背景画像に移動画像の合成された合成画像を前記撮影装置に送信する合成画像送信手段とを備えたことを特徴とする。
【００２３】
これによれば、撮影装置で複数の静止画像を撮影し、接続装置を介して別体の画像処理装置に接続するだけで、当該画像処理装置の側で複数の撮影静止画像に基づいた完全な背景画像をベースとする擬似的動画像が作成されると共に、これを撮影装置の側で表示して見ることができる。
【００２４】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態について説明する。
【００２５】
図１は、本発明の実施形態に係る合成画像出力装置としての端末装置１０の電子回路の構成を示すブロック図である。
【００２６】
本実施形態における端末装置１０は、例えばデジタルカメラ付き携帯電話、デジタルカメラ付き携帯機器（ＰＤＡ）、デジタルカメラそのものなど、撮影画像を処理可能な何れの種類の端末装置１０であってもよい。
【００２７】
この端末装置１０の電子回路には、ＣＰＵ（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）１１が備えられる。
【００２８】
ＣＰＵ１１は、メモリ１２内に予め記憶された端末制御プログラム、あるいはＣＤ−ＲＯＭやＲＯＭカードなどの外部記録媒体１３から記録媒体読取部１４を介して前記メモリ１２に読み込まれた端末制御プログラム、あるいはインターネットＮ上のＷｅｂサーバ（この場合はプログラムサーバ）から電送制御部１５を介して前記メモリ１２に読み込まれた端末制御プログラムに応じて、回路各部の動作を制御するもので、前記メモリ１２に記憶された端末制御プログラムは、キーやタッチパネルからなる入力部１６からのユーザ操作に応じた入力信号、あるいは画像入力部１７ａを介してデジタルカメラ（部）２１から入力される画像信号、あるいは電送制御部１５を介して接続されるインターネットＮ上の各Ｗｅｂサーバ３０との通信信号、あるいは近距離通信部（クレードルを含む）１８を介して接続されるユーザ端末（ＰＣ）４０との通信信号、あるいはＧＰＳ（ｇｌｏｂａｌ ｐｏｓｉｔｉｏｎｉｎｇ ｓｙｓｔｅｍ）１９からの本端末装置１０の移動に応じた現在位置検出信号に応じて起動される。
【００２９】
前記ＣＰＵ１１には、前記メモリ１２、記録媒体読取部１４、電送制御部１５、入力部１６、画像入力部１７ａ、近距離通信部１８、ＧＰＳ１９が接続される他に、ＬＣＤからなる表示部２０、画像出力部１７ｂを介した画像印刷機２２などが接続される。
【００３０】
画像入力部１７ａは、外部接続されたデジタルカメラ２１あるいは内蔵されたデジタルカメラ（部）２１からの撮影画像データを入力するもので、例えば本端末装置１０がケータイ電話や携帯端末装置（ＰＤＡ），デジタルカメラである場合には内蔵されたデジタルカメラ部２１からの撮影画像データが入力される。
【００３１】
画像出力部１７ｂは、前記画像入力部１７ａから入力された撮影画像データや当該撮影画像に基づいて合成処理された画像データを出力するもので、この出力画像データは画像印刷機２２に出力されて印刷が行われる。
【００３２】
メモリ１２には、当該端末装置１０の全体の動作を司るシステムプログラムや電送制御部１５を介してインターネットＮ上にある各Ｗｅｂサーバ３０とデータ通信するための通信プログラム、近距離通信部（クレードルを含む）１８を介してユーザ端末（ＰＣ）４０とデータ通信するための近距離通信プログラムが記憶される他に、画像の撮影処理や静止画像から動画像を作成するための移動画像作成処理、さらには画像入力部１７ａから入力された撮影画像に基づいたユーザ端末（ＰＣ）４０への前記移動画像作成処理の依頼処理や撮影・作成された画像データの表示や画像出力部１７ｂを介した印刷処理などを行うための通信・画像処理プログラム１２ａなどが記憶される。
【００３３】
前記メモリ１２のワークエリアには、前記通信・画像処理プログラム１２ａに従い処理される種々の画像データがその画像処理に応じて一時記憶される画像処理ワークエリア１２ｂが用意され、前記移動画像作成処理用のワークエリアとしては、撮影画像メモリ１２ｂ１、背景画像メモリ１２ｂ２、移動画像抽出メモリ１２ｂ３、移動画像位置／方向テーブル１２ｂ４、設定移動方向メモリ１２ｂ５、中間画像メモリ１２ｂ６が備えられる。
【００３４】
撮影画像メモリ１２ｂ１には、デジタルカメラ（部）２１により撮影され画像入力部１７ａを介して入力された個々の静止画像データが記憶（記録）される。
【００３５】
背景画像メモリ１２ｂ２には、前記撮影画像メモリ１２ｂ１に記憶された複数の静止画像データに基づき、当該各静止画像データ内でその位置が変化する移動画像部分が省略されてなる背景のみの静止画像データが生成されて記憶される。
【００３６】
移動画像抽出メモリ１２ｂ３には、前記撮影画像メモリ１２ｂ１に記憶された複数の静止画像データに基づき、当該各静止画像データ内でその位置が変化する移動画像部分が各静止画像毎に抽出されて記憶される。
【００３７】
移動画像位置／方向テーブル１２ｂ４には、前記移動画像抽出メモリ１２ｂ３に記憶された各静止画像データ毎の抽出移動画像について、その静止画像上での位置及び移動方向が対応付けられて記憶される。
【００３８】
設定移動方向メモリ１２ｂ５には、前記移動画像位置／方向テーブル１２ｂ４に記憶された各静止画像データ毎の抽出移動画像の移動方向に応じて設定された移動画像の連続的な移動方向か、またはユーザ任意の静止画像データについてその抽出移動画像に適宜設定した移動方向が、当該移動画像についての動画像データを生成する場合の移動方向として記憶される。
【００３９】
中間画像メモリ１２ｂ６には、前記背景画像メモリ１２ｂ２に記憶された静止画像の背景画像データと、前記移動画像抽出メモリ１２ｂ３に記憶された各静止画像毎の移動画像データと、前記移動画像位置／方向テーブル１２ｂ４に記憶された各静止画像データ上での移動画像に対応した移動位置及びその方向と、前記設定移動方向メモリ１２ｂ５に記憶された前記移動画像の設定された移動方向に基づき、前記移動画像作成処理によって作成された、前記移動画像が前記背景画像上を前記設定移動方向に移動するようにした動画像出力用の各中間画像データが記憶される。
【００４０】
ここで、前記合成画像出力装置による移動画像作成処理の動作概要について説明する。
【００４１】
図２は前記合成画像出力装置の移動画像作成処理に伴う元の撮影静止画像Ａ，Ｂ，Ｃからの背景画像生成状態および移動画像抽出状態を示す図である。
【００４２】
例えば図２（Ａ）〜（Ｃ）に示すように、魚が回遊している水槽の画像を３枚撮影した場合に、撮影画像メモリ１２ｂ１に記憶された元の静止画像（Ａ）１２ｂ１ａ〜（Ｃ）１２ｂ１ｃに基づき、図２（Ｅ）に示すように、各元画像（Ａ）１２ｂ１ａ〜（Ｃ）１２ｂ１ｃ上での画像の変化部分（この場合「魚の画像」）が移動画像Ｍａ（１２ｂ３ａ），Ｍｂ（１２ｂ３ｂ），Ｍｃ（１２ｂ３ｃ）として抽出され移動画像抽出メモリ１２ｂ３に記憶されると共に、最初に撮影した元画像（Ａ）１２ｂ１ａにおいて移動画像Ｍａ（１２ｂ３ａ）の存在しない左半分の背景画像領域と元画像（Ｃ）１２ｂ１ｃにおいて移動画像Ｍｃ（１２ｂ３ｃ）が存在しない右半分の背景画像領域Ｇとが、図２（Ｄ）に示すように合成され、背景画像データとして背景画像メモリ１２ｂに記憶される。
【００４３】
図３は前記合成画像出力装置の移動画像作成処理に伴い作成された中間画像（途中画像）を含めた動画像表示状態を示す図である。
【００４４】
すなわち、移動画像位置／方向テーブル１２ｂ４にて記憶管理される前記元画像（Ａ）１２ｂ１ａ〜（Ｃ）１２ｂ１ｃにおける移動画像Ｍａ（１２ｂ３ａ）〜Ｍｃ（１２ｂ３ｃ）の一連の移動方向（左方向）と、第１元画像（Ａ）１２ｂ１ａにおける移動画像Ｍａ（１２ｂ３ａ）の位置および第２元画像（Ｂ）１２ｂ１ｂにおける移動画像Ｍｂ（１２ｂ３ｂ）の位置に基づき、図３（Ｂ）で示すように、背景画像１２ｂ２（図２（Ｄ）参照）に対して両者の移動画像Ｍａ（１２ｂ３ａ）とＭｂ（１２ｂ３ｂ）の中間位置に抽出移動画像Ｍｍ（図２（Ｅ）参照）を合成した中間（途中）画像１２ｂ６が作成される。
【００４５】
そして、前記元画像（Ａ）１２ｂ１ａ〜（Ｃ）１２ｂ１ｃと前記作成された中間（途中）画像１２ｂ６とが組み合わされて順次出力されることで、数少ない静止画像に基づき背景画像１２ｂ２を明瞭にした動画像表示を行うことができる。
【００４６】
図４は前記合成画像出力装置の移動画像作成処理に伴いその移動方向を指定して作成された中間画像（途中画像）を含めた動画像表示状態を示す図である。
【００４７】
すなわち、図４（Ａ）に示すように、第１元画像（Ａ）１２ｂ１ａに対して、その移動画像Ｍａ（１２ｂ３ａ）についての移動方向Ｐを指定すると、この指定の移動方向Ｐに対応して、図４（Ｂ），図４（Ｃ）に示すように、前記背景画像１２ｂ２（図２（Ｄ）参照）上で前記抽出移動画像Ｍｍ（図２（Ｅ）参照）を順次合成した中間（途中）画像▲１▼▲２▼１２ｂ６が作成される。
【００４８】
そして、前記第１元画像（Ａ）１２ｂ１ａと前記作成された中間（途中）画像▲１▼▲２▼１２ｂ６とが組み合わされて順次出力されることで、数少ない静止画像に基づき、その移動画像Ｍｍの方向を指定して、背景画像１２ｂ２を明瞭にした動画像表示を行うことができる。
【００４９】
次に、前記合成画像出力装置による移動画像作成処理の詳細な動作について説明する。
【００５０】
前記図２〜図４を参照して説明した動作概要では、移動画像Ｍｍの奥行き（遠近）方向の移動に伴う当該移動画像Ｍｍのサイズ補正や移動方向Ｐに方向転換が無い場合の移動画像作成処理について説明したが、ここでは、移動画像Ｍｍのサイズ補正や方向転換が有る場合でも対応可能な移動画像作成処理について説明する。
【００５１】
図５は前記合成画像出力装置の画像撮影処理を示すフローチャートである。
【００５２】
図６は前記合成画像出力装置の移動画像作成表示処理を示すフローチャートである。
【００５３】
図７は前記合成画像出力装置の移動画像作成表示処理に伴う指定方向画像作成処理を示すフローチャートである。
【００５４】
図８は前記合成画像出力装置の画像撮影処理に伴い３枚の車の走行画像を撮影し移動画像作成表示処理に伴い各中間（途中）画像を作成した場合の動画表示状態を示す図である。
【００５５】
まず、入力部１６の操作に伴い移動画像作成モードが設定されている状態で（ステップＳ１）、例えば図８に示すようにサーキットにおいて走行する車をデジタルカメラ（部）２１を通して撮影すると、画像入力部１７ａを介して入力される撮影画像がリアルタイムに表示部２０に表示される（ステップＳ２）。
【００５６】
そして、所望のタイミングでシャッタ操作すると（ステップＳ３）、これに応答して例えば図８（Ａ）に示すような、第１元画像１２ｂ１ａが取り込まれ撮影画像メモリ１２ｂ１に記憶保存される（ステップＳ４）。
【００５７】
続いて、前記サーキット走行を撮影して表示部２０にリアルタイムに表示させている状態で（ステップＳ５）、当該撮影画像上で時間に伴い変化する部分の画像（移動画像Ｍａ）が抽出され（ステップＳ６）、前記取り込み済みの第１元画像１２ｂ１ａ上では当該変化部分画像（移動画像Ｍａ）によって隠されていた背景部分画像が隠れていない（見えるようになった）ことが、当該変化部分画像（移動画像Ｍａ）の新たな領域への移動に従い判定される（ステップＳ７）。
【００５８】
また、前記第１元画像１２ｂ１ａ上での変化部分画像（移動画像Ｍａ）が新たな領域へ移動せずその最初の背景部分画像が未だ隠れている状態では、当該変化部分画像（移動画像Ｍａ）の撮影形状が例えばその方向転換などによって大きく変化したか判定される（ステップＳ８）。
【００５９】
そして、前記ステップＳ７において、取り込み済みの第１元画像１２ｂ１ａ上でその変化部分画像（移動画像Ｍａ）によって隠されていた背景部分画像が隠れていない（見えるようになった）こと、つまり当該変化部分画像（移動画像Ｍａ）が新たな領域へ移動したと判定された場合、または前記ステップＳ８において、当該変化部分画像（移動画像Ｍａ）の撮影形状が大きく変化したと判定された場合には、例えば図８（Ｂ）に示すように、その変化部分画像（移動画像Ｍｂ）が新たな領域に移動あるいは形状変化した第２元画像１２ｂ１ｂが自動シャッタにより取り込まれ（ステップＳ１０）、撮影画像メモリ１２ｂ１に記憶保存される（ステップＳ１２）。
【００６０】
なお、前記ステップＳ１０では、当該自動シャッタのタイミングを点灯表示などによりユーザに報知することで、ユーザ自身にマニュアルでシャッタ操作させて次の元画像を取り込み保存する（ステップＳ１２）ようにしてもよい。
【００６１】
一方、ステップＳ７あるいはＳ８において、前記変化部分画像（移動画像Ｍａ）の新たな領域への移動判定や形状変化判定がない場合でも、ユーザによるシャッタ操作が検出判定された場合には（ステップＳ９）、そのタイミングで撮影画像が次の元画像として取り込まれ（ステップＳ１１）、撮影画像メモリ１２ｂ１に記憶保存される（ステップＳ１２）。
【００６２】
こうした前記ステップＳ５〜Ｓ１２の処理を経て、例えば図８（Ｂ）で示したように、撮影画像における変化部分画像（移動画像Ｍｂ）が新たな領域に移動あるいは形状変化した第２元画像１２ｂ１ｂが取り込まれて保存されると、ステップＳ１３においてユーザによる撮影終了の操作が検出判定されない限り、当該ステップＳ５〜Ｓ１２の処理に伴う次の元画像の撮影・表示・取り込み・保存処理が繰り返され、例えば図８（Ｃ）で示すような、撮影画像における変化部分画像（移動画像Ｍｃ）が新たな領域に移動あるいは形状変化した第３元画像１２ｂ１ｃが取り込まれて保存される。
【００６３】
このように、移動画像作成モードでの画像撮影処理によって、例えば前記図８（Ａ）〜（Ｃ）で示したように、サーキットにおいて走行する車を撮影した３枚の静止画像である第１〜第３元画像１２ｂ１ａ〜１２ｂ１ｃが撮影画像メモリ１２ｂ１に記憶保存されると、これを合成動画像にして出力するための移動画像作成表示処理（図６参照）が起動される。
【００６４】
この移動画像作成表示処理では、まず撮影画像メモリ１２ｂ１に保存された第１〜第３元画像１２ｂ１ａ〜１２ｂ１ｃ（図８（Ａ）〜（Ｃ）参照）が、それぞれその画像上の予め設定された各位置の部分画像について各元画像１２ｂ１ａ，１２ｂ１ｂ，１２ｂ１ｃ同士で当該部分画像の一致／不一致が比較される（ステップＡ１）。そして、各２枚の元画像間で一致判定された部分画像が合成され、変化部分画像（移動画像Ｍａ，Ｍｂ，Ｍｃ）が除かれて合成された１枚の背景画像として背景画像メモリ１２ｂ２に記憶保存される（ステップＡ２）。
【００６５】
すると、前記各元画像１２ｂ１ａ，１２ｂ１ｂ，１２ｂ１ｃにおける変化部分画像（移動画像Ｍａ，Ｍｂ，Ｍｃ）が抽出されて移動画像抽出メモリ１２ｂ３に記憶される（ステップＡ３）。
【００６６】
ここで、例えば前記第１元画像１２ｂ１ａ上の変化部分画像（移動画像Ｍａ）を対象に、合成動画像作成ためのユーザ任意の移動方向が入力指定されたか否か判断され（ステップＡ４）、当該移動方向の任意指定がない場合には、前記各元画像１２ｂ１ａ，１２ｂ１ｂ，１２ｂ１ｃにおいて抽出した各変化部分画像（移動画像Ｍａ，Ｍｂ，Ｍｃ）それぞれの画像上の位置が特定されると共に、この特定された各変化部分画像（移動画像Ｍａ，Ｍｂ，Ｍｃ）それぞれの画像上の位置を繋いだ軌跡が移動方向Ｑ（図８（Ａ）参照）として設定され、設定移動方向メモリ１２ｂ５に記憶される（ステップＡ４→Ａ５，Ａ６）。
【００６７】
なお、前記ステップＡ４において、合成動画像作成ためのユーザ任意の移動方向Ｐ（図１０（Ａ）参照）が例えばペン入力により指定されたと判断された場合には、当該ペン入力の軌跡が指定の移動方向Ｐ（図１０（Ａ）参照）として検知され、設定移動方向メモリ１２ｂ５に記憶される（ステップＡ７）。
【００６８】
すると、図７における指定方向画像作成処理が起動される（ステップＡＢ）。
【００６９】
ここではまず、前記図８で示したように、変化部分画像（移動画像Ｍａ，Ｍｂ，Ｍｃ）それぞれの画像上の位置を繋いだ軌跡が移動方向Ｑとして自動設定された場合について説明する。
【００７０】
この指定方向画像作成処理では、まず前記各元画像１２ｂ１ａ，１２ｂ１ｂ，１２ｂ１ｃに対応する撮影時間毎の各変化部分画像（移動画像Ｍａ，Ｍｂ，Ｍｃ）の位置とその移動方向（Ｍａ（右向き），Ｍｂ（正面），Ｍｃ（左向き））が読み出され、移動画像位置／方向テーブル１２ｂ４に記憶される（ステップＢ１）。
【００７１】
すると、前記移動画像位置／方向テーブル１２ｂ４に記憶された各移動画像位置とその移動方向にある各変化部分画像（移動画像Ｍａ，Ｍｂ，Ｍｃ）が、例えば図９（Ａ）〜（Ｃ）に示すように、予め設定された一定サイズの画像として切り出され、当該各移動方向に対応付けされる（Ｍａ（右向き），Ｍｂ（正面），Ｍｃ（左向き））（ステップＢ２）。
【００７２】
図９は前記合成画像出力装置の移動画像作成表示処理に伴う指定方向画像作成処理での各変化部分画像（移動画像Ｍａ，Ｍｂ，Ｍｃ）から中間画像の生成および背景画像合成までの各画像処理状態を示す図である。
【００７３】
ここで、前記設定移動方向メモリ１２ｂ５に記憶された移動方向Ｑ（図８（Ａ）参照）に応じて、この場合には各変化部分画像（移動画像Ｍａ，Ｍｂ，Ｍｃ）の位置を含めた一定間隔のタイミングｔ１〜ｔ７が設定されると共に、当該各変化部分画像（移動画像Ｍａ，Ｍｂ，Ｍｃ）の位置でのタイミングｔ１，ｔ４，ｔ７を除いた中間のタイミングｔ２，ｔ３，ｔ５，ｔ６が中間画像を生成すべき補間位置として設定され、その最初の補間位置（ｔ２）が指定される（ステップＢ３）。
【００７４】
すると、この指定された補間位置（ｔ２）での変化部分画像（移動画像Ｍａ）の移動方向（斜め右方向）に応じて、前記ステップＢ２にて既に一定サイズで切り出された右向き対応の移動画像Ｍａ（図９（Ａ）参照）と正面対応の移動画像Ｍｂ（図９（Ｂ）参照）とから、図９（Ｄ）に示すような中間変形画像Ｍａｂ１が例えば周知のフュージョン技術によって作成される（ステップＢ４）。
【００７５】
なお、フュージョン技術とは、一連の静止画像からその間を保管した静止画像を作成する技術であり、既に実用化されている。
【００７６】
すると、前記補間位置（ｔ２）に応じて作成された斜め右方向の中間変形画像Ｍａｂ１が、前記タイミング位置ｔ１とｔ４での移動画像ＭａとＭｂとのサイズ比に基づき、図９（Ｅ）に示すように、当該補間位置（ｔ２）に応じた画像サイズに拡大または縮小補正され、図９（Ｆ）に示すように、背景画像メモリ１２ｂ２に記憶されている背景画像に対してタイミング位置（ｔ２）での移動画像Ｍｍ１として合成され、これが中間合成画像１２ｂ６ａ（図８（ＡＢ１）参照）として中間画像メモリ１２ｂ６に記憶される（ステップＢ５）。
【００７７】
ここで、次に中間合成画像を作成すべき補間位置の有無が判断され（ステップＢ６）、この場合には次の補間位置（ｔ３）が指定され（ステップＢ７）、前記ステップＢ４からの処理が繰り返される。
【００７８】
すなわち、補間位置（ｔ３）が指定されると、前記同様に、この指定された補間位置（ｔ３）での変化部分画像（移動画像Ｍａ）の移動方向（斜め右方向）に応じて、前記右向き対応の移動画像Ｍａ（図９（Ａ）参照）と正面対応の移動画像Ｍｂ（図９（Ｂ）参照）とから中間変形画像Ｍａｂ２が作成される（ステップＢ４）。
【００７９】
すると、この斜め右方向の中間変形画像Ｍａｂ２が、当該補間位置（ｔ３）に応じた画像サイズに拡大または縮小補正され、背景画像に対してタイミング位置（ｔ３）での移動画像Ｍｍ２として合成され、これが中間合成画像１２ｂ６ｂ（図８（ＡＢ２）参照）として中間画像メモリ１２ｂ６に記憶される（ステップＢ５）。
【００８０】
この後、さらに次の補間位置（ｔ５）（ｔ６）が順次指定されることで、その都度前記ステップＢ４〜Ｂ７の処理が同様に繰り返され、例えば補間位置（ｔ５）が指定された場合には、正面対応の移動画像Ｍｂ（図９（Ｂ）参照）と左向き対応の移動画像Ｍｃ（図９（Ｃ）参照）とから斜め左方向の中間変形画像Ｍｂｃ１が作成され（ステップＢ４）、背景画像に対し移動画像Ｍｍ３として合成され、中間合成画像１２ｂ６ｃ（図８（ＢＣ１）参照）として中間画像メモリ１２ｂ６に記憶される（ステップＢ５）。
【００８１】
また、補間位置（ｔ６）が指定された場合にも同様に、正面対応の移動画像Ｍｂ（図９（Ｂ）参照）と左向き対応の移動画像Ｍｃ（図９（Ｃ）参照）とから斜め左方向の中間変形画像Ｍｂｃ２が作成され（ステップＢ４）、背景画像に対し移動画像Ｍｍ４として合成され、中間合成画像１２ｂ６ｄ（図８（ＢＣ２）参照）として中間画像メモリ１２ｂ６に記憶される（ステップＢ５）。
【００８２】
こうして、前記撮影画像メモリ１２ｂ１に保存された３枚の静止画像である第１〜第３元画像１２ｂ１ａ〜１２ｂ１ｃに基づき、その各変化部分画像（移動画像Ｍａ（ｔ１），Ｍｂ（ｔ４），Ｍｃ（ｔ７））の移動方向Ｑに応じた各中間補間位置（ｔ２）（ｔ３）（ｔ５）（ｔ６）での中間合成画像１２ｂ６ａ，１２ｂ６ｂ，１２ｂ６ｃ，１２ｂ６ｄが作成される。
【００８３】
すると、前記指定方向画像作成処理（ステップＡＢ）に伴い作成記憶された各中間合成画像１２ｂ６ａ，１２ｂ６ｂ，１２ｂ６ｃ，１２ｂ６ｄが中間画像メモリ１２ｂ６から読み出されると共に、撮影画像メモリ１２ｂ１に保存されている第１〜第３元画像１２ｂ１ａ，１２ｂ１ｂ，１２ｂ１ｃが時間順に組み合わされ、例えば図８（Ａ）→（ＡＢ１）→（ＡＢ２）→（Ｂ）→（ＢＣ１）→（ＢＣ２）→（Ｃ）として示すように、表示部２０に対し順番に出力されて背景画像に欠損やぼかしなどの無い明瞭な合成動画像として表示される。
【００８４】
次に、前記移動画像作成処理（図６参照）におけるステップＡ７において、合成動画像作成ためのユーザ任意の移動方向Ｐ（図１０（Ａ）参照）が、例えばペン入力により指定され、当該ペン入力の軌跡が指定の移動方向Ｐとして検知設定された場合の指定方向画像作成処理（ステップＡＢ）（図７参照）について説明する。
【００８５】
図１０は前記合成画像出力装置の画像撮影処理に伴い撮影された３枚の車の走行画像について合成動画像作成ための任意の移動方向Ｐを設定した状態を示す図である。
【００８６】
図１１は前記合成画像出力装置の移動画像作成表示処理に伴い合成動画像作成ための任意の移動方向Ｐを設定して各中間（途中）画像を作成した場合の動画表示状態を示す図である。
【００８７】
指定方向画像作成処理において、まず図１０（Ａ）〜（Ｃ）で示した各元画像１２ｂ１ａ，１２ｂ１ｂ，１２ｂ１ｃに対応する撮影時間毎の各変化部分画像（移動画像Ｍａ，Ｍｂ，Ｍｃ）の位置とその移動方向（Ｍａ（右向き），Ｍｂ（正面），Ｍｃ（左向き））が読み出され、移動画像位置／方向テーブル１２ｂ４に記憶される（ステップＢ１）。
【００８８】
すると、前記移動画像位置／方向テーブル１２ｂ４に記憶された各移動画像位置とその移動方向にある各変化部分画像（移動画像Ｍａ，Ｍｂ，Ｍｃ）が、例えば図９（Ａ）〜（Ｃ）で示したように、予め設定された一定サイズの画像として切り出され、当該各移動方向に対応付けされる（Ｍａ（右向き），Ｍｂ（正面），Ｍｃ（左向き））（ステップＢ２）。
【００８９】
ここで、前記設定移動方向メモリ１２ｂ５に記憶された任意指定の移動方向Ｐ（図１０（Ａ）参照）に応じて、一定間隔のタイミングｔ１〜ｔ７が設定されると共に、先頭の変化部分画像（移動画像Ｍａ）の位置でのタイミングｔ１を除いた中間のタイミングｔ２，…，ｔ７が中間画像を生成すべき補間位置として設定され、その最初の補間位置（ｔ２）が指定される（ステップＢ３）。
【００９０】
すると、この指定された補間位置（ｔ２）での変化部分画像（移動画像Ｍａ）の移動方向（斜め右方向）に応じて、前記ステップＢ２にて既に一定サイズで切り出された右向き対応の移動画像Ｍａ（図９（Ａ）参照）と正面対応の移動画像Ｍｂ（図９（Ｂ）参照）とから、中間変形画像Ｍａｂ（ｔ２）（図９（Ｄ）参照）が例えば周知のフュージョン技術によって作成される（ステップＢ４）。
【００９１】
すると、前記補間位置（ｔ２）に応じて作成された斜め右方向の中間変形画像Ｍａｂ（ｔ２）が、前記元画像１２ｂ１ａ，１２ｂ１ｂ，１２ｂ１ｃにおける各位置での移動画像Ｍａ，Ｍｂ，Ｍｃ間のサイズ比に基づき、図９（Ｅ）に示すように、当該補間位置（ｔ２）に応じた画像サイズに拡大または縮小補正され、図９（Ｆ）に示すように、背景画像メモリ１２ｂ２に記憶されている背景画像に対してタイミング位置（ｔ２）での移動画像Ｍｍ１として合成され、これが中間合成画像１２ｂ６ａ（図１１（ＡＢ１）参照）として中間画像メモリ１２ｂ６に記憶される（ステップＢ５）。
【００９２】
ここで、次に中間合成画像を作成すべき補間位置の有無が判断され（ステップＢ６）、この場合には次の補間位置（ｔ３）が指定され（ステップＢ７）、前記ステップＢ４からの処理が繰り返される。
【００９３】
すなわち、補間位置（ｔ３）が指定されると、前記同様に、この指定された補間位置（ｔ３）での変化部分画像（移動画像Ｍａ）の移動方向（斜め左方向）に応じて、前記正面対応の移動画像Ｍｂ（図９（Ｂ）参照）と左向き対応の移動画像Ｍｃ（図９（Ｃ）参照）とから中間変形画像Ｍｂｃ（ｔ３）が作成される（ステップＢ４）。
【００９４】
すると、この斜め左方向の中間変形画像Ｍｂｃ（ｔ３）が、当該補間位置（ｔ３）に応じた画像サイズに拡大または縮小補正され、背景画像に対してタイミング位置（ｔ３）での移動画像Ｍｍ２として合成され、これが中間合成画像１２ｂ６ｂ（図１１（ＢＣ）参照）として中間画像メモリ１２ｂ６に記憶される（ステップＢ５）。
【００９５】
この後、さらに次の補間位置（ｔ４），…，（ｔ７）が順次指定されることで、その都度前記ステップＢ４〜Ｂ７の処理が同様に繰り返され、例えば補間位置（ｔ４）が指定された場合には、正面対応の移動画像Ｍｂ（図９（Ｂ）参照）と右向き対応の移動画像Ｍａ（図９（Ａ）参照）とから斜め右方向の中間変形画像Ｍｂａ（ｔ４）が作成され（ステップＢ４）、背景画像に対し移動画像Ｍｍ３として合成され、中間合成画像１２ｂ６ｃ（図１１（Ｂ１）参照）として中間画像メモリ１２ｂ６に記憶される（ステップＢ５）。
【００９６】
また、補間位置（ｔ５）（ｔ６）が指定された場合にも同様に、何れも正面対応の移動画像Ｍｂ（図９（Ｂ）参照）と右向き対応の移動画像Ｍａ（図９（Ａ）参照）とから斜め右方向の中間変形画像Ｍｂａ（ｔ５），Ｍｂａ（ｔ６）が作成され（ステップＢ４）、背景画像に対し移動画像Ｍｍ４，Ｍｍ５として合成され、中間合成画像１２ｂ６ｄ（図１１（ＡＢ２）参照），１２ｂ６ｅ（図１１（Ｂ２）参照）として順次中間画像メモリ１２ｂ６に記憶される（ステップＢ５）。
【００９７】
さらに、補間位置（ｔ７）が指定された場合にも前記同様に、正面対応の移動画像Ｍｂ（図９（Ｂ）参照）と左右向き対応の移動画像Ｍｃ（図９（Ｃ）参照）とから斜め左方向の中間変形画像Ｍｂｃ（ｔ７）が作成され（ステップＢ４）、背景画像に対し移動画像Ｍｍ６として合成され、中間合成画像１２ｂ６ｆ（図１１（Ｃ）参照）として中間画像メモリ１２ｂ６に記憶される（ステップＢ５）。
【００９８】
こうして、前記撮影画像メモリ１２ｂ１に保存された３枚の静止画像である第１〜第３元画像１２ｂ１ａ〜１２ｂ１ｃに基づき、任意指定の移動方向Ｐに応じた各中間補間位置（ｔ２），…，（ｔ７）での中間合成画像１２ｂ６ａ，…，１２ｂ６ｆが作成される。
【００９９】
すると、前記指定方向画像作成処理（ステップＡＢ）に伴い作成記憶された各中間合成画像１２ｂ６ａ，…，１２ｂ６ｆが中間画像メモリ１２ｂ６から読み出されると共に、撮影画像メモリ１２ｂ１に保存されている先頭の第１元画像１２ｂ１ａが時間順に組み合わされ、例えば図１１（Ａ）→（ＡＢ１）→（ＢＣ）→（Ｂ１）→（ＡＢ２）→（Ｂ２）→（Ｃ）として示すように、表示部２０に対し順番に出力されて背景画像に欠損やぼかしなどの無い明瞭な合成動画像として表示される。
【０１００】
次に、このような合成画像出力装置（端末装置１０）に外部ＰＣ４０を接続し、端末装置１０から転送した撮影画像などの複数の静止画像に基づいて、外部ＰＣ４０でも同様の移動画像作成処理を実施し、大画面・高画質で合成動画像の表示を行う場合の構成について説明する。
【０１０１】
図１２は前記端末装置１０と外部ＰＣ４０とを接続して外部ＰＣ４０側でも合成動画像の作成表示を行う場合の画像処理を示すフローチャートである。
【０１０２】
図１３は前記端末装置１０と外部ＰＣ４０とを接続して外部ＰＣ４０側でも合成動画像の作成表示を行う場合の外観構成を示す図である。
【０１０３】
この場合、端末装置１０は例えばクレードルである近距離通信部１８に設置することで外部ＰＣ４０と接続しデータ通信を行う。
【０１０４】
デジタルカメラとして機能する端末装置１０において、複数の静止画像を撮影し、当該各画像データが撮影画像メモリ１２ｂ１に記憶保存されると（ステップＣ１）、この撮影画像メモリ１２ｂ１に保存された各撮影画像データは、その画像数（画素数・色数）が当該端末装置１０における表示部２０の表示解像度に合わせて減らされ変換される（ステップＣ２）。
【０１０５】
すると、この表示解像度に合わせて画像数の減らされた各撮影画像データに基づき、前記同様の移動画像作成表示処理（図６，図７参照）が実行され、前記図３や図４、あるいは図８や図１１で示したように、合成動画像が作成されて当該端末装置１０の小型表示部２０において表示される（ステップＣＡ）。
【０１０６】
ここで、外部ＰＣ４０に接続して該外部ＰＣ４０の有する大画面・高画質の大型表示部４１にて、この合成動画像の高画質表示を行いたい場合に、外部ＰＣ４０での表示が操作指示されると（ステップＣ３）、前記撮影画像メモリ１２ｂ１に撮影時画像数のまま保存されている複数の撮影画像データがクレードル（近距離通信部）１８を介して外部ＰＣ４０へ出力転送される（ステップＣ４）。
【０１０７】
外部ＰＣ４０において、前記端末装置（デジタルカメラ）１０から転送された各撮影画像データが受信されると（ステップＤ１）、当該転送された各撮影画像データは何ら画像数の間引きを受けることなくそのまま保存される（ステップＤ２）。
【０１０８】
すると、この撮影時画像数のまま保存された各撮影画像データに基づき、前記同様の移動画像作成表示処理（図６，図７参照）が実行され、前記図３や図４、あるいは図８や図１１で示したように、高画質の合成動画像が作成されて当該外部ＰＣ４０の大型表示部４１において表示される（ステップＤＡ）。
【０１０９】
これにより、端末装置１０を外部ＰＣ４０に接続することで、容易に大画面・高画質での合成動画像を作成表示させることができる。
【０１１０】
なお、デジタルカメラとして機能する端末装置１０Ａにおいて、合成動画像を作成するための画像処理プログラム１２ａを備えていない場合に、当該画像処理プログラム１２ａをインストールした外部ＰＣ４０において移動画像作成表示処理（図６，図７参照）のみ行わせ、これにより得られた合成動画像を端末装置１０Ａの側で表示させることもできる。
【０１１１】
図１４はデジタルカメラ１０Ａと合成動画像の作成機能を有する外部ＰＣ４０とを接続して外部ＰＣ４０側で合成動作画像の作成を行わせる場合の画像処理を示すフローチャートである。
【０１１２】
図１５はデジタルカメラ１０Ａと合成動画像の作成機能を有する外部ＰＣ４０とを接続して外部ＰＣ４０側で合成動作画像の作成を行わせる場合の外観構成を示す図である。
【０１１３】
デジタルカメラ１０Ａにおいて、撮影された複数の撮影画像データがその撮影画像メモリ１２ｂ１に保存された状態で（ステップＥ１）、当該デジタルカメラ１０Ａが外部ＰＣ４０に接続されたクレードル（近距離通信部）１８にセットされると（ステップＥ２）、前記撮影画像メモリ１２ｂ１に保存された各撮影画像データは、その画像数（画素数・色数）が当該デジタルカメラ１０Ａにおける表示部２０の表示解像度に合わせて減らされ変換される（ステップＥ３）。
【０１１４】
すると、この画像数変換後の各撮影画像データは、外部ＰＣ４０へ送信される（ステップＥ４）。
【０１１５】
外部ＰＣ４０において、前記デジタルカメラ１０Ａから送信された画像数減少変換後の各撮影画像データが受信されると（ステップＦ１）、当該受信された各撮影画像データは一旦保存される（ステップＦ２）。
【０１１６】
すると、この保存された画像数減少変換後の各撮影画像データに基づき、前記同様の移動画像作成表示処理（図６，図７参照）が実行され、前記図３や図４、あるいは図８や図１１で示したように、合成動画像が作成される（ステップＦＡ）。そして、前記デジタルカメラ１０Ａへ送信される（ステップＦ３）。
【０１１７】
デジタルカメラ１０Ａにおいて、前記外部ＰＣ４０にて作成送信された合成動画像が受信されると（ステップＥ５）、この受信された合成動画像はその小型表示部２０に順次表示される（ステップＥ６）。
【０１１８】
これにより、合成動画像を作成すべき複数の静止画像データをデジタルカメラ１０Ａによって撮影し、このデジタルカメラ１０Ａを外部ＰＣ４０に接続されたクレードル（１８）にセットするだけで、各撮影画像データに応じた合成動画像は外部ＰＣ４０の側で生成処理され、デジタルカメラ１０Ａの表示部２０で表示させて見ることができる。
【０１１９】
したがって、前記構成の合成画像出力装置によれば、例えば撮影によって得られた複数枚の静止元画像１２ｂ１ａ，１２ｂ１ｂ，１２ｂ１ｃに基づき、その各元画像１２ｂ１ａ，１２ｂ１ｂ，１２ｂ１ｃ内で変化する部分画像（移動画像Ｍａ，Ｍｂ，Ｍｃ）が抽出されると共に、この第１〜第３の元画像１２ｂ１ａ，１２ｂ１ｂ，１２ｂ１ｃ同士で前記変化部分画像（移動画像Ｍａ，Ｍｂ，Ｍｃ）が存在しない領域の部分背景画像が合成されて完全な背景画像１２ｂ２が作成され、この背景画像１２ｂ２に対して、前記各変化部分画像（移動画像Ｍａ，Ｍｂ，Ｍｃ）の位置およびその移動方向Ｑに応じて設定された途中（中間）の位置に、当該移動画像Ｍが合成されて途中（中間）画像１２ｂ６が作成され、第１〜第３元画像１２ｂ１ａ，１２ｂ１ｂ，１２ｂ１ｃと時間順に組み合わされて順次表示されることで、合成動画像として表示されるので、一連の移動物体が含まれる数枚の静止画像から、背景画像が完全な状態での擬似的動画像を合成して表示できるようになる。
【０１２０】
また、前記構成の合成画像出力装置によれば、第１元画像１２ｂ１ａの変化部分画像（移動画像Ｍａ）について任意の移動方向Ｐが指定された場合には、当該指定の移動方向Ｐの軌跡に沿った一定時間間隔ｔ１，ｔ２，…，ｔｎの各タイミング位置での移動方向およびサイズに応じた中間変形画像Ｍ（ｔｎ）が、第１〜第３元画像１２ｂ１ａ，１２ｂ１ｂ，１２ｂ１ｃから一定サイズで抽出された各変化部分画像（移動画像Ｍａ，Ｍｂ，Ｍｃ）に基づき作成され、それぞれ前記合成作成された背景画像に合成されると共に、時間順に組み合わされて順次表示されることで、合成動画像として表示されるので、一連の移動物体が含まれる数枚の静止画像から、該移動物体の任意の移動方向を指定した場合でも、背景画像が完全な状態での擬似的動画像を合成して表示できるようになる。
【０１２１】
また、前記構成の合成画像出力装置によれば、複数の静止画像から合成動画像を作成するための移動画像作成モードを設定して撮影を行う場合には、撮影画像から抽出される変化部分画像（移動画像Ｍ）により隠れていた背景部分が現れたタイミングで、次の撮影画像の自動取り込みが行われるか、または当該画像取り込みのタイミングがユーザに報知指示されるので、完全な背景画像を合成するために、最も効率的且つ適切なタイミングで撮影静止画像を取り込むことができる。
【０１２２】
また、前記構成の合成画像出力装置によれば、端末装置１０に外部ＰＣ４０を接続可能に構成し、端末装置１０ではその小型の表示部２０の表示解像度に合わせて画像数（画素数，色数）を減らした各撮影元画像データに基づき、移動画像作成表示処理を実施して合成動画像を作成し当該小型表示部２０に表示させる。一方で、この端末装置１０から撮影時画像数のままの各元画像データを外部ＰＣ４０へ転送し、当該外部ＰＣ４０にインストールされた合成動画像作成のための画像処理プログラムに従って、前記同様の移動画像作成表示処理を実施して合成動画像を作成し、当該外部ＰＣ４０における大型・高画質の表示部４１に表示させるので、端末装置１０では小型の表示部２０とＣＰＵ１１に合わせた低負荷の移動画像作成表示処理によって合成動画像を作成表示でき、しかも外部ＰＣ４０などに接続して高画質の合成動画像をも容易に作成表示することができる。
【０１２３】
さらに、前記構成の合成画像出力装置によれば、一連の静止画元画像１２ｂ１ａ，１２ｂ１ｂ，１２ｂ１ｃを撮影保存したデジタルカメラ１０Ａを、クレードル（近距離通信部）１８にセットして外部ＰＣ４０に接続すると、デジタルカメラ１０Ａに保存された一連の静止画元画像１２ｂ１ａ，１２ｂ１ｂ，１２ｂ１ｃは外部ＰＣ４０に転送される。そして、この外部ＰＣ４０での移動画像作成処理によって合成動画像が作成され、前記デジタルカメラ１０Ａに転送されて表示部２０に表示されるので、デジタルカメラ１０Ａ自身にて合成動画像を作成するための画像処理プログラムが備わっていなくても、クレードル（１８）にセットして外部ＰＣ４０に接続するだけで、容易に複数枚の撮影静止画像から合成動画像を取得して表示させることができる。
【０１２４】
なお、前記実施形態において記載した端末装置１０や外部ＰＣ４０による各処理の手法、すなわち、図５のフローチャートに示す画像撮影処理、図６のフローチャートに示す移動画像作成表示処理、図７のフローチャートに示す当該移動画像作成表示処理に伴う指定方向画像作成処理、図１２のフローチャートに示す端末装置１０と外部ＰＣ４０とを接続して外部ＰＣ４０側でも合成動画像の作成表示を行う場合の各画像処理、図１４のフローチャートに示すデジタルカメラ１０Ａと合成動画像の作成機能を有する外部ＰＣ４０とを接続して外部ＰＣ４０側で合成動作画像の作成を行わせる場合の各画像処理等の各手法は、何れもコンピュータに実行させることができるプログラムとして、メモリカード（ＲＯＭカード、ＲＡＭカード等）、磁気ディスク（フロッピディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の外部記録媒体１３に格納して配布することができる。そして、通信ネットワーク（インターネット）Ｎとの通信機能を備えた種々のコンピュータ端末は、この外部記録媒体１３に記憶されたプログラムを記録媒体読取部１４によってメモリ１２に読み込み、この読み込んだプログラムによって動作が制御されることにより、前記実施形態において説明した複数静止画像からの合成動画像の作成表示機能を実現し、前述した各手法による同様の処理を実行することができる。
【０１２５】
また、前記各手法を実現するためのプログラムのデータは、プログラムコードの形態として通信ネットワーク（インターネット）Ｎ上を伝送させることができ、この通信ネットワーク（インターネット）Ｎに接続されたコンピュータ端末から前記のプログラムデータを取り込み、前述した複数静止画像からの合成動画像の作成表示機能を実現することもできる。
【０１２６】
なお、本願発明は、前記各実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。さらに、前記各実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせにより種々の発明が抽出され得る。例えば、各実施形態に示される全構成要件から幾つかの構成要件が削除されたり、幾つかの構成要件が組み合わされても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除されたり組み合わされた構成が発明として抽出され得るものである。
【０１２７】
【発明の効果】
以上のように、本発明の請求項１（請求項９）に係る合成画像出力装置（合成画像出力処理プログラム）によれば、画像取得手段によって複数の画像が取得されると、この取得された複数の画像の中から移動している物体の画像が移動画像抽出手段によって抽出され、この抽出された移動物体の画像について、移動方向設定手段によって前記画像取得手段により取得された背景画像上での移動方向が設定される。そして、背景画像作成手段によって前記画像取得手段により取得された複数の画像に基づき当該画像の背景画像が合成されて作成され、この背景画像に対して、前記移動画像抽出手段により抽出された移動物体の画像が、前記移動方向設定手段により設定された移動方向に応じて移動画像合成手段によって合成される。そして、この移動画像合成手段により背景画像に移動画像の合成された合成画像が画像出力手段によって出力されるので、複数の静止画像に基づき完全な背景画像を合成して作成し、これに設定された移動方向に応じて移動物体の画像を合成して、擬似的な合成動画像を作成表示できるようになる。
【０１２８】
また、本発明の請求項２（請求項１０）に係る合成画像出力装置（合成画像出力処理プログラム）によれば、前記請求項１に係る合成画像出力装置にあって、前記移動画像合成手段では、補間位置指定手段によって前記移動方向設定手段により設定された移動方向に沿った補間位置が指定され、前記背景画像作成手段により作成された背景画像上の前記補間位置指定手段により指定された補間位置に対して、前記移動画像抽出手段により抽出された移動物体の画像が合成される。これにより、設定された移動方向に沿った背景画像上の補間位置に対して移動物体の画像を合成し、擬似的な合成動画像として作成表示できるようになる。
【０１２９】
また、本発明の請求項３（請求項１１）に係る合成画像出力装置（合成画像出力処理プログラム）によれば、前記請求項１に係る合成画像出力装置にあって、前記移動画像合成手段では、補間位置指定手段によって前記移動方向設定手段により設定された移動方向に沿った複数の補間位置が順次指定され、この補間位置指定手段により前記移動方向に沿った複数の補間位置が順次指定される毎に、当該補間位置およびその位置での移動方向に応じた前記移動物体の中間変形画像が、中間画像作成手段によって前記移動画像抽出手段により前記複数の画像の中からそれぞれ抽出された移動物体の各画像に基づき作成される。そして、この中間画像作成手段により作成された前記移動物体の中間変形画像は、前記背景画像作成手段により作成された背景画像上の前記補間位置指定手段により指定された補間位置に対して合成されるので、設定された移動方向に沿った背景画像上の複数の補間位置に対して、順次当該補間位置およびその位置での移動方向に応じた移動物体の中間変形画像を作成して合成し、よりリアルに移動物体が移動する擬似的な合成動画像として作成表示できるようになる。
【０１３０】
また、本発明の請求項４に係る合成動画像出力装置によれば、前記請求項１乃至請求項３の何れか１項に係る合成画像出力装置にあって、さらに、画像を撮影する画像撮影手段が備えられ、前記画像取得手段では、前記画像撮影手段により撮影される画像に基づいて複数の画像が取得されるので。複数の撮影静止画像に基づいて完全な背景画像を合成して作成し、これに設定された移動方向に応じて移動物体の画像を合成して、擬似的な合成動画像を作成表示できるようになる。
【０１３１】
また、本発明の請求項５に係る合成画像出力装置によれば、前記請求項４に係るの合成画像出力装置であって、前記画像取得手段では、前記画像撮影手段により撮影されている画像が任意のタイミングで取得されると共に、この任意画像取得の後、前記画像撮影手段により撮影されている画像上の変化部分が抽出され、当該変化部分により隠れていた撮影画像の背景部分が現れたタイミングで次画像取得手段によってその撮影画像が次画像として取得されるので、合成動画像作成のために必要な完全な背景画像を合成作成するための複数の撮影画像を最適なタイミングで取得できるようになる。
【０１３２】
また、本発明の請求項６に係る合成画像出力装置によれば、前記請求項４に係る合成画像出力装置にあって、前記画像取得手段では、前記画像撮影手段により撮影されている画像が取得されると共に、この画像取得の後、前記画像撮影手段により撮影されている画像上の変化部分が抽出され、当該変化部分により隠れていた撮影画像の背景部分が現れたタイミングで次画像取得指示手段によってその撮影画像の次取得が指示されるので、合成動画像作成のために必要な完全な背景画像を合成作成するための複数の撮影画像を、最適なタイミングで取得するための操作指示が得られるようになる。
【０１３３】
また、本発明の請求項７に係る合成画像出力装置によれば、前記請求項１乃至請求項６の何れか１項に係る合成画像出力装置であって、画像出力手段で合成画像を表示する表示部の解像度に応じて、画像取得手段により取得された複数の画像それぞれの少なくとも画素数が画像変換手段によって減少変換され、前記移動画像抽出手段は、前記画像変換手段により画素数の変換された複数の画像の中から移動している物体の画像を抽出し、前記背景画像作成手段は、前記画像変換手段により画素数の変換された複数の画像に基づき当該画像の背景画像を合成して作成する。そして、外部表示装置と、この外部表示装置に前記画像取得手段により取得された複数の画像を送信する画像送信手段とが備えられ、この外部表示装置では、前記画像送信手段により送信された複数の画像を受信する画像受信手段と、この画像受信手段により受信された複数の画像の中から移動している物体の画像を抽出する外部の移動画像抽出手段と、この移動画像抽出手段により抽出された移動物体の画像について、前記画像受信手段により受信された背景画像上での移動方向を設定する外部の移動方向設定手段と、前記画像受信手段により受信された複数の画像に基づき当該画像の背景画像を合成して作成する外部の背景画像作成手段と、この背景画像作成手段により作成された背景画像に対して、前記外部の移動画像抽出手段により抽出された移動物体の画像を、前記外部の移動方向設定手段により設定された移動方向に応じて合成する外部の移動画像合成手段と、この移動画像合成手段により背景画像に移動画像の合成された合成画像を前記画像表示手段の表示部より解像度の高い表示部に表示する外部の画像表示手段とが備えられるので、装置本体側ではその表示部の解像度に応じて画素数を減少変換した複数の画像に基づいて負担の軽い処理で擬似的動画像を作成表示でき、しかも、外部表示装置には画像取得時のままの画素数の画像を送って擬似的動画像を高画質に作成表示できるようになる。
【０１３４】
また、本発明の請求項８に係る合成画像出力装置によれば、画像を撮影する撮影装置と、この撮影装置とは別体の画像処理装置と、前記撮影装置と画像処理装置とを接続する接続装置とからなる合成画像出力装置であって、前記撮影装置は、画像を撮影する画像撮影手段と、この画像撮影手段により撮影される画像に基づき複数の画像を取得する画像取得手段と、この画像取得手段により取得された複数の画像を前記画像処理装置へ送信する画像送信手段と、前記画像処理装置から送信された合成画像を前記接続装置を介して受信する合成画像受信手段と、この合成画像受信手段により受信された合成画像を表示する表示手段とを備え、前記画像処理装置は、前記撮影装置から送信された複数の画像を前記接続装置を介して受信する画像受信手段と、この画像受信手段により受信された複数の画像の中から移動している物体の画像を抽出する移動画像抽出手段と、この移動画像抽出手段により抽出された移動物体の画像について、前記画像受信手段により受信された背景画像上での移動方向を設定する移動方向設定手段と、前記画像受信手段により受信された複数の画像に基づき当該画像の背景画像を合成して作成する背景画像作成手段と、この背景画像作成手段により作成された背景画像に対して、前記移動画像抽出手段により抽出された移動物体の画像を、前記移動方向設定手段により設定された移動方向に応じて合成する移動画像合成手段と、この移動画像合成手段により背景画像に移動画像の合成された合成画像を前記撮影装置に送信する合成画像送信手段とを備えてなる。これにより、撮影装置で複数の静止画像を撮影し、接続装置を介して別体の画像処理装置に接続するだけで、当該画像処理装置の側で複数の撮影静止画像に基づいた完全な背景画像をベースとする擬似的動画像が作成されると共に、これを撮影装置の側で表示して見ることができる。
【０１３５】
よって、本発明によれば、静止画上の任意の物体を切り出して移動合成し動画表示する場合に、背景画像についても明確に再現した合成画像を作成することが可能になる合成画像出力装置および合成画像出力処理プログラムを提供できる。
【図面の簡単な説明】
【図１】本発明の実施形態に係る合成画像出力装置としての端末装置１０の電子回路の構成を示すブロック図。
【図２】前記合成画像出力装置の移動画像作成処理に伴う元の撮影静止画像Ａ，Ｂ，Ｃからの背景画像生成状態および移動画像抽出状態を示す図。
【図３】前記合成画像出力装置の移動画像作成処理に伴い作成された中間画像（途中画像）を含めた動画像表示状態を示す図。
【図４】前記合成画像出力装置の移動画像作成処理に伴いその移動方向を指定して作成された中間画像（途中画像）を含めた動画像表示状態を示す図。
【図５】前記合成画像出力装置の画像撮影処理を示すフローチャート。
【図６】前記合成画像出力装置の移動画像作成表示処理を示すフローチャート。
【図７】前記合成画像出力装置の移動画像作成表示処理に伴う指定方向画像作成処理を示すフローチャート。
【図８】前記合成画像出力装置の画像撮影処理に伴い３枚の車の走行画像を撮影し移動画像作成表示処理に伴い各中間（途中）画像を作成した場合の動画表示状態を示す図。
【図９】前記合成画像出力装置の移動画像作成表示処理に伴う指定方向画像作成処理での各変化部分画像（移動画像Ｍａ，Ｍｂ，Ｍｃ）から中間画像の生成および背景画像合成までの各画像処理状態を示す図。
【図１０】前記合成画像出力装置の画像撮影処理に伴い撮影された３枚の車の走行画像について合成動画像作成ための任意の移動方向Ｐを設定した状態を示す図。
【図１１】前記合成画像出力装置の移動画像作成表示処理に伴い合成動画像作成ための任意の移動方向Ｐを設定して各中間（途中）画像を作成した場合の動画表示状態を示す図。
【図１２】前記端末装置１０と外部ＰＣ４０とを接続して外部ＰＣ４０側でも合成動画像の作成表示を行う場合の画像処理を示すフローチャート。
【図１３】前記端末装置１０と外部ＰＣ４０とを接続して外部ＰＣ４０側でも合成動画像の作成表示を行う場合の外観構成を示す図。
【図１４】デジタルカメラ１０Ａと合成動画像の作成機能を有する外部ＰＣ４０とを接続して外部ＰＣ４０側で合成動作画像の作成を行わせる場合の画像処理を示すフローチャート。
【図１５】デジタルカメラ１０Ａと合成動画像の作成機能を有する外部ＰＣ４０とを接続して外部ＰＣ４０側で合成動作画像の作成を行わせる場合の外観構成を示す図。
【符号の説明】
１０ …端末装置（携帯電話，ＰＤＡ，デジタルカメラ）
１０Ａ…デジタルカメラ
１１ …ＣＰＵ
１２ …メモリ
１２ａ…通信・画像配信処理プログラム
１２ｂ…画像処理ワークエリア
１２ｂ１…撮影画像メモリ
１２ｂ２…背景画像メモリ
１２ｂ３…移動画像抽出メモリ
１２ｂ４…移動画像位置／方向テーブル
１２ｂ５…設定移動方向メモリ
１２ｂ６…中間画像メモリ
１３ …外部記録媒体
１４ …記録媒体読取部
１５ …電送制御部
１６ …入力部
１７ａ…画像入力部
１７ｂ…画像出力部
１８ …近距離通信部
１９ …ＧＰＳ
２０ …表示部
２１ …デジタルカメラ（部）
２２ …画像印刷機
３０ …Ｗｅｂサーバ
４０ …外部ＰＣ（ユーザ端末）
Ｎ …通信ネットワーク（インターネット）
Ｍ …変化部分画像（移動画像）[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a composite image output device and a composite image output processing program for generating and outputting a composite image based on a still image obtained by photographing or the like.
[0002]
[Prior art]
Conventionally, in order to display still images taken by a camera or the like as moving images, frame-by-frame moving images are displayed by continuously playing and displaying a plurality of still images taken at regular intervals. . When displaying such still images continuously and displaying them as moving images, if you want to display them as images with smooth movements, you need to shoot many still images at short time intervals and play them back continuously. There is.
[0003]
Therefore, in this case, it is necessary to store and hold a large number of still images, which occupies a large area of the image memory.
[0004]
On the other hand, for an arbitrary still image, a partial image such as an object included in the still image is cut out, and the movement path, size, rotation angle, etc. of the object on the still image are specified by the user or automatically. A movie that reproduces and displays a pseudo movie without having to store and hold a large number of still images by calculating and continuously synthesizing and outputting the cut out partial images to the still images. A creation device has been considered (see, for example, Patent Document 1).
[0005]
[Patent Document 1]
JP-A-11-185051
[0006]
[Problems to be solved by the invention]
However, in such a conventional moving image creating apparatus, a simple moving image can be created and displayed by combining and outputting an arbitrary object cut out from a still image while moving on the still image. A composite image that clearly reproduces the background image corresponding to the image area cannot be created.
[0007]
The present invention has been made in view of the above-described problems, and creates a composite image that clearly reproduces a background image when an arbitrary object on a still image is cut out, moved, synthesized, and displayed as a moving image. It is an object of the present invention to provide a composite image output apparatus and a composite image output processing program that can perform the above.
[0008]
[Means for Solving the Problems]
In the composite image output device according to claim 1 of the present invention, when a plurality of images are acquired by the image acquisition unit, an image of an object moving from the plurality of acquired images is acquired by the moving image extraction unit. For the extracted moving object image, the moving direction on the background image acquired by the image acquiring unit is set by the moving direction setting unit. Then, a background image of the image is synthesized and created based on the plurality of images acquired by the image acquisition unit by the background image generation unit, and the moving object extracted by the moving image extraction unit is extracted from the background image. These images are synthesized by the moving image synthesizing unit in accordance with the moving direction set by the moving direction setting unit. Then, a synthesized image obtained by synthesizing the moving image with the background image by the moving image synthesizing unit is output by the image output unit.
[0009]
According to this, a complete background image is synthesized based on a plurality of still images, and a moving object image is synthesized according to the set moving direction to create and display a pseudo synthesized moving image. It will be possible.
[0010]
A composite image output apparatus according to a second aspect of the present invention is the composite image output apparatus according to the first aspect, wherein in the moving image combining means, the movement set by the moving direction setting means by the interpolation position specifying means. The interpolation position along the direction is designated, and the moving object extracted by the moving image extraction means is compared with the interpolation position designated by the interpolation position designation means on the background image created by the background image creation means. Images are synthesized.
[0011]
According to this, the moving object image can be synthesized with the interpolation position on the background image along the set moving direction, and can be created and displayed as a pseudo synthesized moving image.
[0012]
The composite image output apparatus according to claim 3 of the present invention is the composite image output apparatus according to claim 1, wherein the moving image composition means is set by the movement direction setting means by the interpolation position designation means. Each time a plurality of interpolation positions along the movement direction are sequentially designated, and each time a plurality of interpolation positions along the movement direction are sequentially designated by the interpolation position designation means, the interpolation position and the movement direction at that position are indicated. A corresponding intermediate deformation image of the moving object is created based on each image of the moving object extracted from the plurality of images by the moving image extracting means by the intermediate image creating means. Then, the intermediate deformed image of the moving object created by the intermediate image creating unit is synthesized with the interpolation position designated by the interpolation position designating unit on the background image created by the background image creating unit. .
[0013]
According to this, for a plurality of interpolation positions on the background image along the set movement direction, intermediate deformation images of the moving object corresponding to the interpolation position and the movement direction at that position are sequentially created and combined. Thus, it can be created and displayed as a pseudo synthesized moving image in which the moving object moves more realistically.
[0014]
According to a fourth aspect of the present invention, there is provided a composite moving image output apparatus according to any one of the first to third aspects, further comprising image photographing means for photographing an image. The image acquisition unit acquires a plurality of images based on the images captured by the image capturing unit.
[0015]
According to this, a perfect background image is synthesized based on a plurality of photographed still images, and a moving object image is synthesized according to the moving direction set thereto, and a pseudo synthesized moving image is obtained. It can be created and displayed.
[0016]
A composite image output apparatus according to a fifth aspect of the present invention is the composite image output apparatus according to the fourth aspect, wherein in the image acquisition unit, an image captured by the image capturing unit is at an arbitrary timing. After the acquisition of the arbitrary image, a changed portion on the image captured by the image capturing unit is extracted, and the next image is acquired at the timing when the background portion of the captured image hidden by the changed portion appears. The photographed image is acquired as the next image by the means.
[0017]
According to this, it is possible to acquire a plurality of captured images for synthesizing and creating a complete background image necessary for creating a synthesized moving image at an optimal timing.
[0018]
A composite image output apparatus according to a sixth aspect of the present invention is the composite image output apparatus according to the fourth aspect, wherein the image acquisition means acquires an image photographed by the image photographing means, After this image acquisition, the changed part on the image captured by the image capturing unit is extracted, and the captured image is displayed by the next image acquisition instruction unit at the timing when the background part of the captured image hidden by the changed part appears. Next acquisition is instructed.
[0019]
According to this, it is possible to obtain an operation instruction for acquiring a plurality of photographed images for synthesizing and creating a complete background image necessary for creating a synthesized moving image at an optimal timing.
[0020]
The composite image output apparatus according to claim 7 of the present invention is the composite image output apparatus according to any one of claims 1 to 6, wherein the resolution of the display unit that displays the composite image by the image output means. Accordingly, at least the number of pixels of each of the plurality of images acquired by the image acquisition unit is reduced and converted by the image conversion unit, and the moving image extraction unit converts the plurality of images having the number of pixels converted by the image conversion unit. The image of the moving object is extracted from the inside, and the background image creation means creates a background image of the image based on the plurality of images whose number of pixels has been converted by the image conversion means. An external display device and an image transmission unit that transmits a plurality of images acquired by the image acquisition unit to the external display device are provided. In the external display device, a plurality of images transmitted by the image transmission unit are provided. Image receiving means for receiving an image, external moving image extracting means for extracting an image of a moving object from a plurality of images received by the image receiving means, and extracted by the moving image extracting means An external moving direction setting unit that sets a moving direction on a background image received by the image receiving unit, and a background image of the image based on a plurality of images received by the image receiving unit. An external background image creating means for creating a composite image and a background image created by the background image creating means by the external moving image extracting means. An external moving image synthesizing unit that synthesizes the image of the moving object that is output according to the moving direction set by the external moving direction setting unit, and the moving image is synthesized with the background image by the moving image synthesizing unit. External image display means for displaying the composite image on a display section having a higher resolution than the display section of the image display means.
[0021]
According to this, on the apparatus main body side, a pseudo moving image can be created and displayed with a light processing based on a plurality of images obtained by reducing and converting the number of pixels according to the resolution of the display unit. By sending an image with the same number of pixels as when the image was acquired, a pseudo moving image can be created and displayed with high image quality.
[0022]
According to an eighth aspect of the present invention, there is provided a composite image output device comprising a photographing device for photographing an image, an image processing device separate from the photographing device, and a connecting device for connecting the photographing device and the image processing device. A composite image output device comprising:
The imaging device includes an image capturing unit that captures an image, an image acquisition unit that acquires a plurality of images based on an image captured by the image capturing unit, and a plurality of images acquired by the image acquisition unit. Image transmitting means for transmitting to the processing device, composite image receiving means for receiving the composite image transmitted from the image processing device via the connection device, and display for displaying the composite image received by the composite image receiving means Means and
The image processing device includes: an image receiving unit that receives a plurality of images transmitted from the imaging device via the connection device; and an object that is moving from the plurality of images received by the image receiving unit. A moving image extracting means for extracting an image; a moving direction setting means for setting a moving direction on a background image received by the image receiving means for the image of the moving object extracted by the moving image extracting means; A background image creating means for composing and creating a background image of the image based on a plurality of images received by the image receiving means, and the moving image extracting means for the background image created by the background image creating means A moving image combining unit that combines the extracted moving object image in accordance with the moving direction set by the moving direction setting unit, and the moving image combining unit. Characterized by comprising a composite image transmitting means for transmitting the synthesized composite image of the moving image to the background image on the imaging device.
[0023]
According to this, it is possible to capture a plurality of still images with the imaging device and connect to a separate image processing device via the connection device, and the complete image processing based on the plurality of captured still images on the image processing device side. A pseudo moving image based on the background image is created, and can be displayed and viewed on the photographing apparatus side.
[0024]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described below with reference to the drawings.
[0025]
FIG. 1 is a block diagram showing a configuration of an electronic circuit of a terminal device 10 as a composite image output device according to an embodiment of the present invention.
[0026]
The terminal device 10 in the present embodiment may be any type of terminal device 10 that can process captured images, such as a mobile phone with a digital camera, a mobile device with a digital camera (PDA), or a digital camera itself.
[0027]
The electronic circuit of the terminal device 10 includes a CPU (central processing unit) 11.
[0028]
The CPU 11 is a terminal control program stored in advance in the memory 12, or a terminal control program read into the memory 12 from the external recording medium 13 such as a CD-ROM or a ROM card via the recording medium reading unit 14, or the Internet. The operation of each part of the circuit is controlled in accordance with the terminal control program read into the memory 12 from the Web server (in this case, the program server) on the N via the transmission control unit 15, and is stored in the memory 12. The terminal control program is an input signal corresponding to a user operation from the input unit 16 including a key or a touch panel, an image signal input from the digital camera (unit) 21 via the image input unit 17a, or the transmission control unit 15. Communication with each Web server 30 on the Internet N connected via the Internet Or a communication signal with a user terminal (PC) 40 connected via a short-range communication unit (including a cradle) 18 or a current position corresponding to the movement of the terminal device 10 from a GPS (global positioning system) 19 It is activated in response to the detection signal.
[0029]
The CPU 11 is connected to the memory 12, the recording medium reading unit 14, the transmission control unit 15, the input unit 16, the image input unit 17 a, the short-range communication unit 18, and the GPS 19, and a display unit 20 including an LCD, An image printer 22 or the like is connected via the image output unit 17b.
[0030]
The image input unit 17a inputs captured image data from an externally connected digital camera 21 or a built-in digital camera (unit) 21. For example, the terminal device 10 is a mobile phone, a portable terminal device (PDA), In the case of a digital camera, photographed image data from the built-in digital camera unit 21 is input.
[0031]
The image output unit 17b outputs the captured image data input from the image input unit 17a and the image data synthesized based on the captured image. The output image data is output to the image printer 22. Printing is performed.
[0032]
The memory 12 includes a system program that controls the entire operation of the terminal device 10, a communication program for data communication with each Web server 30 on the Internet N via the power transmission control unit 15, and a short-range communication unit (cradle). In addition to storing a short-range communication program for data communication with a user terminal (PC) 40 via 18), a moving image creation process for creating a moving image from an image shooting process or a still image, Is a request process of the moving image creation process to the user terminal (PC) 40 based on the photographed image input from the image input unit 17a, a display of photographed / created image data, and a print process via the image output unit 17b. The communication / image processing program 12a for performing the above and the like is stored.
[0033]
The work area of the memory 12 is provided with an image processing work area 12b in which various image data processed according to the communication / image processing program 12a are temporarily stored according to the image processing. As a work area, a captured image memory 12b1, a background image memory 12b2, a moving image extraction memory 12b3, a moving image position / direction table 12b4, a setting moving direction memory 12b5, and an intermediate image memory 12b6 are provided.
[0034]
The captured image memory 12b1 stores (records) individual still image data captured by the digital camera (unit) 21 and input via the image input unit 17a.
[0035]
The background image memory 12b2 is based on a plurality of still image data stored in the photographed image memory 12b1, and still image data of only the background in which the moving image portion whose position changes in each still image data is omitted. Is generated and stored.
[0036]
In the moving image extraction memory 12b3, a moving image portion whose position changes in each still image data is extracted and stored for each still image based on the plurality of still image data stored in the photographed image memory 12b1. Is done.
[0037]
In the moving image position / direction table 12b4, the extracted moving image for each still image data stored in the moving image extraction memory 12b3 is stored in association with the position and moving direction on the still image.
[0038]
In the set movement direction memory 12b5, the continuous movement direction of the movement image set according to the movement direction of the extracted movement image for each still image data stored in the movement image position / direction table 12b4, or the user The moving direction appropriately set in the extracted moving image for any still image data is stored as the moving direction when moving image data for the moving image is generated.
[0039]
In the intermediate image memory 12b6, the background image data of the still image stored in the background image memory 12b2, the moving image data for each still image stored in the moving image extraction memory 12b3, and the moving image position / direction Based on the moving position and direction corresponding to the moving image on each still image data stored in the table 12b4 and the set moving direction of the moving image stored in the set moving direction memory 12b5, the moving image Each intermediate image data for moving image output, which is created by the creation process and moves the moving image on the background image in the set moving direction, is stored.
[0040]
Here, an outline of the operation of the moving image creation process by the composite image output apparatus will be described.
[0041]
FIG. 2 is a diagram showing a background image generation state and a moving image extraction state from the original captured still images A, B, and C accompanying the moving image creation process of the composite image output apparatus.
[0042]
For example, as shown in FIGS. 2 (A) to (C), when three images of the aquarium where fish are migrating are taken, the original still images (A) 12b1a to ( C) Based on 12b1c, as shown in FIG. 2 (E), the changed portion of the image (in this case, “fish image”) on each of the original images (A) 12b1a to (C) 12b1c is the moving image Ma (12b3a). , Mb (12b3b), Mc (12b3c) and stored in the moving image extraction memory 12b3, and the first half of the background image area where the moving image Ma (12b3a) does not exist in the original image (A) 12b1a taken first And the background image region G in the right half in which the moving image Mc (12b3c) does not exist in the original image (C) 12b1c are synthesized as shown in FIG. It is stored in the scene image memory 12b.
[0043]
FIG. 3 is a diagram showing a moving image display state including an intermediate image (intermediate image) created in accordance with the moving image creation process of the composite image output apparatus.
[0044]
That is, a series of moving directions (left direction) of moving images Ma (12b3a) to Mc (12b3c) in the original images (A) 12b1a to (C) 12b1c stored and managed in the moving image position / direction table 12b4; Based on the position of the moving image Ma (12b3a) in the first original image (A) 12b1a and the position of the moving image Mb (12b3b) in the second original image (B) 12b1b, as shown in FIG. 12b2 (see FIG. 2D) is an intermediate (intermediate) image 12b6 obtained by synthesizing the extracted moving image Mm (see FIG. 2E) at an intermediate position between both moving images Ma (12b3a) and Mb (12b3b). Is created.
[0045]
Then, the original image (A) 12b1a to (C) 12b1c and the created intermediate (intermediate) image 12b6 are combined and sequentially output so that the background image 12b2 is clarified based on a few still images. Image display can be performed.
[0046]
FIG. 4 is a diagram showing a moving image display state including an intermediate image (intermediate image) created by designating the moving direction in accordance with the moving image creation process of the composite image output apparatus.
[0047]
That is, as shown in FIG. 4A, when the movement direction P for the moving image Ma (12b3a) is designated for the first original image (A) 12b1a, the movement direction P corresponding to the designated movement direction P is designated. As shown in FIGS. 4B and 4C, the extracted moving image Mm (see FIG. 2E) is sequentially synthesized on the background image 12b2 (see FIG. 2D) ( On the way) Image (1) (2) 12b6 is created.
[0048]
Then, the first original image (A) 12b1a and the created intermediate (intermediate) image (1) (2) 12b6 are combined and sequentially output, so that the moving image Mm is based on a few still images. The moving image display in which the background image 12b2 is clear can be performed.
[0049]
Next, a detailed operation of the moving image creation process by the composite image output apparatus will be described.
[0050]
In the operation outline described with reference to FIGS. 2 to 4, the moving image Mm is corrected when the moving image Mm moves in the depth (far / near) direction, and the moving image is generated when there is no direction change in the moving direction P. Although the processing has been described, here, the moving image creation processing that can be handled even when the size of the moving image Mm is corrected or the direction is changed will be described.
[0051]
FIG. 5 is a flowchart showing image photographing processing of the composite image output apparatus.
[0052]
FIG. 6 is a flowchart showing the moving image creation / display process of the composite image output apparatus.
[0053]
FIG. 7 is a flowchart showing a designated direction image creation process associated with the moving image creation display process of the composite image output apparatus.
[0054]
FIG. 8 is a diagram showing a moving image display state when three car images are taken along with the moving image creation and display processing along with the moving image creation and display processing along with the image shooting processing of the composite image output apparatus. .
[0055]
First, when the moving image creation mode is set in accordance with the operation of the input unit 16 (step S1), for example, when a car traveling on a circuit is photographed through the digital camera (unit) 21 as shown in FIG. A captured image input via the unit 17a is displayed on the display unit 20 in real time (step S2).
[0056]
When the shutter is operated at a desired timing (step S3), in response to this, for example, a first original image 12b1a as shown in FIG. 8A is captured and stored in the captured image memory 12b1 (step S4). ).
[0057]
Subsequently, in a state where the circuit running is photographed and displayed on the display unit 20 in real time (step S5), an image of the portion (moving image Ma) that changes with time on the photographed image is extracted (step S5). S6) The background partial image hidden by the changed partial image (moving image Ma) is not hidden (becomes visible) on the captured first original image 12b1a. The determination is made according to the movement of the moving image Ma) to a new area (step S7).
[0058]
When the changed partial image (moved image Ma) on the first original image 12b1a does not move to a new area and the first background partial image is still hidden, the changed partial image (moved image Ma) is displayed. It is determined whether or not the shooting shape has changed significantly due to, for example, the change of direction (step S8).
[0059]
In step S7, the background partial image hidden by the changed partial image (moving image Ma) is not hidden (becomes visible) on the captured first original image 12b1a. If it is determined that the partial image (moving image Ma) has moved to a new area, or if it is determined in step S8 that the shooting shape of the changed partial image (moving image Ma) has changed significantly, For example, as shown in FIG. 8B, the second original image 12b1b in which the changed partial image (moved image Mb) is moved or changed in shape to a new area is captured by the automatic shutter (step S10), and the captured image memory 12b1. (Step S12).
[0060]
In step S10, the timing of the automatic shutter is notified to the user by lighting display or the like, so that the user can manually operate the shutter to capture and store the next original image (step S12). .
[0061]
On the other hand, in step S7 or S8, even when there is no movement determination or shape change determination of the changed partial image (moving image Ma) to the new area, when the shutter operation by the user is detected and determined (step S9). At that timing, the captured image is captured as the next original image (step S11) and stored in the captured image memory 12b1 (step S12).
[0062]
Through the processes in steps S5 to S12, for example, as shown in FIG. 8B, the second original image 12b1b in which the changed partial image (moved image Mb) in the photographed image is moved or changed in shape to a new area is obtained. When captured and stored, unless the operation for ending the shooting by the user is detected and determined in step S13, the process of capturing, displaying, capturing, and storing the next original image associated with the processing in steps S5 to S12 is repeated. As shown in FIG. 8C, the third original image 12b1c obtained by moving or changing the shape of the changed partial image (moved image Mc) in the captured image is captured and stored.
[0063]
As described above, by the image capturing process in the moving image creation mode, for example, as shown in FIGS. 8A to 8C, the first to first still images that are three still images capturing a car traveling on the circuit. When the third original images 12b1a to 12b1c are stored and saved in the captured image memory 12b1, a moving image creation / display process (see FIG. 6) for starting the third original images 12b1a to 12b1c as a synthesized moving image is started.
[0064]
In this moving image creation and display process, first to third original images 12b1a to 12b1c (see FIGS. 8A to 8C) stored in the captured image memory 12b1 are set in advance on the respective images. For the partial images at the respective positions, the original images 12b1a, 12b1b, and 12b1c are compared with each other for matching / mismatching (step A1). Then, the partial images determined to be coincident between the two original images are combined, and the changed partial images (moving images Ma, Mb, Mc) are removed and the combined background images are stored in the background image memory 12b2. Stored and saved (step A2).
[0065]
Then, the changed partial images (moving images Ma, Mb, Mc) in the original images 12b1a, 12b1b, 12b1c are extracted and stored in the moving image extraction memory 12b3 (step A3).
[0066]
Here, for example, it is determined whether or not an arbitrary moving direction for creating a composite moving image has been input designated for the changed partial image (moving image Ma) on the first original image 12b1a (step A4). When there is no arbitrary designation of the moving direction, the position of each changed partial image (moved image Ma, Mb, Mc) extracted in each of the original images 12b1a, 12b1b, 12b1c is specified and this specification is performed. A trajectory connecting the positions on the respective changed partial images (moving images Ma, Mb, Mc) is set as a moving direction Q (see FIG. 8A) and stored in the set moving direction memory 12b5. (Steps A4 → A5, A6).
[0067]
If it is determined in step A4 that the user's arbitrary moving direction P (see FIG. 10A) for creating a composite moving image is specified by, for example, pen input, the pen input locus is specified. It is detected as the moving direction P (see FIG. 10A) and stored in the set moving direction memory 12b5 (step A7).
[0068]
Then, the designated direction image creation process in FIG. 7 is started (step AB).
[0069]
Here, first, as shown in FIG. 8, a case will be described in which the trajectory connecting the positions of the changed partial images (moving images Ma, Mb, Mc) on the images is automatically set as the moving direction Q.
[0070]
In this designated direction image creation processing, first, the position and moving direction (Ma (rightward direction) of each changed partial image (moved image Ma, Mb, Mc) corresponding to each original image 12b1a, 12b1b, 12b1c for each shooting time, Mb (front) and Mc (leftward)) are read out and stored in the moving image position / direction table 12b4 (step B1).
[0071]
Then, each moving image position stored in the moving image position / direction table 12b4 and each changed partial image (moving image Ma, Mb, Mc) in the moving direction are shown in FIGS. 9A to 9C, for example. As shown, the image is cut out as an image having a predetermined fixed size and is associated with each moving direction (Ma (rightward), Mb (front), Mc (leftward)) (step B2).
[0072]
FIG. 9 shows each image processing from generation of the changed partial images (moving images Ma, Mb, Mc) to intermediate image generation and background image synthesis in the designated direction image generation processing accompanying the moving image generation display processing of the synthetic image output device. It is a figure which shows a state.
[0073]
Here, according to the moving direction Q (see FIG. 8A) stored in the set moving direction memory 12b5, in this case, the position of each changed partial image (moved images Ma, Mb, Mc) is included. Timings t1 to t7 of a fixed interval are set, and intermediate timings t2, t3, t5, t6 excluding timings t1, t4, t7 at the positions of the respective changed partial images (moving images Ma, Mb, Mc). Is set as the interpolation position where the intermediate image is to be generated, and the first interpolation position (t2) is designated (step B3).
[0074]
Then, in accordance with the moving direction (slant right direction) of the changed partial image (moving image Ma) at the designated interpolation position (t2), the moving image corresponding to the right direction already cut out at the predetermined size in step B2. An intermediate deformed image Mab1 as shown in FIG. 9D is created from Ma (see FIG. 9A) and the front-corresponding moving image Mb (see FIG. 9B) by, for example, a well-known fusion technique. (Step B4).
[0075]
Note that the fusion technology is a technology for creating a still image that is stored between a series of still images, and has already been put into practical use.
[0076]
Then, an obliquely right intermediate deformation image Mab1 created according to the interpolation position (t2) is shown in FIG. 9E based on the size ratio of the moving images Ma and Mb at the timing positions t1 and t4. As shown in FIG. 9, the image size is enlarged or reduced according to the interpolation position (t2), and as shown in FIG. 9F, the timing position (t2) with respect to the background image stored in the background image memory 12b2. ) And is stored in the intermediate image memory 12b6 as an intermediate composite image 12b6a (see FIG. 8 (AB1)) (step B5).
[0077]
Here, it is determined whether or not there is an interpolation position where an intermediate composite image is to be created next (step B6). In this case, the next interpolation position (t3) is designated (step B7), and the processing from step B4 is performed. Repeated.
[0078]
That is, when the interpolation position (t3) is designated, similarly to the above, according to the moving direction (diagonal right direction) of the changed partial image (moving image Ma) at the designated interpolation position (t3), the rightward direction is set. An intermediate deformed image Mab2 is created from the corresponding moving image Ma (see FIG. 9A) and the front corresponding moving image Mb (see FIG. 9B) (step B4).
[0079]
Then, the diagonally right intermediate deformed image Mab2 is enlarged or reduced to an image size corresponding to the interpolation position (t3), and is synthesized as a moving image Mm2 at the timing position (t3) with respect to the background image. This is stored in the intermediate image memory 12b6 as an intermediate composite image 12b6b (see FIG. 8 (AB2)) (step B5).
[0080]
Thereafter, the next interpolation positions (t5) and (t6) are sequentially designated, so that the processing in steps B4 to B7 is repeated in the same manner each time. For example, when the interpolation position (t5) is designated. The intermediate left side deformation image Mbc1 is created from the front-corresponding moving image Mb (see FIG. 9B) and the left-facing moving image Mc (see FIG. 9C) (step B4). Is synthesized as a moving image Mm3 and stored in the intermediate image memory 12b6 as an intermediate composite image 12b6c (see FIG. 8 (BC1)) (step B5).
[0081]
Similarly, when the interpolation position (t6) is designated, diagonally left from the front corresponding moving image Mb (see FIG. 9B) and the left corresponding moving image Mc (see FIG. 9C). An intermediate deformed image Mbc2 in the direction is created (step B4), synthesized as a moving image Mm4 with respect to the background image, and stored in the intermediate image memory 12b6 as an intermediate synthesized image 12b6d (see FIG. 8 (BC2)) (step B5). .
[0082]
Thus, based on the first to third original images 12b1a to 12b1c, which are the three still images stored in the photographed image memory 12b1, the change partial images (moving images Ma (t1), Mb (t4), Mc Intermediate composite images 12b6a, 12b6b, 12b6c, and 12b6d at the intermediate interpolation positions (t2), (t3), (t5), and (t6) corresponding to the movement direction Q of (t7)) are created.
[0083]
Then, the intermediate composite images 12b6a, 12b6b, 12b6c, and 12b6d created and stored in the designated direction image creation process (step AB) are read from the intermediate image memory 12b6 and stored in the photographed image memory 12b1. To the third original images 12b1a, 12b1b, and 12b1c are combined in time order, for example, as shown in FIG. 8A → (AB1) → (AB2) → (B) → (BC1) → (BC2) → (C). Are sequentially output to the display unit 20 and displayed as a clear synthesized moving image with no defects or blurring in the background image.
[0084]
Next, in step A7 in the moving image creation process (see FIG. 6), an arbitrary moving direction P (see FIG. 10A) for creating a composite moving image is designated by, for example, pen input. A designated direction image creation process (step AB) (see FIG. 7) in the case where the locus is detected and set as the designated movement direction P will be described.
[0085]
FIG. 10 is a diagram showing a state in which an arbitrary moving direction P for creating a composite moving image is set for the traveling images of three cars photographed in accordance with the image photographing process of the composite image output apparatus.
[0086]
FIG. 11 is a diagram showing a moving image display state when an intermediate (intermediate) image is created by setting an arbitrary moving direction P for creating a synthesized moving image in accordance with the moving image creating / displaying process of the synthesized image output device. .
[0087]
In the designated direction image creation processing, first, the position of each changed partial image (moving image Ma, Mb, Mc) corresponding to each original image 12b1a, 12b1b, 12b1c shown in FIGS. And their moving directions (Ma (rightward), Mb (front), Mc (leftward)) are read out and stored in the moving image position / direction table 12b4 (step B1).
[0088]
Then, each moving image position stored in the moving image position / direction table 12b4 and each changed partial image (moving images Ma, Mb, Mc) in the moving direction are shown in FIGS. 9A to 9C, for example. As shown, the image is cut out as an image of a predetermined fixed size and is associated with each moving direction (Ma (rightward), Mb (front), Mc (leftward)) (step B2).
[0089]
Here, in accordance with an arbitrarily designated moving direction P (see FIG. 10A) stored in the set moving direction memory 12b5, timings t1 to t7 at fixed intervals are set, and the leading change partial image ( Intermediate timings t2,..., T7 excluding timing t1 at the position of the moving image Ma) are set as the interpolation positions where the intermediate image is to be generated, and the first interpolation position (t2) is designated (step B3). .
[0090]
Then, in accordance with the moving direction (slant right direction) of the changed partial image (moving image Ma) at the designated interpolation position (t2), the moving image corresponding to the right direction already cut out at the predetermined size in step B2. An intermediate deformed image Mab (t2) (see FIG. 9D) is created by, for example, a well-known fusion technique from Ma (see FIG. 9A) and the front-corresponding moving image Mb (see FIG. 9B). (Step B4).
[0091]
Then, the diagonally right intermediate deformation image Mab (t2) created according to the interpolation position (t2) is the size between the moving images Ma, Mb, Mc at the respective positions in the original images 12b1a, 12b1b, 12b1c. Based on the ratio, the image size is corrected to be enlarged or reduced according to the interpolation position (t2) as shown in FIG. 9E, and stored in the background image memory 12b2 as shown in FIG. 9F. Is synthesized as a moving image Mm1 at the timing position (t2) and stored in the intermediate image memory 12b6 as an intermediate composite image 12b6a (see FIG. 11 (AB1)) (step B5).
[0092]
Here, it is determined whether or not there is an interpolation position where an intermediate composite image is to be created next (step B6). In this case, the next interpolation position (t3) is designated (step B7), and the processing from step B4 is performed. Repeated.
[0093]
That is, when the interpolation position (t3) is designated, similarly to the above, according to the moving direction (diagonal left direction) of the changed partial image (moving image Ma) at the designated interpolation position (t3), An intermediate deformed image Mbc (t3) is created from the corresponding moving image Mb (see FIG. 9B) and the left-facing corresponding moving image Mc (see FIG. 9C) (step B4).
[0094]
Then, the intermediate deformation image Mbc (t3) in the diagonally left direction is corrected to be enlarged or reduced to an image size corresponding to the interpolation position (t3), and is used as a moving image Mm2 at the timing position (t3) with respect to the background image. These are combined and stored in the intermediate image memory 12b6 as an intermediate composite image 12b6b (see FIG. 11 (BC)) (step B5).
[0095]
Thereafter, the next interpolation position (t4),..., (T7) is sequentially specified, so that the processing in steps B4 to B7 is repeated in the same manner each time, for example, the interpolation position (t4) is specified. In this case, an intermediate deformation image Mba (t4) in the diagonally right direction is created from the moving image Mb corresponding to the front (see FIG. 9B) and the moving image Ma corresponding to the right direction (see FIG. 9A) ( In step B4), the background image is synthesized as the moving image Mm3, and is stored in the intermediate image memory 12b6 as the intermediate synthesized image 12b6c (see FIG. 11B1) (step B5).
[0096]
Similarly, when the interpolation positions (t5) and (t6) are designated, both the front corresponding moving image Mb (see FIG. 9B) and the right corresponding moving image Ma (see FIG. 9A). ) And intermediate deformed images Mba (t5) and Mba (t6) in the diagonally right direction are created (step B4) and synthesized as moving images Mm4 and Mm5 with respect to the background image, and intermediate synthesized image 12b6d (FIG. 11 (AB2)). And 12b6e (see FIG. 11B2) are sequentially stored in the intermediate image memory 12b6 (step B5).
[0097]
Further, even when the interpolation position (t7) is designated, similarly to the above, from the moving image Mb corresponding to the front (see FIG. 9B) and the moving image Mc corresponding to the left-right direction (see FIG. 9C). An intermediate deformed image Mbc (t7) in the diagonally left direction is created (step B4), is synthesized as a moving image Mm6 with respect to the background image, and is stored in the intermediate image memory 12b6 as an intermediate composite image 12b6f (see FIG. 11C). (Step B5).
[0098]
Thus, based on the first to third original images 12b1a to 12b1c, which are the three still images stored in the photographed image memory 12b1, the intermediate interpolation positions (t2),. Intermediate composite images 12b6a,..., 12b6f at (t7) are created.
[0099]
Then, the intermediate composite images 12b6a,..., 12b6f created and stored in the designated direction image creation process (step AB) are read from the intermediate image memory 12b6 and the first first image stored in the photographed image memory 12b1. The original images 12b1a are combined in order of time, for example, as shown in FIG. 11 (A) → (AB1) → (BC) → (B1) → (AB2) → (B2) → (C). And is displayed as a clear synthesized moving image with no loss or blurring in the background image.
[0100]
Next, the external PC 40 is connected to such a composite image output device (terminal device 10), and a similar moving image creation process is performed on the external PC 40 based on a plurality of still images such as captured images transferred from the terminal device 10. A description will be given of a configuration in a case where the composite moving image is displayed with a large screen and high image quality.
[0101]
FIG. 12 is a flowchart showing image processing when the terminal device 10 and the external PC 40 are connected and a composite moving image is created and displayed also on the external PC 40 side.
[0102]
FIG. 13 is a diagram showing an external configuration when the terminal device 10 and the external PC 40 are connected and a composite moving image is created and displayed also on the external PC 40 side.
[0103]
In this case, the terminal device 10 is connected to the external PC 40 to perform data communication by being installed in the short-range communication unit 18 that is a cradle, for example.
[0104]
When the terminal device 10 functioning as a digital camera captures a plurality of still images and each of the image data is stored and stored in the captured image memory 12b1 (step C1), each captured image stored in the captured image memory 12b1 The data is converted by reducing the number of images (the number of pixels and the number of colors) in accordance with the display resolution of the display unit 20 in the terminal device 10 (step C2).
[0105]
Then, the same moving image creation and display processing (see FIGS. 6 and 7) is executed based on each photographed image data in which the number of images is reduced in accordance with the display resolution, and FIG. 3, FIG. 4, or FIG. 8 and FIG. 11, a synthesized moving image is created and displayed on the small display unit 20 of the terminal device 10 (step CA).
[0106]
Here, when it is desired to perform high-quality display of this synthesized moving image on the large screen / high-quality large display unit 41 of the external PC 40 connected to the external PC 40, an operation instruction is given to display on the external PC 40. Then (step C3), a plurality of photographed image data stored in the photographed image memory 12b1 as the number of images at the time of photographing is output and transferred to the external PC 40 via the cradle (short range communication unit) 18 (step C4). ).
[0107]
When each of the captured image data transferred from the terminal device (digital camera) 10 is received in the external PC 40 (step D1), the transferred captured image data is stored as it is without any thinning out of the number of images. (Step D2).
[0108]
Then, the same moving image creation and display process (see FIGS. 6 and 7) is executed based on each captured image data stored with the number of images at the time of capturing, and FIG. 3, FIG. 4, FIG. As shown in FIG. 11, a high-quality synthesized moving image is created and displayed on the large display unit 41 of the external PC 40 (step DA).
[0109]
Thus, by connecting the terminal device 10 to the external PC 40, it is possible to easily create and display a synthesized moving image with a large screen and high image quality.
[0110]
In the case where the terminal device 10A functioning as a digital camera does not include the image processing program 12a for creating a composite moving image, the moving image creation display processing (FIG. 6) is performed in the external PC 40 in which the image processing program 12a is installed. , See FIG. 7), and the synthesized moving image obtained thereby can be displayed on the terminal device 10A side.
[0111]
FIG. 14 is a flowchart showing image processing when the digital camera 10A is connected to an external PC 40 having a composite moving image creation function to create a composite operation image on the external PC 40 side.
[0112]
FIG. 15 is a diagram showing an external configuration when a digital camera 10A and an external PC 40 having a composite moving image creation function are connected to create a composite operation image on the external PC 40 side.
[0113]
In the digital camera 10A, a plurality of captured image data is stored in the captured image memory 12b1 (step E1), and the digital camera 10A is stored in the cradle (short-range communication unit) 18 connected to the external PC 40. When set (step E2), the number of images (the number of pixels and the number of colors) of each captured image data stored in the captured image memory 12b1 is reduced in accordance with the display resolution of the display unit 20 in the digital camera 10A. And converted (step E3).
[0114]
Then, each photographed image data after the conversion of the number of images is transmitted to the external PC 40 (step E4).
[0115]
When the external PC 40 receives each of the captured image data after the image number reduction conversion transmitted from the digital camera 10A (step F1), the received captured image data is temporarily stored (step F2).
[0116]
Then, the same moving image creation and display process (see FIGS. 6 and 7) is executed based on the stored image data after the reduction conversion of the number of images, and FIG. 3, FIG. 4, FIG. As shown in FIG. 11, a synthesized moving image is created (step FA). Then, it is transmitted to the digital camera 10A (step F3).
[0117]
In the digital camera 10A, when the synthesized moving image created and transmitted by the external PC 40 is received (step E5), the received synthesized moving image is sequentially displayed on the small display unit 20 (step E6).
[0118]
As a result, a plurality of still image data for which a composite moving image is to be created is photographed by the digital camera 10A, and the digital camera 10A is simply set on the cradle (18) connected to the external PC 40, and the corresponding captured image data is selected. The synthesized moving image is generated and processed on the external PC 40 side, and can be displayed and viewed on the display unit 20 of the digital camera 10A.
[0119]
Therefore, according to the composite image output apparatus having the above configuration, for example, based on a plurality of still original images 12b1a, 12b1b, and 12b1c obtained by photographing, partial images that change in the original images 12b1a, 12b1b, and 12b1c (movement) Image Ma, Mb, Mc) is extracted, and a partial background image of an area where the changed partial images (moving images Ma, Mb, Mc) do not exist between the first to third original images 12b1a, 12b1b, 12b1c Are combined to create a complete background image 12b2, and the background image 12b2 is set in accordance with the position of each of the changed partial images (moving images Ma, Mb, Mc) and the moving direction Q ( The intermediate image 12b6 is created by combining the moving image M at the intermediate position, and the first to third original images 12b1a, 1 b1b and 12b1c are combined with each other in time order and are displayed in sequence, so that they are displayed as a synthesized moving image. Therefore, a pseudo moving image in which the background image is complete from several still images including a series of moving objects. The image can be synthesized and displayed.
[0120]
Further, according to the composite image output apparatus having the above configuration, when an arbitrary movement direction P is designated for the changed partial image (moving image Ma) of the first original image 12b1a, the locus of the designated movement direction P is indicated. An intermediate deformed image M (tn) corresponding to the moving direction and size at each timing position of the constant time intervals t1, t2,..., Tn along the fixed size from the first to third original images 12b1a, 12b1b, 12b1c. It is created based on each extracted change partial image (moving image Ma, Mb, Mc), and is synthesized with each of the synthesized and created background images, and is combined and displayed in order of time, so that a synthesized moving image is displayed. Therefore, even if you specify an arbitrary moving direction of the moving object from several still images containing a series of moving objects, It becomes possible to display the synthesized image.
[0121]
Further, according to the composite image output apparatus having the above-described configuration, when shooting is performed by setting a moving image creation mode for creating a composite moving image from a plurality of still images, a changed partial image extracted from the captured image At the timing when the background portion hidden by (moving image M) appears, the next captured image is automatically captured, or the user is notified of the timing of capturing the image, so a complete background image is synthesized. Therefore, a captured still image can be captured at the most efficient and appropriate timing.
[0122]
Further, according to the composite image output device having the above-described configuration, the external PC 40 can be connected to the terminal device 10, and the terminal device 10 has the number of images (the number of pixels and the number of colors) according to the display resolution of the small display unit 20. ) Is reduced, a moving image creation / display process is performed to create a synthesized moving image and display it on the small display unit 20. On the other hand, according to the image processing program for creating a synthetic moving image installed in the external PC 40, the original image data as the number of images at the time of shooting is transferred from the terminal device 10 to the external PC 40, and the same moving image as described above. Since a composite moving image is created by performing the creation and display process and is displayed on the large-sized and high-quality display unit 41 in the external PC 40, the terminal device 10 has a low-load moving image that matches the small display unit 20 and the CPU 11. A synthesized moving image can be created and displayed by creating and displaying processing, and a high-quality synthesized moving image can be easily created and displayed by connecting to the external PC 40 or the like.
[0123]
Furthermore, according to the composite image output device having the above-described configuration, when the digital camera 10A that captures and stores a series of still image original images 12b1a, 12b1b, and 12b1c is set in the cradle (short-range communication unit) 18 and connected to the external PC 40. The series of still image original images 12b1a, 12b1b, 12b1c stored in the digital camera 10A is transferred to the external PC 40. A synthesized moving image is created by the moving image creation process in the external PC 40, transferred to the digital camera 10A, and displayed on the display unit 20. Therefore, the digital camera 10A itself creates a synthesized moving image. Even if an image processing program is not provided, a synthesized moving image can be easily acquired from a plurality of photographed still images and displayed by simply setting the cradle (18) and connecting it to the external PC 40.
[0124]
It should be noted that each processing method performed by the terminal device 10 or the external PC 40 described in the above embodiment, that is, the image capturing process shown in the flowchart of FIG. 5, the moving image creation display process shown in the flowchart of FIG. 6, and the flowchart of FIG. Image processing in designated direction accompanying the moving image creation / display processing, each image processing when the terminal apparatus 10 and the external PC 40 shown in the flowchart of FIG. Each method such as image processing when the digital camera 10A shown in the flowchart of FIG. 14 is connected to the external PC 40 having the function of creating a synthesized moving image and the synthesized image is created on the external PC 40 side is a computer. As a program that can be executed by a memory card (ROM card, RAM card, etc.), Gas disks (floppy disks, hard disks, etc.), optical disk (CD-ROM, DVD, etc.) can be distributed and stored in the external recording medium 13 such as a semiconductor memory. Various computer terminals having a communication function with the communication network (Internet) N read the program stored in the external recording medium 13 into the memory 12 by the recording medium reading unit 14, and the operation is performed by the read program. By being controlled, the function of creating and displaying a composite moving image from a plurality of still images described in the above embodiment can be realized, and the same processing can be executed by the above-described methods.
[0125]
The program data for realizing each of the above methods can be transmitted on a communication network (Internet) N in the form of a program code, and the above-mentioned data can be transmitted from a computer terminal connected to the communication network (Internet) N. It is also possible to implement the function of creating and displaying a composite moving image from a plurality of still images as described above by fetching program data.
[0126]
Note that the present invention is not limited to the above-described embodiments, and various modifications can be made without departing from the scope of the invention at the stage of implementation. Further, each of the embodiments includes inventions at various stages, and various inventions can be extracted by appropriately combining a plurality of disclosed constituent elements. For example, even if some constituent requirements are deleted from all the constituent requirements shown in each embodiment or some constituent features are combined, the problems described in the column of the problem to be solved by the invention can be solved. When the effects described in the column of the effect of the invention can be obtained, a configuration in which these constituent elements are deleted or combined can be extracted as an invention.
[0127]
【The invention's effect】
As described above, according to the composite image output apparatus (composite image output processing program) according to claim 1 (claim 9) of the present invention, when a plurality of images are acquired by the image acquisition means, the acquired images are acquired. An image of the moving object is extracted from the plurality of images by the moving image extracting unit, and the extracted moving object image is extracted on the background image acquired by the image acquiring unit by the moving direction setting unit. The moving direction is set. Then, a background image of the image is synthesized and created based on the plurality of images acquired by the image acquisition unit by the background image generation unit, and the moving object extracted by the moving image extraction unit is extracted from the background image. These images are synthesized by the moving image synthesizing unit in accordance with the moving direction set by the moving direction setting unit. Then, since the synthesized image obtained by synthesizing the moving image with the background image is output by the image output unit by the moving image synthesizing unit, a complete background image is synthesized based on a plurality of still images and set. It is possible to create and display a pseudo synthesized moving image by synthesizing images of moving objects according to the moving direction.
[0128]
According to the composite image output apparatus (composite image output processing program) according to claim 2 (claim 10) of the present invention, in the composite image output apparatus according to claim 1, the moving image composition means comprises: The interpolation position designated by the interpolation position designation unit on the background image created by the background image creation unit is designated by the interpolation position designation unit along the movement direction set by the movement direction setting unit. On the other hand, the image of the moving object extracted by the moving image extracting means is synthesized. As a result, the moving object image is synthesized with the interpolation position on the background image along the set moving direction, and can be created and displayed as a pseudo synthesized moving image.
[0129]
According to a composite image output apparatus (composite image output processing program) according to claim 3 (claim 11) of the present invention, in the composite image output apparatus according to claim 1, the moving image composition means The interpolation position designation means sequentially designates a plurality of interpolation positions along the movement direction set by the movement direction setting means, and the interpolation position designation means sequentially designates a plurality of interpolation positions along the movement direction. Each time, an intermediate deformed image of the moving object corresponding to the interpolation position and the moving direction at the position is extracted from the plurality of images by the moving image extracting unit by the moving image extracting unit. Created based on each image. Then, the intermediate deformed image of the moving object created by the intermediate image creating unit is synthesized with the interpolation position designated by the interpolation position designating unit on the background image created by the background image creating unit. Therefore, for a plurality of interpolation positions on the background image along the set movement direction, an intermediate deformation image of a moving object corresponding to the interpolation position and the movement direction at that position is sequentially created and combined. It can be created and displayed as a pseudo synthesized moving image in which a moving object moves in real.
[0130]
According to a fourth aspect of the present invention, there is provided the synthesized moving image output apparatus according to any one of the first to third aspects, wherein the image photographing further captures an image. Means, and the image acquisition means acquires a plurality of images based on the images photographed by the image photographing means. Based on multiple captured still images, a complete background image is synthesized and created, and a moving object image is synthesized according to the set moving direction so that a pseudo synthesized moving image can be created and displayed. Become.
[0131]
Further, according to the composite image output apparatus according to claim 5 of the present invention, the composite image output apparatus according to claim 4, wherein the image acquisition means captures an image captured by the image capturing means. The timing at which the change portion on the image captured by the image capturing means is extracted and the background portion of the captured image that is hidden by the change portion appears after the acquisition of the arbitrary image. Since the captured image is acquired as the next image by the next image acquisition means, it is possible to acquire a plurality of captured images for synthesizing and creating a complete background image necessary for creating a composite moving image at an optimal timing. Become.
[0132]
According to the composite image output device of the present invention, in the composite image output device according to the above-mentioned claim 4, the image acquisition unit acquires an image captured by the image capturing unit. In addition, after the image acquisition, a changed part on the image captured by the image capturing unit is extracted, and the next image acquisition instruction unit is displayed at the timing when the background part of the captured image hidden by the changed part appears. The next acquisition of the captured image is instructed, so an operation instruction for acquiring a plurality of captured images for synthesizing and creating a complete background image necessary for creating a composite moving image is obtained at the optimal timing. Be able to.
[0133]
According to a seventh aspect of the present invention, there is provided a composite image output apparatus according to any one of the first to sixth aspects, wherein the composite image is displayed by the image output means. In accordance with the resolution of the display unit, at least the number of pixels of each of the plurality of images acquired by the image acquisition unit is reduced and converted by the image conversion unit, and the moving image extraction unit is converted by the image conversion unit. The image of the moving object is extracted from a plurality of images, and the background image creation unit creates a background image of the image based on the plurality of images whose number of pixels has been converted by the image conversion unit. To do. An external display device and an image transmission unit that transmits a plurality of images acquired by the image acquisition unit to the external display device are provided. In the external display device, a plurality of images transmitted by the image transmission unit are provided. Image receiving means for receiving an image, external moving image extracting means for extracting an image of a moving object from a plurality of images received by the image receiving means, and extracted by the moving image extracting means An external moving direction setting unit that sets a moving direction on a background image received by the image receiving unit, and a background image of the image based on a plurality of images received by the image receiving unit. An external background image creating means for creating a composite image and a background image created by the background image creating means by the external moving image extracting means. An external moving image synthesizing unit that synthesizes the image of the moving object that is output according to the moving direction set by the external moving direction setting unit, and the moving image is synthesized with the background image by the moving image synthesizing unit. And an external image display unit that displays a composite image on a display unit having a higher resolution than the display unit of the image display unit. It is possible to create and display a pseudo moving image with light processing based on the image, and to send an image with the same number of pixels as when the image was acquired to the external display device so that the pseudo moving image can be generated and displayed with high image quality. become.
[0134]
According to the composite image output apparatus of the eighth aspect of the present invention, the imaging apparatus that captures an image, the image processing apparatus that is separate from the imaging apparatus, and the imaging apparatus and the image processing apparatus are connected. A composite image output device comprising a connection device, wherein the photographing device includes an image photographing means for photographing an image, an image obtaining means for obtaining a plurality of images based on an image photographed by the image photographing means, Image transmitting means for transmitting a plurality of images acquired by the image acquiring means to the image processing apparatus, synthesized image receiving means for receiving a composite image transmitted from the image processing apparatus via the connection device, and the composition Display means for displaying a composite image received by the image receiving means, wherein the image processing device receives a plurality of images transmitted from the photographing device via the connection device. A moving image extracting means for extracting an image of a moving object from a plurality of images received by the image receiving means, and an image of the moving object extracted by the moving image extracting means. A moving direction setting unit that sets a moving direction on a background image received by the receiving unit, and a background image generating unit that combines and generates a background image of the image based on a plurality of images received by the image receiving unit. And a moving image that combines the image of the moving object extracted by the moving image extracting unit with the background image generated by the background image generating unit according to the moving direction set by the moving direction setting unit. Combining means, and synthesized image transmitting means for transmitting the synthesized image obtained by synthesizing the moving image to the background image by the moving image synthesizing means to the photographing apparatus. Thus, a complete background image based on a plurality of captured still images can be obtained on the side of the image processing apparatus simply by capturing a plurality of still images with the image capturing apparatus and connecting to a separate image processing apparatus via the connection device. A pseudo moving image based on the image is created and displayed on the side of the photographing apparatus.
[0135]
Therefore, according to the present invention, when an arbitrary object on a still image is cut out, moved and synthesized, and a moving image is displayed, a synthesized image output device capable of creating a synthesized image that clearly reproduces the background image, and A composite image output processing program can be provided.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of an electronic circuit of a terminal device 10 as a composite image output device according to an embodiment of the present invention.
FIG. 2 is a diagram showing a background image generation state and a moving image extraction state from original captured still images A, B, and C accompanying a moving image creation process of the composite image output apparatus.
FIG. 3 is a diagram showing a moving image display state including an intermediate image (intermediate image) created in accordance with the moving image creation process of the composite image output apparatus.
FIG. 4 is a diagram showing a moving image display state including an intermediate image (intermediate image) created by designating the moving direction in accordance with the moving image creation processing of the composite image output apparatus.
FIG. 5 is a flowchart showing an image photographing process of the composite image output apparatus.
FIG. 6 is a flowchart showing moving image creation display processing of the composite image output apparatus.
FIG. 7 is a flowchart showing a designated direction image creation process associated with a moving image creation / display process of the composite image output apparatus.
FIG. 8 is a diagram showing a moving image display state when three car images are taken along with moving image creation and display processing along with moving image creation and display processing along with image shooting processing of the composite image output device.
FIG. 9 shows each image from the changed partial image (moved image Ma, Mb, Mc) to the generation of the intermediate image and the background image synthesis in the designated direction image creating process accompanying the moving image creating / displaying process of the synthesized image output device. The figure which shows a processing state.
FIG. 10 is a diagram illustrating a state in which an arbitrary moving direction P for generating a composite moving image is set for travel images of three cars photographed in accordance with the image photographing process of the composite image output apparatus.
FIG. 11 is a diagram showing a moving image display state when each intermediate (intermediate) image is created by setting an arbitrary moving direction P for creating a synthesized moving image in accordance with the moving image creating / displaying process of the synthesized image output device.
FIG. 12 is a flowchart showing image processing when the terminal apparatus 10 is connected to an external PC 40 and a composite moving image is created and displayed on the external PC 40 side;
FIG. 13 is a diagram showing an external configuration when the terminal apparatus 10 and an external PC 40 are connected and a composite moving image is created and displayed also on the external PC 40 side.
FIG. 14 is a flowchart showing image processing when a digital camera 10A and an external PC 40 having a composite moving image creation function are connected to create a composite operation image on the external PC 40 side.
FIG. 15 is a diagram showing an external configuration when a digital camera 10A is connected to an external PC 40 having a composite moving image creation function to create a composite operation image on the external PC 40 side.
[Explanation of symbols]
10 ... Terminal equipment (mobile phone, PDA, digital camera)
10A ... Digital camera
11 ... CPU
12 ... Memory
12a: Communication / image delivery processing program
12b ... work area for image processing
12b1 ... Shooting image memory
12b2 ... Background image memory
12b3 ... Moving image extraction memory
12b4 ... Moving image position / direction table
12b5 ... Setting movement direction memory
12b6 ... Intermediate image memory
13: External recording medium
14 ... Recording medium reader
15 ... Transmission control unit
16: Input section
17a ... Image input unit
17b ... Image output unit
18 ... Near Field Communication Department
19 ... GPS
20 ... Display section
21 ... Digital camera (part)
22 Image printer
30: Web server
40: External PC (user terminal)
N ... Communication network (Internet)
M ... Change partial image (moving image)

Claims (11)

複数の画像を取得する画像取得手段と、
この画像取得手段により取得された複数の画像の中から移動している物体の画像を抽出する移動画像抽出手段と、
この移動画像抽出手段により抽出された移動物体の画像について、前記画像取得手段により取得された背景画像上での移動方向を設定する移動方向設定手段と、
前記画像取得手段により取得された複数の画像に基づき当該画像の背景画像を合成して作成する背景画像作成手段と、
この背景画像作成手段により作成された背景画像に対して、前記移動画像抽出手段により抽出された移動物体の画像を、前記移動方向設定手段により設定された移動方向に応じて合成する移動画像合成手段と、
この移動画像合成手段により背景画像に移動画像の合成された合成画像を出力する画像出力手段と、
を備えたことを特徴とする合成画像出力装置。Image acquisition means for acquiring a plurality of images;
Moving image extraction means for extracting an image of a moving object from a plurality of images acquired by the image acquisition means;
About the moving object image extracted by the moving image extracting means, a moving direction setting means for setting a moving direction on the background image acquired by the image acquiring means;
Background image creation means for creating a background image of the image based on a plurality of images acquired by the image acquisition means;
Moving image combining means for combining the image of the moving object extracted by the moving image extracting means with the background image generated by the background image generating means in accordance with the moving direction set by the moving direction setting means. When,
Image output means for outputting a synthesized image in which the moving image is synthesized with the background image by the moving image synthesizing means;
A composite image output device comprising: 前記移動画像合成手段は、
前記移動方向設定手段により設定された移動方向に沿った補間位置を指定する補間位置指定手段を有し、
前記背景画像作成手段により作成された背景画像上の前記補間位置指定手段により指定された補間位置に対して、前記移動画像抽出手段により抽出された移動物体の画像を合成する、
ことを特徴とする請求項１に記載の合成画像出力装置。The moving image combining means includes
Interpolation position designation means for designating an interpolation position along the movement direction set by the movement direction setting means,
Synthesizing the moving object image extracted by the moving image extracting means with the interpolation position specified by the interpolation position specifying means on the background image created by the background image creating means;
The composite image output apparatus according to claim 1. 前記移動画像合成手段は、
前記移動方向設定手段により設定された移動方向に沿った複数の補間位置を順次指定する補間位置指定手段と、
この補間位置指定手段により前記移動方向に沿った複数の補間位置が順次指定される毎に、当該補間位置およびその位置での移動方向に応じた前記移動物体の中間変形画像を、前記移動画像抽出手段により前記複数の画像の中からそれぞれ抽出された移動物体の各画像に基づき作成する中間画像作成手段とを有し、
この中間画像作成手段により作成された前記移動物体の中間変形画像を、前記背景画像作成手段により作成された背景画像上の前記補間位置指定手段により指定された補間位置に対して合成する、
ことを特徴とする請求項１に記載の合成画像出力装置。The moving image combining means includes
Interpolation position designation means for sequentially designating a plurality of interpolation positions along the movement direction set by the movement direction setting means;
Each time a plurality of interpolation positions along the moving direction are sequentially specified by the interpolation position specifying means, the intermediate deformation image of the moving object corresponding to the interpolation position and the moving direction at the position is extracted as the moving image. Intermediate image creating means for creating based on each image of the moving object respectively extracted from the plurality of images by the means,
Combining the intermediate deformation image of the moving object created by the intermediate image creating means with the interpolation position designated by the interpolation position designating means on the background image created by the background image creating means;
The composite image output apparatus according to claim 1. さらに、
画像を撮影する画像撮影手段を備え、
前記画像取得手段は、前記画像撮影手段により撮影される画像に基づき複数の画像を取得する、
ことを特徴とする請求項１乃至請求項３の何れか１項に記載の合成画像出力装置。further,
An image photographing means for photographing an image is provided,
The image acquisition means acquires a plurality of images based on the images photographed by the image photographing means;
The composite image output apparatus according to claim 1, wherein the composite image output apparatus is a composite image output apparatus. 前記画像取得手段は、
前記画像撮影手段により撮影されている画像を任意のタイミングで取得する画像取得手段と、
この画像取得手段による画像の取得よりも後で、前記画像撮影手段により撮影されている画像上の変化部分を抽出し、当該変化部分により隠れていた撮影画像の背景部分が現れたタイミングでその撮影画像を取得する次画像取得手段とを有する、
ことを特徴とする請求項４に記載の合成画像出力装置。The image acquisition means includes
Image acquisition means for acquiring an image captured by the image capturing means at an arbitrary timing;
After the acquisition of the image by the image acquisition means, a change part on the image photographed by the image photographing means is extracted, and the photographing is performed at the timing when the background part of the photographed image hidden by the change part appears. A next image acquisition means for acquiring an image;
The composite image output apparatus according to claim 4. 前記画像取得手段は、
前記画像撮影手段により撮影されている画像を取得する画像取得手段と、
この画像取得手段による画像の取得よりも後で、前記画像撮影手段により撮影されている画像上の変化部分を抽出し、当該変化部分により隠れていた撮影画像の背景部分が現れたタイミングでその撮影画像の取得を指示する次画像取得指示手段とを有する、
ことを特徴とする請求項４に記載の合成画像出力装置。The image acquisition means includes
Image obtaining means for obtaining an image photographed by the image photographing means;
After the acquisition of the image by the image acquisition means, a change part on the image photographed by the image photographing means is extracted, and the photographing is performed at the timing when the background part of the photographed image hidden by the change part appears. A next image acquisition instruction means for instructing acquisition of an image;
The composite image output apparatus according to claim 4. 前記画像出力手段は、合成画像を表示する表示部を備えた画像表示手段であり、
さらに、
この画像表示手段による表示部の解像度に応じて、前記画像取得手段により取得された複数の画像それぞれの少なくとも画素数を減少変換する画像変換手段を備え、
前記移動画像抽出手段は、前記画像変換手段により画素数の変換された複数の画像の中から移動している物体の画像を抽出し、
前記背景画像作成手段は、前記画像変換手段により画素数の変換された複数の画像に基づき当該画像の背景画像を合成して作成し、
さらに、
外部表示装置と、
この外部表示装置に前記画像取得手段により取得された複数の画像を送信する画像送信手段とを備え、
前記外部表示装置は、
前記画像送信手段により送信された複数の画像を受信する画像受信手段と、
この画像受信手段により受信された複数の画像の中から移動している物体の画像を抽出する外部の移動画像抽出手段と、
この移動画像抽出手段により抽出された移動物体の画像について、前記画像受信手段により受信された背景画像上での移動方向を設定する外部の移動方向設定手段と、
前記画像受信手段により受信された複数の画像に基づき当該画像の背景画像を合成して作成する外部の背景画像作成手段と、
この背景画像作成手段により作成された背景画像に対して、前記外部の移動画像抽出手段により抽出された移動物体の画像を、前記外部の移動方向設定手段により設定された移動方向に応じて合成する外部の移動画像合成手段と、
この移動画像合成手段により背景画像に移動画像の合成された合成画像を前記画像表示手段の表示部より解像度の高い表示部に表示する外部の画像表示手段と、
を備えたことを特徴とする請求項１乃至請求項６の何れか１項に記載の合成画像出力装置。The image output means is an image display means including a display unit for displaying a composite image,
further,
In accordance with the resolution of the display unit by the image display means, image conversion means for reducing and converting at least the number of pixels of each of the plurality of images acquired by the image acquisition means,
The moving image extraction means extracts an image of a moving object from a plurality of images whose number of pixels has been converted by the image conversion means,
The background image creation means creates a background image of the image based on a plurality of images having the number of pixels converted by the image conversion means,
further,
An external display device;
Image transmission means for transmitting a plurality of images acquired by the image acquisition means to the external display device;
The external display device
Image receiving means for receiving a plurality of images transmitted by the image transmitting means;
An external moving image extracting means for extracting an image of a moving object from the plurality of images received by the image receiving means;
External moving direction setting means for setting a moving direction on the background image received by the image receiving means for the moving object image extracted by the moving image extracting means;
An external background image creating means for creating a background image of the image based on a plurality of images received by the image receiving means;
The image of the moving object extracted by the external moving image extracting unit is combined with the background image generated by the background image generating unit according to the moving direction set by the external moving direction setting unit. An external moving image composition means;
An external image display means for displaying a synthesized image obtained by synthesizing the moving image with the background image by the moving image synthesizing means on a display section having a higher resolution than the display section of the image display means;
The composite image output device according to any one of claims 1 to 6, further comprising: 画像を撮影する撮影装置と、この撮影装置とは別体の画像処理装置と、前記撮影装置と画像処理装置とを接続する接続装置とからなる合成画像出力装置であって、
前記撮影装置は、
画像を撮影する画像撮影手段と、
この画像撮影手段により撮影される画像に基づき複数の画像を取得する画像取得手段と、
この画像取得手段により取得された複数の画像を前記画像処理装置へ送信する画像送信手段と、
前記画像処理装置から送信された合成画像を前記接続装置を介して受信する合成画像受信手段と、
この合成画像受信手段により受信された合成画像を表示する表示手段とを備え、
前記画像処理装置は、
前記撮影装置から送信された複数の画像を前記接続装置を介して受信する画像受信手段と、
この画像受信手段により受信された複数の画像の中から移動している物体の画像を抽出する移動画像抽出手段と、
この移動画像抽出手段により抽出された移動物体の画像について、前記画像受信手段により受信された背景画像上での移動方向を設定する移動方向設定手段と、
前記画像受信手段により受信された複数の画像に基づき当該画像の背景画像を合成して作成する背景画像作成手段と、
この背景画像作成手段により作成された背景画像に対して、前記移動画像抽出手段により抽出された移動物体の画像を、前記移動方向設定手段により設定された移動方向に応じて合成する移動画像合成手段と、
この移動画像合成手段により背景画像に移動画像の合成された合成画像を前記撮影装置に送信する合成画像送信手段と、
を備えたことを特徴とする合成画像出力装置。A composite image output device comprising a photographing device for photographing an image, an image processing device separate from the photographing device, and a connection device for connecting the photographing device and the image processing device,
The imaging device
Image photographing means for photographing an image;
Image obtaining means for obtaining a plurality of images based on the images photographed by the image photographing means;
Image transmitting means for transmitting a plurality of images acquired by the image acquiring means to the image processing device;
A composite image receiving means for receiving the composite image transmitted from the image processing device via the connection device;
Display means for displaying the composite image received by the composite image receiving means,
The image processing apparatus includes:
Image receiving means for receiving a plurality of images transmitted from the imaging device via the connection device;
A moving image extracting means for extracting an image of a moving object from a plurality of images received by the image receiving means;
A moving direction setting means for setting a moving direction on a background image received by the image receiving means for the moving object image extracted by the moving image extracting means;
Background image creation means for creating a background image of the image based on a plurality of images received by the image reception means;
Moving image combining means for combining the image of the moving object extracted by the moving image extracting means with the background image generated by the background image generating means in accordance with the moving direction set by the moving direction setting means. When,
A synthesized image transmitting means for transmitting a synthesized image obtained by synthesizing the moving image to the background image by the moving image synthesizing means,
A composite image output device comprising: コンピュータを制御して合成画像を出力するための合成画像出力処理プログラムであって、
前記コンピュータを、
複数の画像を取得する画像取得手段、
この画像取得手段により取得された複数の画像の中から移動している物体の画像を抽出する移動画像抽出手段、
この移動画像抽出手段により抽出された移動物体の画像について、前記画像取得手段により取得された背景画像上での移動方向を設定する移動方向設定手段、
前記画像取得手段により取得された複数の画像に基づき当該画像の背景画像を合成して作成する背景画像作成手段、
この背景画像作成手段により作成された背景画像に対して、前記移動画像抽出手段により抽出された移動物体の画像を、前記移動方向設定手段により設定された移動方向に応じて合成する移動画像合成手段、
この移動画像合成手段により背景画像に移動画像の合成された合成画像を出力する画像出力手段、
として機能させるようにしたコンピュータ読み込み可能な合成画像出力処理プログラム。A composite image output processing program for controlling a computer and outputting a composite image,
The computer,
Image acquisition means for acquiring a plurality of images;
Moving image extraction means for extracting an image of a moving object from a plurality of images acquired by the image acquisition means;
About the moving object image extracted by the moving image extracting means, a moving direction setting means for setting a moving direction on the background image acquired by the image acquiring means,
Background image creating means for creating a background image of the image based on a plurality of images obtained by the image obtaining means;
Moving image combining means for combining the image of the moving object extracted by the moving image extracting means with the background image generated by the background image generating means in accordance with the moving direction set by the moving direction setting means. ,
Image output means for outputting a synthesized image in which the moving image is synthesized with the background image by the moving image synthesizing means,
A computer-readable composite image output processing program designed to function as a computer. 前記移動画像合成手段は、
前記移動方向設定手段により設定された移動方向に沿った補間位置を指定する補間位置指定手段を有し、
前記背景画像作成手段により作成された背景画像上の前記補間位置指定手段により指定された補間位置に対して、前記移動画像抽出手段により抽出された移動物体の画像を合成する、
ことを特徴とする請求項９に記載のコンピュータ読み込み可能な合成画像出力処理プログラム。The moving image combining means includes
Interpolation position designation means for designating an interpolation position along the movement direction set by the movement direction setting means,
Synthesizing the moving object image extracted by the moving image extracting means with the interpolation position specified by the interpolation position specifying means on the background image created by the background image creating means;
The computer-readable composite image output processing program according to claim 9. 前記移動画像合成手段は、
前記移動方向設定手段により設定された移動方向に沿った複数の補間位置を順次指定する補間位置指定手段と、
この補間位置指定手段により前記移動方向に沿った複数の補間位置が順次指定される毎に、当該補間位置およびその位置での移動方向に応じた前記移動物体の中間変形画像を、前記移動画像抽出手段により前記複数の画像の中からそれぞれ抽出された移動物体の各画像に基づき作成する中間画像作成手段とを有し、
この中間画像作成手段により作成された前記移動物体の中間変形画像を、前記背景画像作成手段により作成された背景画像上の前記補間位置指定手段により指定された補間位置に対して合成する、
ことを特徴とする請求項９に記載のコンピュータ読み込み可能な合成画像出力処理プログラム。The moving image combining means includes
Interpolation position designation means for sequentially designating a plurality of interpolation positions along the movement direction set by the movement direction setting means;
Each time a plurality of interpolation positions along the moving direction are sequentially specified by the interpolation position specifying means, the intermediate deformation image of the moving object corresponding to the interpolation position and the moving direction at the position is extracted as the moving image. Intermediate image creating means for creating based on each image of the moving object respectively extracted from the plurality of images by the means,
Combining the intermediate deformation image of the moving object created by the intermediate image creating means with the interpolation position designated by the interpolation position designating means on the background image created by the background image creating means;
The computer-readable composite image output processing program according to claim 9.
JP2003185498A 2003-06-27 2003-06-27 Composite image output device and composite image output processing program Pending JP2005020607A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003185498A JP2005020607A (en) 2003-06-27 2003-06-27 Composite image output device and composite image output processing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003185498A JP2005020607A (en) 2003-06-27 2003-06-27 Composite image output device and composite image output processing program

Publications (1)

Publication Number Publication Date
JP2005020607A true JP2005020607A (en) 2005-01-20

Family

ID=34184929

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003185498A Pending JP2005020607A (en) 2003-06-27 2003-06-27 Composite image output device and composite image output processing program

Country Status (1)

Country Link
JP (1) JP2005020607A (en)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006270550A (en) * 2005-03-24 2006-10-05 Casio Comput Co Ltd Image photographing apparatus, and program
JP2008015606A (en) * 2006-07-03 2008-01-24 Tokyo Univ Of Science Image interpretation support moving image generation method, program, and image interpretation support moving image generation equipment
JP2008085531A (en) * 2006-09-27 2008-04-10 Fujitsu Ltd Image processor, image processing method, image processing program, and imaging apparatus
JP2008187267A (en) * 2007-01-26 2008-08-14 Canon Inc Moving picture printer
JP2009116575A (en) * 2007-11-06 2009-05-28 Olympus Imaging Corp Image synthesizing apparatus and image synthesizing method
US20100157069A1 (en) * 2008-12-24 2010-06-24 Casio Computer Co., Ltd. Image producing apparatus, image displaying method and recording medium
JP2010287983A (en) * 2009-06-10 2010-12-24 Casio Computer Co Ltd Image capturing apparatus, image processing method, and program
JP2011077934A (en) * 2009-09-30 2011-04-14 Casio Computer Co Ltd Image processing apparatus, image processing method, and program
JP2011139307A (en) * 2009-12-28 2011-07-14 Casio Computer Co Ltd Moving picture generation system, moving picture display method, and web server
JP2012039645A (en) * 2011-10-05 2012-02-23 Fujitsu Ltd Image data processing apparatus, image data processing method, image data processing program, and imaging apparatus
JP2012054798A (en) * 2010-09-02 2012-03-15 Casio Comput Co Ltd Image processing apparatus and program
JP2012134775A (en) * 2010-12-21 2012-07-12 Nikon Systems Inc Image processing system, imaging apparatus, and image processing program
JP2012182582A (en) * 2011-02-28 2012-09-20 Olympus Imaging Corp Imaging apparatus
JP2012235481A (en) * 2012-06-22 2012-11-29 Olympus Imaging Corp Image processing apparatus, image processing method, and image processing program
JP2013017141A (en) * 2011-07-06 2013-01-24 Olympus Imaging Corp Image reproduction device
JP2014110469A (en) * 2012-11-30 2014-06-12 Toshiba Corp Electronic device, image processing method, and program
JP2017130748A (en) * 2016-01-19 2017-07-27 ヤフー株式会社 Generation device, generation method, and generation program

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4635675B2 (en) * 2005-03-24 2011-02-23 カシオ計算機株式会社 Imaging apparatus and program
JP2006270550A (en) * 2005-03-24 2006-10-05 Casio Comput Co Ltd Image photographing apparatus, and program
JP2008015606A (en) * 2006-07-03 2008-01-24 Tokyo Univ Of Science Image interpretation support moving image generation method, program, and image interpretation support moving image generation equipment
US8026932B2 (en) 2006-09-27 2011-09-27 Fujitsu Limited Image processing apparatus, image processing method, image processing program, and image pickup apparatus
JP2008085531A (en) * 2006-09-27 2008-04-10 Fujitsu Ltd Image processor, image processing method, image processing program, and imaging apparatus
JP2008187267A (en) * 2007-01-26 2008-08-14 Canon Inc Moving picture printer
JP2009116575A (en) * 2007-11-06 2009-05-28 Olympus Imaging Corp Image synthesizing apparatus and image synthesizing method
US20100157069A1 (en) * 2008-12-24 2010-06-24 Casio Computer Co., Ltd. Image producing apparatus, image displaying method and recording medium
JP2010153947A (en) * 2008-12-24 2010-07-08 Casio Computer Co Ltd Image generating apparatus, image generating program and image display method
JP2010287983A (en) * 2009-06-10 2010-12-24 Casio Computer Co Ltd Image capturing apparatus, image processing method, and program
JP2011077934A (en) * 2009-09-30 2011-04-14 Casio Computer Co Ltd Image processing apparatus, image processing method, and program
JP2011139307A (en) * 2009-12-28 2011-07-14 Casio Computer Co Ltd Moving picture generation system, moving picture display method, and web server
JP2012054798A (en) * 2010-09-02 2012-03-15 Casio Comput Co Ltd Image processing apparatus and program
JP2012134775A (en) * 2010-12-21 2012-07-12 Nikon Systems Inc Image processing system, imaging apparatus, and image processing program
JP2012182582A (en) * 2011-02-28 2012-09-20 Olympus Imaging Corp Imaging apparatus
JP2013017141A (en) * 2011-07-06 2013-01-24 Olympus Imaging Corp Image reproduction device
JP2012039645A (en) * 2011-10-05 2012-02-23 Fujitsu Ltd Image data processing apparatus, image data processing method, image data processing program, and imaging apparatus
JP2012235481A (en) * 2012-06-22 2012-11-29 Olympus Imaging Corp Image processing apparatus, image processing method, and image processing program
JP2014110469A (en) * 2012-11-30 2014-06-12 Toshiba Corp Electronic device, image processing method, and program
JP2017130748A (en) * 2016-01-19 2017-07-27 ヤフー株式会社 Generation device, generation method, and generation program

Similar Documents

Publication Publication Date Title
JP2005020607A (en) Composite image output device and composite image output processing program
KR100912877B1 (en) A mobile communication terminal having a function of the creating 3d avata model and the method thereof
JP5340895B2 (en) Image data creation support apparatus and image data creation support method
JP2018112997A (en) Image processor, method of the same, program, and image processing system
JP4965475B2 (en) Virtual moving display device
JP2003219271A (en) System for synthesizing multipoint virtual studio
CN109218630B (en) Multimedia information processing method and device, terminal and storage medium
KR101398032B1 (en) Method of creating and reproducing a panoramic sound image, and apparatus for reproducing such an image
JP2008010966A (en) Moving picture generation system and method
JP2004193962A (en) Image communication equipment, image communication method, and computer program
JP6812181B2 (en) Image processing device, image processing method, and program
JP5596844B2 (en) Image processing apparatus, image processing system, and image processing method
US7002584B2 (en) Video information producing device
JP2009141508A (en) Television conference device, television conference method, program, and recording medium
JP2023153790A (en) program
JP2006171939A (en) Image processor and method
US11825191B2 (en) Method for assisting the acquisition of media content at a scene
WO2020189510A1 (en) Image processing device, image processing method, computer program, and storage medium
JP4130176B2 (en) Image processing method and image composition apparatus
KR20180124539A (en) Chroma key remote synthesis synchronization system and method
JP7167629B2 (en) guide system
JP2020188417A (en) Image processing apparatus, image processing method, and computer program
JP2020150517A (en) Image processing apparatus, image processing method, computer program and storage medium
JP6849851B2 (en) Shooting system, shooting device and user shooting method
CN115802165B (en) Lens moving shooting method applied to live broadcast connection of different places and same scene