JP2013187595A - 画像処理装置、画像処理方法及びプログラム - Google Patents
画像処理装置、画像処理方法及びプログラム Download PDFInfo
- Publication number
- JP2013187595A JP2013187595A JP2012048916A JP2012048916A JP2013187595A JP 2013187595 A JP2013187595 A JP 2013187595A JP 2012048916 A JP2012048916 A JP 2012048916A JP 2012048916 A JP2012048916 A JP 2012048916A JP 2013187595 A JP2013187595 A JP 2013187595A
- Authority
- JP
- Japan
- Prior art keywords
- image
- unit
- predetermined
- moving image
- foreground
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Studio Circuits (AREA)
- Studio Devices (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
【課題】前景の画像の動作態様を変化させて動画像の興趣性の向上を図る。
【解決手段】携帯端末100であって、所定の再生時間で再生可能な所定のオブジェクトの動画像を取得する第1画像取得部6aと、表示パネル3aの表示領域にてユーザによる操作入力部4の所定操作に基づいて描画された操作軌跡を特定する軌跡特定部5と、特定された操作軌跡の長さを基準として、当該操作軌跡に沿って移動表示されるとともに背景画像に重畳表示される動画像の所定のオブジェクトの動作態様を変化させる合成制御部6eと、を備えている。
【選択図】図1
【解決手段】携帯端末100であって、所定の再生時間で再生可能な所定のオブジェクトの動画像を取得する第1画像取得部6aと、表示パネル3aの表示領域にてユーザによる操作入力部4の所定操作に基づいて描画された操作軌跡を特定する軌跡特定部5と、特定された操作軌跡の長さを基準として、当該操作軌跡に沿って移動表示されるとともに背景画像に重畳表示される動画像の所定のオブジェクトの動作態様を変化させる合成制御部6eと、を備えている。
【選択図】図1
Description
本発明は、画像処理装置、画像処理方法及びプログラムに関する。
従来、任意の形状の軌跡を入力して、当該軌跡に沿って所定のキャラクタを表示部にて移動表示させる電子機器が知られている(例えば、特許文献1参照)。
しかしながら、上記特許文献1においては、入力された軌跡に沿って所定のキャラクタ等の画像を移動表示させるだけであり、前景の画像として所定のキャラクタの動画像を用いても生成される動画像の興趣性を向上させることが困難であった。
そこで、本願発明の課題は、前景の画像の動作態様を変化させて動画像の興趣性の向上を図ることができる画像処理装置、画像処理方法及びプログラムを提供することである。
上記課題を解決するため、本発明に係る画像処理装置は、
所定の再生時間で再生可能な所定のオブジェクトの動画像を取得する第1取得手段と、表示手段の表示領域にてユーザによる操作手段の所定操作に基づいて描画された軌跡を特定する特定手段と、前記特定手段により特定された軌跡の長さを基準として、当該軌跡に沿って移動表示されるとともに背景画像に重畳表示される前記動画像の所定のオブジェクトの動作態様を変化させる制御手段と、を備えたことを特徴としている。
所定の再生時間で再生可能な所定のオブジェクトの動画像を取得する第1取得手段と、表示手段の表示領域にてユーザによる操作手段の所定操作に基づいて描画された軌跡を特定する特定手段と、前記特定手段により特定された軌跡の長さを基準として、当該軌跡に沿って移動表示されるとともに背景画像に重畳表示される前記動画像の所定のオブジェクトの動作態様を変化させる制御手段と、を備えたことを特徴としている。
また、本発明に係る画像処理方法は、
画像処理装置を用いた画像処理方法であって、所定の再生時間で再生可能な所定のオブジェクトの動画像を取得する処理と、表示手段の表示領域にてユーザによる操作手段の所定操作に基づいて描画された軌跡を特定する処理と、特定された軌跡の長さを基準として、当該軌跡に沿って移動表示されるとともに背景画像に重畳表示される前記動画像の所定のオブジェクトの動作態様を変化させる処理と、を含むことを特徴としている。
画像処理装置を用いた画像処理方法であって、所定の再生時間で再生可能な所定のオブジェクトの動画像を取得する処理と、表示手段の表示領域にてユーザによる操作手段の所定操作に基づいて描画された軌跡を特定する処理と、特定された軌跡の長さを基準として、当該軌跡に沿って移動表示されるとともに背景画像に重畳表示される前記動画像の所定のオブジェクトの動作態様を変化させる処理と、を含むことを特徴としている。
また、本発明に係るプログラムは、
画像処理装置のコンピュータを、所定の再生時間で再生可能な所定のオブジェクトの動画像を取得する第1取得手段、表示手段の表示領域にてユーザによる操作手段の所定操作に基づいて描画された軌跡を特定する特定手段、前記特定手段により特定された軌跡の長さを基準として、当該軌跡に沿って移動表示されるとともに背景画像に重畳表示される前記動画像の所定のオブジェクトの動作態様を変化させる制御手段、として機能させることを特徴としている。
画像処理装置のコンピュータを、所定の再生時間で再生可能な所定のオブジェクトの動画像を取得する第1取得手段、表示手段の表示領域にてユーザによる操作手段の所定操作に基づいて描画された軌跡を特定する特定手段、前記特定手段により特定された軌跡の長さを基準として、当該軌跡に沿って移動表示されるとともに背景画像に重畳表示される前記動画像の所定のオブジェクトの動作態様を変化させる制御手段、として機能させることを特徴としている。
本発明によれば、前景の画像の動作態様を変化させて動画像の興趣性の向上を図ることができる。
以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。
[実施形態1]
図1は、本発明を適用した実施形態1の携帯端末100の概略構成を示すブロック図である。
図1に示すように、実施形態1の携帯端末100は、中央制御部1と、メモリ2と、表示部3と、操作入力部4と、軌跡特定部5と、画像処理部6と、画像記録部7と、送受話部8と、通信制御部9と、を備えている。
なお、携帯端末100は、例えば、通信機能を具備する撮像装置や、携帯電話やPHS(Personal Handy-phone System)などの移動体通信網で用いられる移動局、PDA(Personal Data Assistants)等から構成されている。
図1は、本発明を適用した実施形態1の携帯端末100の概略構成を示すブロック図である。
図1に示すように、実施形態1の携帯端末100は、中央制御部1と、メモリ2と、表示部3と、操作入力部4と、軌跡特定部5と、画像処理部6と、画像記録部7と、送受話部8と、通信制御部9と、を備えている。
なお、携帯端末100は、例えば、通信機能を具備する撮像装置や、携帯電話やPHS(Personal Handy-phone System)などの移動体通信網で用いられる移動局、PDA(Personal Data Assistants)等から構成されている。
中央制御部1は、携帯端末100の各部を制御するものである。具体的には、中央制御部1は、図示は省略するが、CPU(Central Processing Unit)、RAM(Random Access Memory)、ROM(Read Only Memory)を備え、携帯端末100用の各種処理プログラム(図示略)に従って各種の制御動作を行う。
メモリ2は、例えば、DRAM(Dynamic Random Access Memory)等により構成され、中央制御部1や画像処理部6等の各部によって処理されるデータ等を一時的に記憶するものである。
表示部3は、表示パネル3aと、表示制御部3bとを具備している。
表示パネル(表示手段)3aは、表示領域内に画像(例えば、背景画像P2等;図5(a)参照)を表示する。また、表示パネル3aとしては、例えば、液晶表示パネルや有機EL表示パネルなどが挙げられるが、一例であってこれらに限られるものではない。
表示制御部3bは、画像記録部7から読み出され画像処理部6により復号された所定サイズの画像データに基づいて、所定の画像を表示パネル3aの表示画面に表示させる制御を行う。具体的には、表示制御部3bは、VRAM(Video Random Access Memory)、VRAMコントローラ、デジタルビデオエンコーダなどを備えている。そして、デジタルビデオエンコーダは、画像処理部6により復号されてVRAM(図示略)に記憶されている輝度信号Y及び色差信号Cb,Crを、VRAMコントローラを介してVRAMから所定の再生フレームレート(例えば、30fps)で読み出して、これらのデータを元にビデオ信号を発生して表示部3に出力する。
表示パネル(表示手段)3aは、表示領域内に画像(例えば、背景画像P2等;図5(a)参照)を表示する。また、表示パネル3aとしては、例えば、液晶表示パネルや有機EL表示パネルなどが挙げられるが、一例であってこれらに限られるものではない。
表示制御部3bは、画像記録部7から読み出され画像処理部6により復号された所定サイズの画像データに基づいて、所定の画像を表示パネル3aの表示画面に表示させる制御を行う。具体的には、表示制御部3bは、VRAM(Video Random Access Memory)、VRAMコントローラ、デジタルビデオエンコーダなどを備えている。そして、デジタルビデオエンコーダは、画像処理部6により復号されてVRAM(図示略)に記憶されている輝度信号Y及び色差信号Cb,Crを、VRAMコントローラを介してVRAMから所定の再生フレームレート(例えば、30fps)で読み出して、これらのデータを元にビデオ信号を発生して表示部3に出力する。
操作入力部4は、携帯端末100本体に対して各種指示を入力するためのものである。
具体的には、操作入力部4は、モードや機能等の選択指示に係る上下左右のカーソルボタンや決定ボタン、電話の発着信や電子メールの送受信等の実行指示に係る通信関連ボタン、テキストの入力指示に係る数字ボタンや記号ボタン等の各種ボタン(何れも図示略)を備えている。
そして、ユーザにより各種ボタンが操作されると、操作入力部4は、操作されたボタンに応じた操作指示を中央制御部1に出力する。中央制御部1は、操作入力部4から出力され入力された操作指示に従って所定の動作(例えば、被写体の撮像、電話の発着信、電子メールの送受信等)を各部に実行させる。
具体的には、操作入力部4は、モードや機能等の選択指示に係る上下左右のカーソルボタンや決定ボタン、電話の発着信や電子メールの送受信等の実行指示に係る通信関連ボタン、テキストの入力指示に係る数字ボタンや記号ボタン等の各種ボタン(何れも図示略)を備えている。
そして、ユーザにより各種ボタンが操作されると、操作入力部4は、操作されたボタンに応じた操作指示を中央制御部1に出力する。中央制御部1は、操作入力部4から出力され入力された操作指示に従って所定の動作(例えば、被写体の撮像、電話の発着信、電子メールの送受信等)を各部に実行させる。
また、操作入力部4は、表示部3の表示パネル3aと一体となって設けられたタッチパネル4aを有している。
タッチパネル4aは、表示パネル3aの表示領域をなす表示画面に直接的若しくは間接的に接触するユーザの指(手)やタッチペン等の接触位置を検出する。即ち、タッチパネル4aは、例えば、表示画面上或いは当該表示画面よりも内側に設けられ、抵抗膜方式、超音波表面弾性波方式、静電容量方式等の各種方式により、表示画面上における接触位置のXY座標を検出する。そして、タッチパネル4aは、接触位置のXY座標に係る位置信号を中央制御部1に出力する。
なお、タッチパネル4aによる表示画面上における接触位置の検出精度は、適宜任意に変更可能であり、例えば、厳密に一の画素を接触位置としても良いし、一の画素を中心とする所定範囲内の複数の画素を接触位置としても良い。
タッチパネル4aは、表示パネル3aの表示領域をなす表示画面に直接的若しくは間接的に接触するユーザの指(手)やタッチペン等の接触位置を検出する。即ち、タッチパネル4aは、例えば、表示画面上或いは当該表示画面よりも内側に設けられ、抵抗膜方式、超音波表面弾性波方式、静電容量方式等の各種方式により、表示画面上における接触位置のXY座標を検出する。そして、タッチパネル4aは、接触位置のXY座標に係る位置信号を中央制御部1に出力する。
なお、タッチパネル4aによる表示画面上における接触位置の検出精度は、適宜任意に変更可能であり、例えば、厳密に一の画素を接触位置としても良いし、一の画素を中心とする所定範囲内の複数の画素を接触位置としても良い。
軌跡特定部5は、ユーザによる所定の描画操作に対応する操作軌跡L(図5(b)参照)を特定するものである。
即ち、軌跡特定部(特定手段)5は、表示パネル3aの表示領域にてユーザによる操作入力部4の所定操作に基づいて描画された操作軌跡Lを特定する。具体的には、軌跡特定部5は、操作入力部4のタッチパネル4aにより連続して検出された接触位置のXY座標に係る位置信号が入力されると、当該タッチパネル4aの接触位置の各々を表示パネル3aの表示領域における操作点の各々として特定する。そして、軌跡特定部5は、特定された複数の操作点どうしを結線することで、ユーザによる描画操作に対応する操作軌跡L(例えば、背景画像P2内の山の端に沿った操作軌跡L等)を特定する。
また、軌跡特定部5は、特定された操作軌跡Lの長さを算出しても良い。即ち、軌跡特定部5は、タッチパネル4aにより連続して検出された接触位置の各々に対応する各操作点の個数(例えば、各操作点を一画素とした場合の画素数)を操作軌跡Lの長さとして算出する。
即ち、軌跡特定部(特定手段)5は、表示パネル3aの表示領域にてユーザによる操作入力部4の所定操作に基づいて描画された操作軌跡Lを特定する。具体的には、軌跡特定部5は、操作入力部4のタッチパネル4aにより連続して検出された接触位置のXY座標に係る位置信号が入力されると、当該タッチパネル4aの接触位置の各々を表示パネル3aの表示領域における操作点の各々として特定する。そして、軌跡特定部5は、特定された複数の操作点どうしを結線することで、ユーザによる描画操作に対応する操作軌跡L(例えば、背景画像P2内の山の端に沿った操作軌跡L等)を特定する。
また、軌跡特定部5は、特定された操作軌跡Lの長さを算出しても良い。即ち、軌跡特定部5は、タッチパネル4aにより連続して検出された接触位置の各々に対応する各操作点の個数(例えば、各操作点を一画素とした場合の画素数)を操作軌跡Lの長さとして算出する。
なお、操作入力部4の所定操作を利用した操作軌跡Lの描画は、表示パネル3aの表示領域に背景画像P2が表示された状態で行われても良い。即ち、後述するように、操作軌跡Lを利用して背景画像P2内での前景画像P1の合成位置が指定されるので、表示領域に表示された背景画像P2内で前景画像P1が合成表示される位置をユーザが把握することができるようになる。
また、図5(b)にあっては、表示パネル3aの表示領域上に操作軌跡Lの一例を模式的に表しているが、当該操作軌跡Lを視認可能に表示するか否かは適宜任意に変更可能である。
また、操作軌跡Lの形状や本数は、一例であってこれに限られるものではなく、適宜任意に変更可能である。
また、操作軌跡Lの形状や本数は、一例であってこれに限られるものではなく、適宜任意に変更可能である。
画像処理部6は、画像記録部7から読み出された表示対象に係る静止画像や動画像の画像データを対応する所定の符号化方式(例えば、JPEG形式、モーションJPEG形式、MPEG形式など)に従って復号して、表示制御部3bに出力する。このとき、画像処理部6は、画像記録部7から読み出された画像データを、例えば、表示パネル3aの表示解像度等に基づいて所定サイズ(例えば、VGAやQVGAサイズ)に縮小して表示制御部3bに出力する。
また、画像処理部6は、第1画像取得部6aと、第2画像取得部6bと、第1算出部6cと、画像合成部6dと、合成制御部6eとを具備している。
なお、画像処理部6の各部は、例えば、所定のロジック回路から構成されているが、当該構成は一例であってこれに限られるものではない。
なお、画像処理部6の各部は、例えば、所定のロジック回路から構成されているが、当該構成は一例であってこれに限られるものではない。
第1画像取得部6aは、合成画像生成処理(後述)に用いられる前景画像P1を取得する。
即ち、第1画像取得部(第1取得手段)6aは、ユーザ所望の画像を前景画像P1として取得する。具体的には、第1画像取得部6aは、画像記録部7に記録されている少なくとも一の前景画像P1の中で、ユーザによる操作入力部4の所定操作に基づいて指定されたユーザ所望の前景画像P1(図4参照)の画像データを取得する。
ここで、前景画像P1は、例えば、所定の撮像フレームレート(例えば、10fps等)で撮像されたn枚の前景フレーム画像Fa1〜Fanから構成された動画像であり、前景フレーム画像Faの構成枚数に応じた所定の再生時間(例えば、10秒等)と対応付けられている。即ち、前景画像P1を構成するn枚全ての前景フレーム画像Faが所定の再生フレームレート(例えば、10fps等)で順次切り替えて再生されるのにかかる時間が、当該前景画像P1の再生時間となる。
即ち、第1画像取得部(第1取得手段)6aは、ユーザ所望の画像を前景画像P1として取得する。具体的には、第1画像取得部6aは、画像記録部7に記録されている少なくとも一の前景画像P1の中で、ユーザによる操作入力部4の所定操作に基づいて指定されたユーザ所望の前景画像P1(図4参照)の画像データを取得する。
ここで、前景画像P1は、例えば、所定の撮像フレームレート(例えば、10fps等)で撮像されたn枚の前景フレーム画像Fa1〜Fanから構成された動画像であり、前景フレーム画像Faの構成枚数に応じた所定の再生時間(例えば、10秒等)と対応付けられている。即ち、前景画像P1を構成するn枚全ての前景フレーム画像Faが所定の再生フレームレート(例えば、10fps等)で順次切り替えて再生されるのにかかる時間が、当該前景画像P1の再生時間となる。
第2画像取得部6bは、合成画像生成処理に用いられる背景画像P2を取得する。
即ち、第2画像取得部(第2取得手段)6bは、ユーザ所望の画像を背景画像P2として取得する。具体的には、第2画像取得部6bは、画像記録部7に記録されている少なくとも一の背景画像P2の中で、ユーザによる操作入力部4の所定操作に基づいて指定されたユーザ所望の背景画像P2(図5(a)等参照)の画像データを取得する。
即ち、第2画像取得部(第2取得手段)6bは、ユーザ所望の画像を背景画像P2として取得する。具体的には、第2画像取得部6bは、画像記録部7に記録されている少なくとも一の背景画像P2の中で、ユーザによる操作入力部4の所定操作に基づいて指定されたユーザ所望の背景画像P2(図5(a)等参照)の画像データを取得する。
第1算出部6cは、前景画像P1の被写体領域Gの移動速度を算出する。
即ち、第1算出部(第1算出手段)6cは、軌跡特定部5により特定された操作軌跡Lの長さと前景画像P1の再生時間とに基づいて、当該前景画像P1の被写体領域(所定のオブジェクト)Gの移動速度を算出する。具体的には、第1算出部6cは、操作軌跡Lの長さ(例えば、操作軌跡Lを構成する画素数等)を前景画像P1の再生時間で除算して、背景画像P2に対して重畳表示される前景画像P1を構成する各前景フレーム画像Faの被写体領域Gの表示位置の単位時間あたりの変位量(画素数)を特定する。
なお、被写体領域の表示位置の単位時間あたりの変位量は、所定の一方向(例えば、X軸方向等)を基準とする距離であっても良いし、互いに直交する二方向(例えば、X軸方向やY軸方向等)を基準とする距離(例えば、ユークリッド距離等)であっても良い。
即ち、第1算出部(第1算出手段)6cは、軌跡特定部5により特定された操作軌跡Lの長さと前景画像P1の再生時間とに基づいて、当該前景画像P1の被写体領域(所定のオブジェクト)Gの移動速度を算出する。具体的には、第1算出部6cは、操作軌跡Lの長さ(例えば、操作軌跡Lを構成する画素数等)を前景画像P1の再生時間で除算して、背景画像P2に対して重畳表示される前景画像P1を構成する各前景フレーム画像Faの被写体領域Gの表示位置の単位時間あたりの変位量(画素数)を特定する。
なお、被写体領域の表示位置の単位時間あたりの変位量は、所定の一方向(例えば、X軸方向等)を基準とする距離であっても良いし、互いに直交する二方向(例えば、X軸方向やY軸方向等)を基準とする距離(例えば、ユークリッド距離等)であっても良い。
画像合成部6dは、背景画像P2と前景画像P1とを合成する画像合成処理を行う。
即ち、画像合成部(合成手段)6dは、第1画像取得部6aにより取得された前景画像P1の被写体領域Gと第2画像取得部6bにより取得された背景画像P2とを合成して合成動画像Mを生成する。具体的には、画像合成部6dは、前景画像P1を構成する各前景フレーム画像Fa毎に、被写体領域Gを背景画像P2と合成して合成動画像Mを構成するフレーム画像Fbを個別に生成する。
例えば、画像合成部6dは、背景画像P2の各画素のうち、前景画像P1の各前景フレーム画像Faの画素のアルファ値が0の画素は背景画像P2に対して透過させ、各前景フレーム画像Faの画素のアルファ値が1の画素は当該前景フレーム画像Faの対応する画素の画素値で背景画像P2の画素を上書きし、さらに、背景画像P2の各画素のうち、各前景フレーム画像Faの画素のアルファ値が0<α<1の画素は1の補数(1−α)を用いて当該前景フレーム画像Faの被写体領域Gを切り抜いた画像(背景画像×(1−α))を生成した後、アルファマップにおける1の補数(1−α)を用いて当該前景フレーム画像Faを生成した際に単一背景色とブレンドした値を計算し、当該値を前景フレーム画像Faから減算し、それを被写体領域Gを切り抜いた画像(背景画像×(1−α))と合成する。
即ち、画像合成部(合成手段)6dは、第1画像取得部6aにより取得された前景画像P1の被写体領域Gと第2画像取得部6bにより取得された背景画像P2とを合成して合成動画像Mを生成する。具体的には、画像合成部6dは、前景画像P1を構成する各前景フレーム画像Fa毎に、被写体領域Gを背景画像P2と合成して合成動画像Mを構成するフレーム画像Fbを個別に生成する。
例えば、画像合成部6dは、背景画像P2の各画素のうち、前景画像P1の各前景フレーム画像Faの画素のアルファ値が0の画素は背景画像P2に対して透過させ、各前景フレーム画像Faの画素のアルファ値が1の画素は当該前景フレーム画像Faの対応する画素の画素値で背景画像P2の画素を上書きし、さらに、背景画像P2の各画素のうち、各前景フレーム画像Faの画素のアルファ値が0<α<1の画素は1の補数(1−α)を用いて当該前景フレーム画像Faの被写体領域Gを切り抜いた画像(背景画像×(1−α))を生成した後、アルファマップにおける1の補数(1−α)を用いて当該前景フレーム画像Faを生成した際に単一背景色とブレンドした値を計算し、当該値を前景フレーム画像Faから減算し、それを被写体領域Gを切り抜いた画像(背景画像×(1−α))と合成する。
合成制御部6eは、背景画像P2と合成される前景画像P1の動作態様の変化を制御する。
即ち、合成制御部(制御手段)6eは、軌跡特定部5により特定された操作軌跡Lの長さを基準として、当該操作軌跡Lに沿って移動表示されるとともに背景画像P2に重畳表示される前景画像P1の被写体領域Gの動作態様を変化させる。また、合成制御部6eは、画像合成部6dによる画像合成処理を制御し、画像合成部6dにより背景画像P2と前景画像P1とを合成する際に、前景画像P1の被写体領域Gの動作態様を変化させる。
具体的には、合成制御部6eは、第1算出部6cにより算出された移動速度で被写体領域Gを移動させることで当該被写体領域Gの動作態様を変化させる。例えば、合成制御部6eは、第1算出部6cにより単位時間あたりの変位量として特定された画素数ずつ被写体領域Gの合成位置を操作軌跡Lに沿ってずらして被写体領域Gを移動させる。このとき、合成制御部6eは、前景画像P1の被写体領域Gの表示位置を操作軌跡Lが描画された際の始点側から終点側に移動させるようにしても良いし、逆に、操作軌跡Lの終点側から始点側に移動させるようにしても良い。
即ち、合成制御部(制御手段)6eは、軌跡特定部5により特定された操作軌跡Lの長さを基準として、当該操作軌跡Lに沿って移動表示されるとともに背景画像P2に重畳表示される前景画像P1の被写体領域Gの動作態様を変化させる。また、合成制御部6eは、画像合成部6dによる画像合成処理を制御し、画像合成部6dにより背景画像P2と前景画像P1とを合成する際に、前景画像P1の被写体領域Gの動作態様を変化させる。
具体的には、合成制御部6eは、第1算出部6cにより算出された移動速度で被写体領域Gを移動させることで当該被写体領域Gの動作態様を変化させる。例えば、合成制御部6eは、第1算出部6cにより単位時間あたりの変位量として特定された画素数ずつ被写体領域Gの合成位置を操作軌跡Lに沿ってずらして被写体領域Gを移動させる。このとき、合成制御部6eは、前景画像P1の被写体領域Gの表示位置を操作軌跡Lが描画された際の始点側から終点側に移動させるようにしても良いし、逆に、操作軌跡Lの終点側から始点側に移動させるようにしても良い。
例えば、合成制御部6eは、前景画像P1を構成する最初の前景フレーム画像Fa1の被写体領域Gが操作軌跡Lの始点側の所定位置(例えば、右端部等)に位置するように、当該前景画像P1の被写体領域Gの合成位置を設定する。そして、前景画像P1の被写体領域Gが画像合成部6dにより背景画像P2と合成されて最初のフレーム画像Fb1が生成される(図6(a)参照)。その後、合成制御部6eは、前景画像P1を構成する二番目の前景フレーム画像Fa2の被写体領域Gが、第1算出部6cにより移動速度として特定された単位時間あたりの変位量(画素数)だけ操作軌跡Lに沿って終点側に移動した位置に位置するように、当該前景画像P1の被写体領域Gの合成位置を設定する。そして、前景画像P1の被写体領域Gが画像合成部6dにより背景画像P2と合成されて二番目のフレーム画像Fb2が生成される(図6(b)参照)。
上記の処理を、合成制御部6eは、前景画像P1を構成する三番目以降の前景フレーム画像Fa3、…についても順次同様に行っていき(図6(c)参照)、最終的に、前景画像P1を構成する最後の前景フレーム画像Fanの被写体領域Gが操作軌跡Lの終点側の所定位置(例えば、左端部等)に位置するように、当該前景画像P1の被写体領域Gの合成位置を設定する。そして、前景画像P1の被写体領域Gが画像合成部6dにより背景画像P2と合成されて最後のフレーム画像Fbnが生成される(図6(d)参照)。
これにより、合成画像として、複数のフレーム画像Fb、…から構成された合成動画像Mが生成される。
上記の処理を、合成制御部6eは、前景画像P1を構成する三番目以降の前景フレーム画像Fa3、…についても順次同様に行っていき(図6(c)参照)、最終的に、前景画像P1を構成する最後の前景フレーム画像Fanの被写体領域Gが操作軌跡Lの終点側の所定位置(例えば、左端部等)に位置するように、当該前景画像P1の被写体領域Gの合成位置を設定する。そして、前景画像P1の被写体領域Gが画像合成部6dにより背景画像P2と合成されて最後のフレーム画像Fbnが生成される(図6(d)参照)。
これにより、合成画像として、複数のフレーム画像Fb、…から構成された合成動画像Mが生成される。
なお、合成制御部6eは、前景画像P1の被写体領域Gの動作態様の変化として、当該被写体領域Gの大きさ(例えば、水平方向及び垂直方向の画素数等)や向き(例えば、背景画像P2に対して前後方向に直交する軸を中心軸とする回転角度等)などを変化させても良い。
画像記録部7は、例えば、不揮発性メモリ(フラッシュメモリ)等により構成されている。また、画像記録部7は、画像処理部6の符号化部(図示略)により所定の符号化方式で符号化された各種の画像(例えば、前景画像P1や背景画像P2等)の画像データを記録する。
前景画像P1は、n枚の前景フレーム画像Fa1〜Fanから構成された動画像であり、所定の再生時間(例えば、10秒等)と対応付けられている。即ち、前景画像P1は、所定の符号化方式(例えば、Motion−JPEG形式やMPEG形式等)で符号化された画像データであり、具体的には、所定の撮像フレームレート(例えば、10fps等)で撮像され、時間軸に沿って並べられたn枚の前景フレーム画像Fa1〜Fanから構成されている。また、前景画像P1は、n枚全ての前景フレーム画像Faが所定の再生フレームレート(例えば、10fps等)で順次切り替えて再生されるのにかかる再生時間と対応付けられている。
また、前景画像P1を構成する各前景フレーム画像Faは、所定の背景内に被写体が存する被写体存在画像から被写体領域G(例えば、ヒト等)を抽出する被写体切り抜き処理にて生成された被写体切り抜き画像からなり、各前景フレーム画像Fa毎に被写体切り抜き処理にて生成されたアルファマップと対応付けられている。
ここで、アルファマップとは、前景画像P1を構成する各前景フレーム画像Faの各画素について、当該前景フレーム画像Faの被写体領域G(図4参照)を所定の背景に対してアルファブレンディングする際の重みをアルファ値(0≦α≦1)として表したものである。
また、前景画像P1を構成する各前景フレーム画像Faは、所定の背景内に被写体が存する被写体存在画像から被写体領域G(例えば、ヒト等)を抽出する被写体切り抜き処理にて生成された被写体切り抜き画像からなり、各前景フレーム画像Fa毎に被写体切り抜き処理にて生成されたアルファマップと対応付けられている。
ここで、アルファマップとは、前景画像P1を構成する各前景フレーム画像Faの各画素について、当該前景フレーム画像Faの被写体領域G(図4参照)を所定の背景に対してアルファブレンディングする際の重みをアルファ値(0≦α≦1)として表したものである。
背景画像P2は、例えば、静止画像であり、前景画像P1の背景に表示される画像である。また、背景画像P2の画像データは、所定の符号化方式(例えば、JPEG形式等)で符号化されている。
なお、背景画像P2は、例えば、複数のフレーム画像から構成された動画像であっても良い。具体的には、背景画像P2としては、例えば、所定の撮像フレームレートで撮像された連続した複数のフレーム画像からなる動画像データや、所定のシャッタースピードで連写された連写画像データ等が挙げられる。
なお、背景画像P2は、例えば、複数のフレーム画像から構成された動画像であっても良い。具体的には、背景画像P2としては、例えば、所定の撮像フレームレートで撮像された連続した複数のフレーム画像からなる動画像データや、所定のシャッタースピードで連写された連写画像データ等が挙げられる。
送受話部8は、通信ネットワークNを介して接続された外部機器の外部ユーザとの通話を行う。
具体的には、送受話部8は、マイク8a、スピーカ8b、データ変換部8c等を備えている。そして、送受話部8は、マイク8aから入力されるユーザの送話音声をデータ変換部8cによりA/D変換処理して送話音声データを中央制御部1に出力するとともに、中央制御部1の制御下にて、通信制御部9から出力されて入力される受話音声データ等の音声データをデータ変換部8cによりD/A変換処理してスピーカ8bから出力する。
具体的には、送受話部8は、マイク8a、スピーカ8b、データ変換部8c等を備えている。そして、送受話部8は、マイク8aから入力されるユーザの送話音声をデータ変換部8cによりA/D変換処理して送話音声データを中央制御部1に出力するとともに、中央制御部1の制御下にて、通信制御部9から出力されて入力される受話音声データ等の音声データをデータ変換部8cによりD/A変換処理してスピーカ8bから出力する。
通信制御部9は、通信ネットワークN及び通信アンテナ9aを介してデータの送受信を行う。
即ち、通信アンテナ9aは、当該携帯端末100が無線基地局(図示略)との通信で採用している所定の通信方式(例えば、W−CDMA(Wideband Code Division Multiple Access)方式、CDMA2000方式、GSM;登録商標(Global System for Mobile Communications)方式等)に対応したデータの送受信が可能なアンテナである。そして、通信制御部9は、所定の通信方式に対応する通信プロトコルに従って、この通信方式で設定される通信チャネルにより無線基地局との間で通信アンテナ9aを介してデータの送受信を行う。
即ち、通信制御部9は、中央制御部1から出力されて入力される指示信号に基づいて、通信相手の外部機器に対して、当該外部機器の外部ユーザとの通話中の音声の送受信や、電子メールのデータの送受信を行う。
なお、通信制御部9の構成は一例であってこれに限られるものではなく、適宜任意に変更可能であり、例えば、図示は省略するが、無線LANモジュールを搭載し、アクセスポイント(Access Point)を介して通信ネットワークNにアクセス可能な構成としても良い。
即ち、通信アンテナ9aは、当該携帯端末100が無線基地局(図示略)との通信で採用している所定の通信方式(例えば、W−CDMA(Wideband Code Division Multiple Access)方式、CDMA2000方式、GSM;登録商標(Global System for Mobile Communications)方式等)に対応したデータの送受信が可能なアンテナである。そして、通信制御部9は、所定の通信方式に対応する通信プロトコルに従って、この通信方式で設定される通信チャネルにより無線基地局との間で通信アンテナ9aを介してデータの送受信を行う。
即ち、通信制御部9は、中央制御部1から出力されて入力される指示信号に基づいて、通信相手の外部機器に対して、当該外部機器の外部ユーザとの通話中の音声の送受信や、電子メールのデータの送受信を行う。
なお、通信制御部9の構成は一例であってこれに限られるものではなく、適宜任意に変更可能であり、例えば、図示は省略するが、無線LANモジュールを搭載し、アクセスポイント(Access Point)を介して通信ネットワークNにアクセス可能な構成としても良い。
通信ネットワークNは、携帯端末100を無線基地局やゲートウェイサーバ(図示略)等を介して接続する。また、通信ネットワークNは、専用線や既存の一般公衆回線を利用して構築された通信ネットワークであり、LAN(Local Area Network)やWAN(Wide Area Network)等の様々な回線形態を適用することが可能である。
また、通信ネットワークNには、例えば、電話回線網、ISDN回線網、専用線、移動体通信網、通信衛星回線、CATV回線網等の各種通信ネットワーク網と、IPネットワーク、VoIP(Voice over Internet Protocol)ゲートウェイ、インターネットサービスプロバイダ等が含まれる。
また、通信ネットワークNには、例えば、電話回線網、ISDN回線網、専用線、移動体通信網、通信衛星回線、CATV回線網等の各種通信ネットワーク網と、IPネットワーク、VoIP(Voice over Internet Protocol)ゲートウェイ、インターネットサービスプロバイダ等が含まれる。
次に、携帯端末100による合成画像生成処理について、図2〜図6を参照して説明する。
図2は、合成画像生成処理に係る動作の一例を示すフローチャートである。
図2は、合成画像生成処理に係る動作の一例を示すフローチャートである。
以下に説明する合成画像生成処理は、ユーザによる操作入力部4の所定操作に基づいて、メニュー画面に表示された複数の動作モードの中から画像合成モードが選択指示された場合に実行される処理である。
<合成画像生成処理>
図2に示すように、先ず、表示制御部3bは、背景画像P2の指定を指示する所定のメッセージを表示パネル3aの表示画面に表示させ、中央制御部1は、ユーザによる操作入力部4の所定操作に基づいて、表示パネル3aに表示されている少なくとも一の背景画像P2の中でユーザ所望の背景画像P2が指定されたか否かを判定する(ステップS1)。
ここで、所望の背景画像P2(図5(a)等参照)が指定されたと判定されると(ステップS1;YES)、画像処理部6の第2画像取得部6bは、画像記録部7に記録されている少なくとも一の背景画像P2の中で、ユーザによる操作入力部4の所定操作に基づいて指定されたユーザ所望の背景画像P2の画像データを読み出して取得する(ステップS2)。
なお、ステップS1にて、背景画像P2が指定されていないと判定されると(ステップS1;NO)、中央制御部1は、処理をステップS1に戻し、背景画像P2が指定されたと判定されるまで(ステップS1;YES)、表示パネル3aの表示画面に背景画像P2の指定に係る所定のメッセージを表示した状態で待機させる。
図2に示すように、先ず、表示制御部3bは、背景画像P2の指定を指示する所定のメッセージを表示パネル3aの表示画面に表示させ、中央制御部1は、ユーザによる操作入力部4の所定操作に基づいて、表示パネル3aに表示されている少なくとも一の背景画像P2の中でユーザ所望の背景画像P2が指定されたか否かを判定する(ステップS1)。
ここで、所望の背景画像P2(図5(a)等参照)が指定されたと判定されると(ステップS1;YES)、画像処理部6の第2画像取得部6bは、画像記録部7に記録されている少なくとも一の背景画像P2の中で、ユーザによる操作入力部4の所定操作に基づいて指定されたユーザ所望の背景画像P2の画像データを読み出して取得する(ステップS2)。
なお、ステップS1にて、背景画像P2が指定されていないと判定されると(ステップS1;NO)、中央制御部1は、処理をステップS1に戻し、背景画像P2が指定されたと判定されるまで(ステップS1;YES)、表示パネル3aの表示画面に背景画像P2の指定に係る所定のメッセージを表示した状態で待機させる。
続けて、中央制御部1は、所定期間内に、ユーザによる表示パネル3aの表示領域における操作点の入力指示があるか否かを判定する(ステップS3)。具体的には、中央制御部1は、表示パネル3aの表示画面に対するユーザの指(手)やタッチペン等の接触がタッチパネル4aにより検出されることで当該タッチパネル4aから出力された接触位置のXY座標に係る位置信号が入力されたか否かに応じて、ユーザによる操作点の入力があるか否かを判定する。
ステップS3にて、ユーザによる操作点の入力がないと判定されると(ステップS3;NO)、中央制御部1は、処理をステップS3に戻し、上記の判定処理を所定のタイミングで繰り返し実行する(ステップS3)。
ステップS3にて、ユーザによる操作点の入力がないと判定されると(ステップS3;NO)、中央制御部1は、処理をステップS3に戻し、上記の判定処理を所定のタイミングで繰り返し実行する(ステップS3)。
一方、ステップS3にて、ユーザによる操作点の入力があると判定されると(ステップS3;YES)、軌跡特定部5は、複数の操作点からユーザによる描画操作に対応する操作軌跡Lを特定する(ステップS4;図5(b)参照)。
続けて、画像処理部6は、軌跡特定部5により操作軌跡Lが特定されたか否かを判定する(ステップS5)。
ここで、軌跡特定部5により操作軌跡Lが特定されていないと判定されると(ステップS5;NO)、中央制御部1は、処理をステップS3に戻し、表示パネル3aの表示領域における次の操作点の入力指示を受け付ける。
ここで、軌跡特定部5により操作軌跡Lが特定されていないと判定されると(ステップS5;NO)、中央制御部1は、処理をステップS3に戻し、表示パネル3aの表示領域における次の操作点の入力指示を受け付ける。
そして、ステップS5にて、軌跡特定部5により操作軌跡Lが特定されたと判定されると(ステップS5;YES)、表示制御部3bは、前景画像P1の指定を指示する所定のメッセージを表示パネル3aの表示画面に表示させ、中央制御部1は、ユーザによる操作入力部4の所定操作に基づいて、表示パネル3aに表示されている少なくとも一の前景画像P1の中でユーザ所望の前景画像P1が指定されたか否かを判定する(ステップS6)。
ここで、所望の前景画像P1(図4参照)が指定されたと判定されると(ステップS6;YES)、画像処理部6の第1画像取得部6aは、画像記録部7に記録されている少なくとも一の前景画像P1の中で、ユーザによる操作入力部4の所定操作に基づいて指定されたユーザ所望の前景画像P1の画像データを読み出して取得する(ステップS7)。
なお、ステップS6にて、前景画像P1が指定されていないと判定されると(ステップS6;NO)、中央制御部1は、処理をステップS6に戻し、前景画像P1が指定されたと判定されるまで(ステップS6;YES)、表示パネル3aの表示画面に前景画像P1の指定に係る所定のメッセージを表示した状態で待機させる。
ここで、所望の前景画像P1(図4参照)が指定されたと判定されると(ステップS6;YES)、画像処理部6の第1画像取得部6aは、画像記録部7に記録されている少なくとも一の前景画像P1の中で、ユーザによる操作入力部4の所定操作に基づいて指定されたユーザ所望の前景画像P1の画像データを読み出して取得する(ステップS7)。
なお、ステップS6にて、前景画像P1が指定されていないと判定されると(ステップS6;NO)、中央制御部1は、処理をステップS6に戻し、前景画像P1が指定されたと判定されるまで(ステップS6;YES)、表示パネル3aの表示画面に前景画像P1の指定に係る所定のメッセージを表示した状態で待機させる。
次に、中央制御部1は、ユーザによる操作入力部4の所定操作に基づいて、背景画像P2と前景画像P1との合成の開始指示が入力されたか否かを判定する(ステップS8)。
ここで、合成開始指示が入力されていないと判定されると(ステップS8;NO)、中央制御部1は、処理をステップS8に戻し、合成開始指示が入力されたと判定されるまで(ステップS8;YES)、処理を待機させる。
ここで、合成開始指示が入力されていないと判定されると(ステップS8;NO)、中央制御部1は、処理をステップS8に戻し、合成開始指示が入力されたと判定されるまで(ステップS8;YES)、処理を待機させる。
ステップS8にて、合成開始指示が入力されたと判定されると(ステップS8;YES)、画像合成部6dは、合成制御部6eの制御下にて、背景画像P2と前景画像P1の被写体領域Gとを合成する画像合成処理(図3参照)を行う(ステップS9)。
ここで、画像合成処理について図3を参照して詳細に説明する。図3は、画像合成処理に係る動作の一例を示すフローチャートである。
ここで、画像合成処理について図3を参照して詳細に説明する。図3は、画像合成処理に係る動作の一例を示すフローチャートである。
<画像合成処理>
図3に示すように、先ず、合成制御部6eは、軌跡特定部5により特定された操作軌跡Lの形状を基準として、背景画像P2内で前景画像P1の被写体領域Gの合成の基準位置を特定する(ステップS21)。具体的には、例えば、合成制御部6eは、操作軌跡Lの始点側となる一方の端部(例えば、右端部)に被写体領域Gが接するように合成の基準位置を特定する。
続けて、第1算出部6cは、操作軌跡Lの長さと前景画像P1の再生時間とに基づいて、当該前景画像P1の被写体領域Gの移動速度を算出する(ステップS22)。具体的には、合成制御部6eは、操作軌跡Lに沿って単位時間毎に所定画素数ずつ被写体領域Gを移動させた各位置に合成するように、各前景フレーム画像Faの被写体領域Gの合成位置の単位時間あたりの変位量(画素数)を特定する。
図3に示すように、先ず、合成制御部6eは、軌跡特定部5により特定された操作軌跡Lの形状を基準として、背景画像P2内で前景画像P1の被写体領域Gの合成の基準位置を特定する(ステップS21)。具体的には、例えば、合成制御部6eは、操作軌跡Lの始点側となる一方の端部(例えば、右端部)に被写体領域Gが接するように合成の基準位置を特定する。
続けて、第1算出部6cは、操作軌跡Lの長さと前景画像P1の再生時間とに基づいて、当該前景画像P1の被写体領域Gの移動速度を算出する(ステップS22)。具体的には、合成制御部6eは、操作軌跡Lに沿って単位時間毎に所定画素数ずつ被写体領域Gを移動させた各位置に合成するように、各前景フレーム画像Faの被写体領域Gの合成位置の単位時間あたりの変位量(画素数)を特定する。
次に、合成制御部6eは、前景画像P1を構成する複数の前景フレーム画像Fa、…のうち、処理対象に係る最初の前景フレーム画像Fa1のフレーム番号として「1」を指定した後、指定された最初のフレーム番号「1」と対応付けて保存されているアルファマップを読み出してメモリ2に展開する(ステップS23)。
なお、ステップS23にて、被写体領域Gの合成位置が決定された際に、背景画像P2に対してアルファマップがずれてしまいアルファマップの範囲外となる領域については、α=0としてアルファ値が存在しない領域を生じさせないようにする。
なお、ステップS23にて、被写体領域Gの合成位置が決定された際に、背景画像P2に対してアルファマップがずれてしまいアルファマップの範囲外となる領域については、α=0としてアルファ値が存在しない領域を生じさせないようにする。
続けて、画像合成部6dは、背景画像P2の何れか一の画素(例えば、左上隅部の画素)を指定して(ステップS24)、当該画素について、アルファマップのアルファ値に基づいて処理を分岐させる(ステップS25)。具体的には、画像合成部6dは、背景画像P2の何れか一の画素のうち、アルファ値が1の画素については(ステップS25;α=1)、前景画像P1の最初のフレーム番号の前景フレーム画像Fa1の対応する画素の画素値で背景画像P2の画素値を上書きし(ステップS26)、アルファ値が0<α<1の画素については(ステップS25;0<α<1)、1の補数(1−α)を用いて被写体領域Gを切り抜いた画像(背景画像×(1−α))を生成した後、アルファマップにおける1の補数(1−α)を用いて当該前景フレーム画像Fa1の被写体領域Gを生成した際に単一背景色とブレンドした値を計算し、当該値を前景フレーム画像Fa1から減算し、それを被写体領域Gを切り抜いた画像(背景画像×(1−α))と合成し(ステップS27)、アルファ値が0の画素については(ステップS25;α=0)、何もせずに背景画像P2を透過させるようにする。
続けて、画像合成部6dは、背景画像P2の全ての画素について処理したか否かを判定する(ステップS28)。
ここで、全ての画素について処理していないと判定されると(ステップS28;NO)、画像合成部6dは、処理対象として次の画素を指定して当該画素に処理対象を移動させて(ステップS29)、処理をステップS25に移行させる。
上記の処理を、ステップS28にて全ての画素について処理したと判定されるまで(ステップS28;YES)、繰り返すことで、画像合成部6dは、前景画像P1の最初のフレーム番号の前景フレーム画像Fa1と背景画像P2とが合成された合成動画像Mを構成する最初のフレーム画像Fb1(図6(a)参照)を生成する。
ここで、全ての画素について処理していないと判定されると(ステップS28;NO)、画像合成部6dは、処理対象として次の画素を指定して当該画素に処理対象を移動させて(ステップS29)、処理をステップS25に移行させる。
上記の処理を、ステップS28にて全ての画素について処理したと判定されるまで(ステップS28;YES)、繰り返すことで、画像合成部6dは、前景画像P1の最初のフレーム番号の前景フレーム画像Fa1と背景画像P2とが合成された合成動画像Mを構成する最初のフレーム画像Fb1(図6(a)参照)を生成する。
そして、ステップS28にて全ての画素について処理したと判定されると(ステップS28;YES)、合成制御部6eは、前景画像P1を構成する全ての前景フレーム画像Faについて処理したか否かを判定する(ステップS30)。
ここで、全ての前景フレーム画像Faについて処理していないと判定されると(ステップS30;NO)、合成制御部6eは、前景画像P1を構成する複数の前景フレーム画像Fa、…のうち、処理対象となる次の前景フレーム画像Fa(例えば、二番目の前景フレーム画像Fa)に係るフレーム番号を+1インクリメントして指定する(ステップS31)。これにより、二番目の前景フレーム画像Fa2が画像合成処理の処理対象となる。
ここで、全ての前景フレーム画像Faについて処理していないと判定されると(ステップS30;NO)、合成制御部6eは、前景画像P1を構成する複数の前景フレーム画像Fa、…のうち、処理対象となる次の前景フレーム画像Fa(例えば、二番目の前景フレーム画像Fa)に係るフレーム番号を+1インクリメントして指定する(ステップS31)。これにより、二番目の前景フレーム画像Fa2が画像合成処理の処理対象となる。
次に、合成制御部6eは、指定された二番目のフレーム番号「2」と対応付けて保存されているアルファマップを読み出してメモリ2に展開する(ステップS32)。
その後、合成制御部6eは、被写体領域Gの移動速度を基準として、二番目の前景フレーム画像Fa2における被写体領域Gの合成位置を設定する(ステップS33)。具体的には、合成制御部6eは、第1算出部6cにより算出された単位時間あたりの変位量に対応する所定画素数だけ操作軌跡Lに沿って終点側に移動した位置に被写体領域Gが位置するように、当該前景フレーム画像Fa2の被写体領域Gの合成位置を設定する。このとき、合成制御部6eは、合成位置を変化させた前景画像P1の被写体領域Gに応じてアルファマップにおける被写体領域部分(α=1)及び被写体領域G以外の部分(α=0)を修正する。
その後、合成制御部6eは、被写体領域Gの移動速度を基準として、二番目の前景フレーム画像Fa2における被写体領域Gの合成位置を設定する(ステップS33)。具体的には、合成制御部6eは、第1算出部6cにより算出された単位時間あたりの変位量に対応する所定画素数だけ操作軌跡Lに沿って終点側に移動した位置に被写体領域Gが位置するように、当該前景フレーム画像Fa2の被写体領域Gの合成位置を設定する。このとき、合成制御部6eは、合成位置を変化させた前景画像P1の被写体領域Gに応じてアルファマップにおける被写体領域部分(α=1)及び被写体領域G以外の部分(α=0)を修正する。
次に、処理をステップS24に移行させて、画像合成部6dは、背景画像P2の例えば左上隅部の画素からステップS25〜S29の各処理を順次行うことで、前景画像P1の二番目のフレーム番号の前景フレーム画像Fa2と背景画像P2とが合成された合成動画像Mを構成する二番目のフレーム画像Fb2を生成する。これにより、操作軌跡Lの長さを基準として、前景画像P1の被写体領域Gの合成位置を変化させた二番目のフレーム画像Fb2(図6(b)参照)が生成される。
そして、二番目のフレーム画像Fb2の生成が完了することによって、ステップS28にて全ての画素について合成処理したと判定されると(ステップS28;YES)、合成制御部6eは、処理をステップS30に移行させて、上記と同様に、前景画像P1を構成する全ての前景フレーム画像Faについて処理したか否かを判定する(ステップS30)。
そして、二番目のフレーム画像Fb2の生成が完了することによって、ステップS28にて全ての画素について合成処理したと判定されると(ステップS28;YES)、合成制御部6eは、処理をステップS30に移行させて、上記と同様に、前景画像P1を構成する全ての前景フレーム画像Faについて処理したか否かを判定する(ステップS30)。
上記の合成処理を、ステップS30にて、前景画像P1を構成する全ての前景フレーム画像Faについて処理したと判定されるまで(ステップS30;YES)、繰り返すことで、画像合成部6dは、合成動画像を構成する全てのフレーム画像Fb(図6(a)〜図6(d)参照)を生成する。
これにより、画像合成処理を終了する。
これにより、画像合成処理を終了する。
次に、図2に示すように、表示制御部3bは、画像合成部6dにより生成された複数のフレーム画像Fb、…からなる合成動画像Mの画像データに基づいて、各フレーム画像Fbを所定の再生フレームレートで切り換えて表示パネル3aの表示画面に表示させることで、算出された移動速度で前景画像P1の被写体領域Gが移動する合成動画像Mを再生表示する(ステップS10)。
その後、中央制御部1は、ユーザによる操作入力部4の所定操作に基づいて、合成動画像Mを画像記録部7に保存させる指示が入力されたか否かを判定する(ステップS11)。
ここで、合成動画像Mの保存指示が入力されたと判定されると(ステップS11;YES)、中央制御部1は、画像記録部7の所定の記録領域に、複数のフレーム画像Fb、…からなる合成動画像Mの画像データを保存させて(ステップS12)、合成画像生成処理を終了する。
その後、中央制御部1は、ユーザによる操作入力部4の所定操作に基づいて、合成動画像Mを画像記録部7に保存させる指示が入力されたか否かを判定する(ステップS11)。
ここで、合成動画像Mの保存指示が入力されたと判定されると(ステップS11;YES)、中央制御部1は、画像記録部7の所定の記録領域に、複数のフレーム画像Fb、…からなる合成動画像Mの画像データを保存させて(ステップS12)、合成画像生成処理を終了する。
一方、ステップS11にて、合成動画像Mの保存指示が入力されていないと判定されると(ステップS11;NO)、中央制御部1は、ステップS11の処理をスキップして、合成画像生成処理を終了する。
以上のように、実施形態1の携帯端末100によれば、ユーザによる操作入力部4の所定操作に基づいて描画された操作軌跡Lの長さを基準として、当該操作軌跡Lに沿って移動表示されるとともに背景画像P2に重畳表示される前景画像P1の被写体領域Gの動作態様を変化させるので、操作軌跡Lの長さの変化に対応させて動作態様を変化させた前景画像P1の被写体領域Gが背景画像P2に重畳された合成動画像Mを生成することができる。具体的には、操作軌跡Lの長さと前景画像P1の再生時間とに基づいて算出された移動速度で被写体領域Gを移動させることで当該被写体領域Gの動作態様、即ち、被写体領域Gの単位時間あたりの変位量を変化させた合成動画像Mを生成することができる。
従って、単に操作軌跡Lに沿って前景画像P1の被写体領域Gを移動表示させるものに比べて、前景画像P1の動作態様を変化させて合成動画像Mの興趣性の向上を図ることができる。
従って、単に操作軌跡Lに沿って前景画像P1の被写体領域Gを移動表示させるものに比べて、前景画像P1の動作態様を変化させて合成動画像Mの興趣性の向上を図ることができる。
また、操作軌跡Lのうち、何れか一方の操作軌跡Lの始点側から終点側に前景画像P1の被写体領域Gの表示位置を移動させるので、操作軌跡Lに沿った前景画像P1の被写体領域Gの移動表示を適正に行うことができ、これにより、合成動画像Mの生成を適正に行うことができる。
また、背景画像P2と前景画像P1とを合成する画像合成処理にて、操作軌跡Lの長さを基準として前景画像P1の被写体領域Gの動作態様を変化させるので、画像合成処理を行うだけで操作軌跡Lの長さの変化に従って前景画像P1の被写体領域Gの表示態様を変化させた合成動画像Mを自動的に生成することができる。
なお、上記実施形態1にあっては、前景画像P1の再生時間として、当該前景画像P1と対応付けられている再生時間を用いたが、例えば、ユーザによる操作入力部4の所定操作に基づいて中央制御部1のCPU(指定手段)が、前景画像P1を再生すべき回数を指定し、第1算出部6cは、前景画像P1の指定された回数分の再生が完了するまでの時間を再生時間として、当該前景画像P1の被写体領域Gの移動速度を算出しても良い。
即ち、操作軌跡Lに沿って前景画像P1の被写体領域Gが移動する間に再生される回数を変更可能とし、当該指定された回数分の前景画像P1の再生が完了するまでの時間を再生時間とすることで、被写体領域Gの移動速度を変化させて合成動画像Mの興趣性をより向上させることができる。
即ち、操作軌跡Lに沿って前景画像P1の被写体領域Gが移動する間に再生される回数を変更可能とし、当該指定された回数分の前景画像P1の再生が完了するまでの時間を再生時間とすることで、被写体領域Gの移動速度を変化させて合成動画像Mの興趣性をより向上させることができる。
[実施形態2]
図7は、本発明を適用した実施形態2の携帯端末200の概略構成を示すブロック図である。
なお、実施形態2の携帯端末200は、以下に詳細に説明する以外の点で上記実施形態1の携帯端末100と略同様の構成をなし、詳細な説明は省略する。
図7は、本発明を適用した実施形態2の携帯端末200の概略構成を示すブロック図である。
なお、実施形態2の携帯端末200は、以下に詳細に説明する以外の点で上記実施形態1の携帯端末100と略同様の構成をなし、詳細な説明は省略する。
図7に示すように、画像処理部6は、第1画像取得部6aと、第2画像取得部6bと、画像合成部6dと、合成制御部6eとに加えて、速度設定部6fを具備している。
このうち、第1画像取得部6a、第2画像取得部6b及び画像合成部6dは、上記実施形態1の携帯端末100に備わるものと略同様の構成をなし、その詳細な説明は省略する。
このうち、第1画像取得部6a、第2画像取得部6b及び画像合成部6dは、上記実施形態1の携帯端末100に備わるものと略同様の構成をなし、その詳細な説明は省略する。
速度設定部(設定手段)6fは、前景画像P1の被写体領域Gの移動速度を設定する。
即ち、速度設定部6fは、背景画像P2に対して重畳表示される前景画像P1を構成する各前景フレーム画像Faの被写体領域Gの移動速度として、当該被写体領域Gの表示位置の単位時間あたりの変位量(画素数)を特定する。具体的には、速度設定部6fは、ユーザによる操作入力部4の所定操作に基づいて被写体領域Gの単位時間あたりの所定方向の変位量(例えば、50画素/秒等)が入力されると、当該変位量を被写体領域Gの移動速度として設定する。
なお、被写体領域の表示位置の単位時間あたりの変位量は、所定の一方向(例えば、X軸方向等)を基準とする距離であっても良いし、互いに直交する二方向(例えば、X軸方向やY軸方向等)を基準とする距離(例えば、ユークリッド距離等)であっても良い。
即ち、速度設定部6fは、背景画像P2に対して重畳表示される前景画像P1を構成する各前景フレーム画像Faの被写体領域Gの移動速度として、当該被写体領域Gの表示位置の単位時間あたりの変位量(画素数)を特定する。具体的には、速度設定部6fは、ユーザによる操作入力部4の所定操作に基づいて被写体領域Gの単位時間あたりの所定方向の変位量(例えば、50画素/秒等)が入力されると、当該変位量を被写体領域Gの移動速度として設定する。
なお、被写体領域の表示位置の単位時間あたりの変位量は、所定の一方向(例えば、X軸方向等)を基準とする距離であっても良いし、互いに直交する二方向(例えば、X軸方向やY軸方向等)を基準とする距離(例えば、ユークリッド距離等)であっても良い。
合成制御部6eは、速度設定部6fにより設定された移動速度で被写体領域Gを移動させることで当該被写体領域Gの動作態様を変化させる。例えば、合成制御部6eは、速度設定部6fにより単位時間あたりの変位量として特定された画素数ずつ被写体領域Gの合成位置を操作軌跡Lに沿ってずらして被写体領域Gを移動させる(図6(a)〜図6(c)参照)。また、合成制御部6eは、画像合成部6dにより背景画像P2と前景画像P1とを合成する際に、前景画像P1の被写体領域Gの動作態様を変化させる。
表示部3の表示制御部3bは、前景画像P1の被写体領域Gの操作軌跡Lに沿った移動が完了するまでの移動時間を算出する。
即ち、表示制御部3bは、第2算出手段として、速度設定部6fにより設定された移動速度で操作軌跡Lに沿って移動する被写体領域Gの当該移動が完了するまでの移動時間を算出する。具体的には、表示制御部3bは、操作軌跡Lの長さ(例えば、操作軌跡Lを構成する画素数等)を被写体領域Gの移動速度(例えば、50画素/秒等)で除算して、被写体領域Gの操作軌跡Lに沿った移動時間を算出する。
そして、表示制御部3bは、制御手段として、算出された被写体領域Gの移動が完了するまでの移動時間と動画像の所定の再生時間とに基づいて、当該前景画像P1を構成する複数の前景フレーム画像Fa、…の再生フレームレートを算出して、当該再生フレームレートで複数の前景フレーム画像Fa、…を切り替える。具体的には、表示制御部3bは、合成制御部6eの制御下にて、単位時間あたりの変位量として特定された画素数ずつ被写体領域Gの合成位置をずらして画像合成部6dにより合成された合成動画像Mを構成する複数のフレーム画像Fb、…の全てを、被写体領域Gの操作軌跡Lに沿った移動時間で切替表示するための再生フレームレートを算出する。そして、表示制御部3bは、合成動画像Mを構成する複数のフレーム画像Fb、…を、算出された再生フレームレートで順次切り替えて表示パネル3aの表示画面に表示させる。
即ち、表示制御部3bは、第2算出手段として、速度設定部6fにより設定された移動速度で操作軌跡Lに沿って移動する被写体領域Gの当該移動が完了するまでの移動時間を算出する。具体的には、表示制御部3bは、操作軌跡Lの長さ(例えば、操作軌跡Lを構成する画素数等)を被写体領域Gの移動速度(例えば、50画素/秒等)で除算して、被写体領域Gの操作軌跡Lに沿った移動時間を算出する。
そして、表示制御部3bは、制御手段として、算出された被写体領域Gの移動が完了するまでの移動時間と動画像の所定の再生時間とに基づいて、当該前景画像P1を構成する複数の前景フレーム画像Fa、…の再生フレームレートを算出して、当該再生フレームレートで複数の前景フレーム画像Fa、…を切り替える。具体的には、表示制御部3bは、合成制御部6eの制御下にて、単位時間あたりの変位量として特定された画素数ずつ被写体領域Gの合成位置をずらして画像合成部6dにより合成された合成動画像Mを構成する複数のフレーム画像Fb、…の全てを、被写体領域Gの操作軌跡Lに沿った移動時間で切替表示するための再生フレームレートを算出する。そして、表示制御部3bは、合成動画像Mを構成する複数のフレーム画像Fb、…を、算出された再生フレームレートで順次切り替えて表示パネル3aの表示画面に表示させる。
これにより、例えば、前景画像P1が撮像フレームレートが10fpsで3秒間撮像された30枚の前景フレーム画像Faから構成されている場合に、被写体領域Gの操作軌跡Lに沿った移動時間(操作軌跡Lの長さ)に応じて、再生フレームレートを10fpsよりも低速の再生フレームレート(例えば、5fps等)、或いは、高速の再生フレームレート(例えば、20fps等)に設定することができる。この結果、前景画像P1の被写体領域Gの単位時間あたりの動作量が変更され、当該被写体領域Gを相対的にゆっくり動作させたり、或いは、相対的に速く動作させることができることとなる。
次に、携帯端末200による合成画像生成処理について、図8及び図9等を参照して説明する。
図8は、合成画像生成処理に係る動作の一例を示すフローチャートである。
なお、以下に説明する合成画像生成処理のうち、上記実施形態1の携帯端末100による合成画像生成処理と同様の各処理については、その詳細な説明は省略する。
図8は、合成画像生成処理に係る動作の一例を示すフローチャートである。
なお、以下に説明する合成画像生成処理のうち、上記実施形態1の携帯端末100による合成画像生成処理と同様の各処理については、その詳細な説明は省略する。
合成画像生成処理は、上記実施形態1と同様に、ユーザによる操作入力部4の所定操作に基づいて、メニュー画面に表示された複数の動作モードの中から画像合成モードが選択指示された場合に実行される処理である。
<合成画像生成処理>
実施形態2の携帯端末200は、上記実施形態1の携帯端末100と同様に、ステップS1〜S7の各処理を行う。
続けて、中央制御部1は、ユーザによる操作入力部4の所定操作に基づいて、被写体領域Gの単位時間あたりの変位量が入力されたか否かを判定する(ステップS51)。
実施形態2の携帯端末200は、上記実施形態1の携帯端末100と同様に、ステップS1〜S7の各処理を行う。
続けて、中央制御部1は、ユーザによる操作入力部4の所定操作に基づいて、被写体領域Gの単位時間あたりの変位量が入力されたか否かを判定する(ステップS51)。
ステップS51にて、被写体領域Gの単位時間あたりの変位量(例えば、50画素/秒等)が入力されたと判定されると(ステップS51;YES)、速度設定部6fは、入力された被写体領域Gの単位時間あたりの変位量を被写体領域Gの移動速度として設定する(ステップS52)。
なお、ステップS52にて、被写体領域Gの単位時間あたりの変位量が入力されていないと判定されると(ステップS52;NO)、中央制御部1は、処理をステップS51に戻し、被写体領域Gの単位時間あたりの変位量が入力されたと判定されるまで(ステップS51;YES)、処理を待機させる。
なお、ステップS52にて、被写体領域Gの単位時間あたりの変位量が入力されていないと判定されると(ステップS52;NO)、中央制御部1は、処理をステップS51に戻し、被写体領域Gの単位時間あたりの変位量が入力されたと判定されるまで(ステップS51;YES)、処理を待機させる。
続けて、中央制御部1は、上記実施形態1の携帯端末100と同様に、背景画像P2と前景画像P1との合成の開始指示が入力されたか否かを判定する(ステップS8)。
ここで、合成開始指示が入力されたと判定されると(ステップS8;YES)、画像合成部6dが、合成制御部6eの制御下にて、前景画像P1の各前景フレーム画像Faの被写体領域Gと背景画像P2とを合成する画像合成処理(図9参照)を行う(ステップS53)。
以下に、画像合成処理について図9を参照して詳細に説明する。
ここで、合成開始指示が入力されたと判定されると(ステップS8;YES)、画像合成部6dが、合成制御部6eの制御下にて、前景画像P1の各前景フレーム画像Faの被写体領域Gと背景画像P2とを合成する画像合成処理(図9参照)を行う(ステップS53)。
以下に、画像合成処理について図9を参照して詳細に説明する。
<画像合成処理>
図9に示すように、合成制御部6eは、上記実施形態1の携帯端末100と同様に、軌跡特定部5により特定された操作軌跡Lの形状を基準として、背景画像P2内で前景画像P1の被写体領域Gの合成の基準位置を特定する(ステップS21)。
次に、合成制御部6eは、上記実施形態1の携帯端末100と同様に、前景画像P1を構成する複数の前景フレーム画像Fa、…のうち、処理対象に係る最初の前景フレーム画像Faを処理対象画像として、ステップS23〜S30の各処理を行う。
図9に示すように、合成制御部6eは、上記実施形態1の携帯端末100と同様に、軌跡特定部5により特定された操作軌跡Lの形状を基準として、背景画像P2内で前景画像P1の被写体領域Gの合成の基準位置を特定する(ステップS21)。
次に、合成制御部6eは、上記実施形態1の携帯端末100と同様に、前景画像P1を構成する複数の前景フレーム画像Fa、…のうち、処理対象に係る最初の前景フレーム画像Faを処理対象画像として、ステップS23〜S30の各処理を行う。
そして、ステップS31にて、合成制御部6eは、上記実施形態1の携帯端末100と同様に、前景画像P1を構成する複数の前景フレーム画像Fa、…のうち、処理対象となる次の前景フレーム画像Fa(例えば、二番目の前景フレーム画像Fa2)に係るフレーム番号を+1インクリメントして指定する(ステップS31)。これにより、二番目の前景フレーム画像Fa2が画像合成処理の処理対象となる。
次に、合成制御部6eは、指定された二番目のフレーム番号「2」と対応付けて保存されているアルファマップを読み出してメモリ2に展開する(ステップS32)。
その後、合成制御部6eは、速度設定部6fにより設定された被写体領域Gの移動速度を基準として、二番目の前景フレーム画像Fa2における被写体領域Gの合成位置を設定する(ステップS34)。具体的には、合成制御部6eは、速度設定部6fにより設定された単位時間あたりの変位量に対応する所定画素数だけ操作軌跡Lに沿って終点側に移動した位置に被写体領域Gが位置するように、当該前景フレーム画像Fa2の被写体領域Gの合成位置を設定する。このとき、合成制御部6eは、合成位置を変化させた前景画像P1の被写体領域Gに応じてアルファマップにおける被写体領域部分(α=1)及び被写体領域G以外の部分(α=0)を修正する。
次に、合成制御部6eは、指定された二番目のフレーム番号「2」と対応付けて保存されているアルファマップを読み出してメモリ2に展開する(ステップS32)。
その後、合成制御部6eは、速度設定部6fにより設定された被写体領域Gの移動速度を基準として、二番目の前景フレーム画像Fa2における被写体領域Gの合成位置を設定する(ステップS34)。具体的には、合成制御部6eは、速度設定部6fにより設定された単位時間あたりの変位量に対応する所定画素数だけ操作軌跡Lに沿って終点側に移動した位置に被写体領域Gが位置するように、当該前景フレーム画像Fa2の被写体領域Gの合成位置を設定する。このとき、合成制御部6eは、合成位置を変化させた前景画像P1の被写体領域Gに応じてアルファマップにおける被写体領域部分(α=1)及び被写体領域G以外の部分(α=0)を修正する。
次に、上記実施形態1の携帯端末100と同様に、処理をステップS24に移行させて、画像合成部6dは、背景画像P2の例えば左上隅部の画素からステップS25〜S29の各処理を順次行うことで、前景画像P1の二番目のフレーム番号の前景フレーム画像Fa2と背景画像P2とが合成された合成動画像Mを構成する二番目のフレーム画像Fb2を生成する。
そして、二番目のフレーム画像Fb2の生成が完了することによって、ステップS28にて全ての画素について合成処理したと判定されると(ステップS28;YES)、合成制御部6eは、処理をステップS30に移行させて、上記と同様に、前景画像P1を構成する全ての前景フレーム画像Faについて処理したか否かを判定する(ステップS30)。
そして、二番目のフレーム画像Fb2の生成が完了することによって、ステップS28にて全ての画素について合成処理したと判定されると(ステップS28;YES)、合成制御部6eは、処理をステップS30に移行させて、上記と同様に、前景画像P1を構成する全ての前景フレーム画像Faについて処理したか否かを判定する(ステップS30)。
上記の合成処理を、ステップS30にて、前景画像P1を構成する全ての前景フレーム画像Faについて処理したと判定されるまで(ステップS30;YES)、繰り返すことで、画像合成部6dは、合成動画像を構成する全てのフレーム画像Fb(図6(a)〜図6(d)参照)を生成する。
これにより、画像合成処理を終了する。
これにより、画像合成処理を終了する。
次に、図8に示すように、表示制御部3bは、被写体領域Gの操作軌跡Lに沿った移動が完了するまでの移動時間を算出する(ステップS54)。具体的には、表示制御部3bは、操作軌跡Lの長さ(例えば、操作軌跡Lを構成する画素数等)を被写体領域Gの移動速度(例えば、50画素/秒等)で除算して、被写体領域Gの操作軌跡Lに沿った移動時間を算出する。
続けて、表示制御部3bは、合成動画像Mの再生フレームレートを算出する(ステップS55)。具体的には、表示制御部3bは、合成動画像Mを構成する複数のフレーム画像Fb、…の全てを、被写体領域Gの操作軌跡Lに沿った移動時間で切替表示するための再生フレームレートを算出する。
続けて、表示制御部3bは、合成動画像Mの再生フレームレートを算出する(ステップS55)。具体的には、表示制御部3bは、合成動画像Mを構成する複数のフレーム画像Fb、…の全てを、被写体領域Gの操作軌跡Lに沿った移動時間で切替表示するための再生フレームレートを算出する。
そして、表示制御部3bは、複数のフレーム画像Fb、…からなる合成動画像Mの画像データに基づいて、算出された再生フレームレートで各フレーム画像Fbを切り換えて表示パネル3aの表示画面に表示させることで、再生フレームレートに応じて単位時間あたりの動作量を変化させた前景画像P1の被写体領域Gが設定された移動速度で移動する合成動画像Mを再生表示する(ステップS10)。
その後、上記実施形態1の携帯端末100と同様に、中央制御部1は、合成動画像Mを画像記録部7に保存させる指示が入力されたか否かを判定する処理(ステップS11)を行い、合成動画像Mの保存指示が入力されたと判定されると(ステップS11;YES)、画像記録部7の所定の記録領域に、合成動画像Mの画像データを保存させて(ステップS12)、合成画像生成処理を終了する。
その後、上記実施形態1の携帯端末100と同様に、中央制御部1は、合成動画像Mを画像記録部7に保存させる指示が入力されたか否かを判定する処理(ステップS11)を行い、合成動画像Mの保存指示が入力されたと判定されると(ステップS11;YES)、画像記録部7の所定の記録領域に、合成動画像Mの画像データを保存させて(ステップS12)、合成画像生成処理を終了する。
以上のように、実施形態2の携帯端末200によれば、上記実施形態1の携帯端末100と同様に、操作軌跡Lの長さの変化に対応させて動作態様を変化させた前景画像P1の被写体領域Gが背景画像P2に重畳された合成動画像Mを生成することができる。具体的には、設定された移動速度で操作軌跡Lに沿って移動する被写体領域Gの当該移動が完了するまでの移動時間と前景画像P1の再生時間とに基づいて、合成動画像Mを構成する複数のフレーム画像Fb、…の再生フレームレートを算出して、当該再生フレームレートで複数のフレーム画像Fb、…を切り替えることで当該被写体領域Gの動作態様、即ち、被写体領域Gの単位時間あたりの動作量を変化させた合成動画像Mを生成することができる。
従って、単に操作軌跡Lに沿って前景画像P1の被写体領域Gを移動表示させるものに比べて、前景画像P1の動作態様を変化させて合成動画像Mの興趣性の向上を図ることができる。
従って、単に操作軌跡Lに沿って前景画像P1の被写体領域Gを移動表示させるものに比べて、前景画像P1の動作態様を変化させて合成動画像Mの興趣性の向上を図ることができる。
なお、上記実施形態2にあっては、操作軌跡Lに沿って前景画像P1の被写体領域Gが移動する間に再生される回数を変更可能とし、当該指定された回数分の前景画像P1の再生が完了するまでの時間を再生時間としても良い。即ち、中央制御部1のCPU(指定手段)は、ユーザによる操作入力部4の所定操作に基づいて前景画像P1を再生すべき回数を指定可能に構成する。そして、合成制御部6eは、前景画像P1の指定された回数に対応する全ての枚数の前景フレーム画像Faを処理対象画像として画像合成処理を制御しても良いし、表示制御部3bは、前景画像P1の指定された回数分の再生が完了するまでの時間を再生時間として、合成動画像Mを構成するフレーム画像Fbの再生フレームレートを算出しても良い。
これにより、被写体領域Gの単位時間あたりの動作量を変化させて合成動画像Mの興趣性をより向上させることができる。
これにより、被写体領域Gの単位時間あたりの動作量を変化させて合成動画像Mの興趣性をより向上させることができる。
なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
例えば、上記実施形態にあっては、携帯端末100、200は、画像合成部6dにより前景画像P1と背景画像P2とを合成する際に、当該前景画像P1の動作態様を変化させるようにしたが、画像合成部6dを備えるか否かは適宜任意に変更可能であり、背景画像P2に重畳表示される前景画像P1の被写体領域Gを操作軌跡Lに沿って移動表示する際に当該被写体領域Gの動作態様を変化させる構成であれば如何なるものであっても良い。
例えば、上記実施形態にあっては、携帯端末100、200は、画像合成部6dにより前景画像P1と背景画像P2とを合成する際に、当該前景画像P1の動作態様を変化させるようにしたが、画像合成部6dを備えるか否かは適宜任意に変更可能であり、背景画像P2に重畳表示される前景画像P1の被写体領域Gを操作軌跡Lに沿って移動表示する際に当該被写体領域Gの動作態様を変化させる構成であれば如何なるものであっても良い。
また、上記合成画像生成処理にて、合成動画像Mを画像記録部7に保存するようにしたが、当該合成動画像Mを保存するか否かは適宜任意に変更可能であり、生成された合成動画像Mを単に再生表示する構成であっても良い。
さらに、前景画像P1として、例えば、複数のフレーム画像Fb、…から構成された動画像を適用する場合には、例えば、操作軌跡Lの太さ等を考慮して、前景画像P1の被写体領域Gの移動速度や再生フレームレートを変更しても良い。即ち、例えば、ユーザによるタッチパネル4aの所定操作に基づいて、相対的に太い操作軌跡Lが描画された場合には、軌跡特定部5は、タッチパネル4aにより連続して検出された接触位置の各々に対応する各操作点を構成する複数の画素から操作軌跡Lを構成する総画素数を算出し、当該総画素数に応じて操作軌跡Lの長さを補正するようにしても良い。例えば、総画素数が多くなるほど操作軌跡Lがより長いものとみなして、実施形態1における被写体領域Gの移動速度や実施形態2における被写体領域Gの単位時間あたりの動作量を変化させるようにしても良い。
また、携帯端末100、200の構成は、上記実施形態1、2に例示したものは一例であり、これらに限られるものではない。さらに、画像処理装置として、携帯端末100、200を例示したが、これらに限られるものではない。
加えて、上記実施形態1、2にあっては、第1取得手段、特定手段、制御手段としての機能を、中央制御部1の制御下にて、第1画像取得部6a、軌跡特定部5、合成制御部6eが駆動することにより実現される構成としたが、これに限られるものではなく、中央制御部1のCPUによって所定のプログラム等が実行されることにより実現される構成としても良い。
即ち、プログラムを記憶するプログラムメモリ(図示略)に、第1取得処理ルーチン、特定処理ルーチン、制御処理ルーチンを含むプログラムを記憶しておく。そして、第1取得処理ルーチンにより中央制御部1のCPUを、所定の再生時間で再生可能な所定のオブジェクトの動画像を取得する手段として機能させるようにしても良い。また、特定処理ルーチンにより中央制御部1のCPUを、表示手段の表示領域にてユーザによる操作手段の所定操作に基づいて描画された軌跡を特定する手段として機能させるようにしても良い。また、制御処理ルーチンにより中央制御部1のCPUを、特定手段により特定された軌跡の長さを基準として、当該軌跡に沿って移動表示されるとともに背景画像P2に重畳表示される動画像の所定のオブジェクトの動作態様を変化させる手段として機能させるようにしても良い。
即ち、プログラムを記憶するプログラムメモリ(図示略)に、第1取得処理ルーチン、特定処理ルーチン、制御処理ルーチンを含むプログラムを記憶しておく。そして、第1取得処理ルーチンにより中央制御部1のCPUを、所定の再生時間で再生可能な所定のオブジェクトの動画像を取得する手段として機能させるようにしても良い。また、特定処理ルーチンにより中央制御部1のCPUを、表示手段の表示領域にてユーザによる操作手段の所定操作に基づいて描画された軌跡を特定する手段として機能させるようにしても良い。また、制御処理ルーチンにより中央制御部1のCPUを、特定手段により特定された軌跡の長さを基準として、当該軌跡に沿って移動表示されるとともに背景画像P2に重畳表示される動画像の所定のオブジェクトの動作態様を変化させる手段として機能させるようにしても良い。
同様に、第1算出手段、設定手段、第2算出手段、第2取得手段、合成手段についても、中央制御部1のCPUによって所定のプログラム等が実行されることにより実現される構成としても良い。
さらに、上記の各処理を実行するためのプログラムを格納したコンピュータ読み取り可能な媒体として、ROMやハードディスク等の他、フラッシュメモリ等の不揮発性メモリ、CD−ROM等の可搬型記録媒体を適用することも可能である。また、プログラムのデータを所定の通信回線を介して提供する媒体としては、キャリアウェーブ(搬送波)も適用される。
本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
<請求項1>
所定の再生時間で再生可能な所定のオブジェクトの動画像を取得する第1取得手段と、
表示手段の表示領域にてユーザによる操作手段の所定操作に基づいて描画された軌跡を特定する特定手段と、
前記特定手段により特定された軌跡の長さを基準として、当該軌跡に沿って移動表示されるとともに背景画像に重畳表示される前記動画像の所定のオブジェクトの動作態様を変化させる制御手段と、
を備えたことを特徴とする画像処理装置。
<請求項2>
前記軌跡の長さと前記動画像の所定の再生時間とに基づいて、当該動画像の所定のオブジェクトの移動速度を算出する第1算出手段を更に備え、
前記制御手段は、前記第1算出手段により算出された移動速度で前記所定のオブジェクトを移動させることを特徴とする請求項1に記載の画像処理装置。
<請求項3>
前記動画像を再生すべき回数を指定する指定手段を更に備え、
前記第1算出手段は、前記動画像の前記指定手段により指定された回数分の再生が完了するまでの時間を再生時間として、当該動画像の所定のオブジェクトの移動速度を算出することを特徴とする請求項2に記載の画像処理装置。
<請求項4>
前記動画像の所定のオブジェクトの移動速度を設定する設定手段と、
前記設定手段により設定された移動速度で前記軌跡に沿って移動する前記所定のオブジェクトの当該移動が完了するまでの時間を算出する第2算出手段と、を更に備え、
前記制御手段は、前記第2算出手段により算出された前記所定のオブジェクトの移動が完了するまでの時間と前記動画像の所定の再生時間とに基づいて、当該動画像を構成する複数のフレーム画像のフレームレートを算出して、当該フレームレートで前記複数のフレーム画像を切り替えることを特徴とする請求項1に記載の画像処理装置。
<請求項5>
前記動画像を再生すべき回数を指定する指定手段を更に備え、
前記制御手段は、前記動画像の前記指定手段により指定された回数分の再生が完了するまでの時間を再生時間として、当該動画像を構成する複数のフレーム画像のフレームレートを算出することを特徴とする請求項4に記載の画像処理装置。
<請求項6>
前記制御手段は、更に、前記軌跡の始点側から終点側に前記動画像の所定のオブジェクトの表示位置を移動させることを特徴とする請求項1〜5の何れか一項に記載の画像処理装置。
<請求項7>
背景画像を取得する第2取得手段と、
前記動画像の所定のオブジェクトと前記背景画像とを合成する合成手段と、を更に備え、
前記制御手段は、前記合成手段により前記所定のオブジェクトと前記背景画像とを合成する際に、当該所定のオブジェクトの動作態様を変化させることを特徴とする請求項1〜6の何れか一項に記載の画像処理装置。
<請求項8>
前記特定手段は、更に、前記表示手段の表示領域に前記背景画像が表示された状態で、ユーザによる操作手段の所定操作に基づいて描画された軌跡を特定することを特徴とする請求項1〜7の何れか一項に記載の画像処理装置。
<請求項9>
画像処理装置を用いた画像処理方法であって、
所定の再生時間で再生可能な所定のオブジェクトの動画像を取得する処理と、
表示手段の表示領域にてユーザによる操作手段の所定操作に基づいて描画された軌跡を特定する処理と、
特定された軌跡の長さを基準として、当該軌跡に沿って移動表示されるとともに背景画像に重畳表示される前記動画像の所定のオブジェクトの動作態様を変化させる処理と、
を含むことを特徴とする画像処理方法。
<請求項10>
画像処理装置のコンピュータを、
所定の再生時間で再生可能な所定のオブジェクトの動画像を取得する第1取得手段、
表示手段の表示領域にてユーザによる操作手段の所定操作に基づいて描画された軌跡を特定する特定手段、
前記特定手段により特定された軌跡の長さを基準として、当該軌跡に沿って移動表示されるとともに背景画像に重畳表示される前記動画像の所定のオブジェクトの動作態様を変化させる制御手段、
として機能させることを特徴とするプログラム。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
<請求項1>
所定の再生時間で再生可能な所定のオブジェクトの動画像を取得する第1取得手段と、
表示手段の表示領域にてユーザによる操作手段の所定操作に基づいて描画された軌跡を特定する特定手段と、
前記特定手段により特定された軌跡の長さを基準として、当該軌跡に沿って移動表示されるとともに背景画像に重畳表示される前記動画像の所定のオブジェクトの動作態様を変化させる制御手段と、
を備えたことを特徴とする画像処理装置。
<請求項2>
前記軌跡の長さと前記動画像の所定の再生時間とに基づいて、当該動画像の所定のオブジェクトの移動速度を算出する第1算出手段を更に備え、
前記制御手段は、前記第1算出手段により算出された移動速度で前記所定のオブジェクトを移動させることを特徴とする請求項1に記載の画像処理装置。
<請求項3>
前記動画像を再生すべき回数を指定する指定手段を更に備え、
前記第1算出手段は、前記動画像の前記指定手段により指定された回数分の再生が完了するまでの時間を再生時間として、当該動画像の所定のオブジェクトの移動速度を算出することを特徴とする請求項2に記載の画像処理装置。
<請求項4>
前記動画像の所定のオブジェクトの移動速度を設定する設定手段と、
前記設定手段により設定された移動速度で前記軌跡に沿って移動する前記所定のオブジェクトの当該移動が完了するまでの時間を算出する第2算出手段と、を更に備え、
前記制御手段は、前記第2算出手段により算出された前記所定のオブジェクトの移動が完了するまでの時間と前記動画像の所定の再生時間とに基づいて、当該動画像を構成する複数のフレーム画像のフレームレートを算出して、当該フレームレートで前記複数のフレーム画像を切り替えることを特徴とする請求項1に記載の画像処理装置。
<請求項5>
前記動画像を再生すべき回数を指定する指定手段を更に備え、
前記制御手段は、前記動画像の前記指定手段により指定された回数分の再生が完了するまでの時間を再生時間として、当該動画像を構成する複数のフレーム画像のフレームレートを算出することを特徴とする請求項4に記載の画像処理装置。
<請求項6>
前記制御手段は、更に、前記軌跡の始点側から終点側に前記動画像の所定のオブジェクトの表示位置を移動させることを特徴とする請求項1〜5の何れか一項に記載の画像処理装置。
<請求項7>
背景画像を取得する第2取得手段と、
前記動画像の所定のオブジェクトと前記背景画像とを合成する合成手段と、を更に備え、
前記制御手段は、前記合成手段により前記所定のオブジェクトと前記背景画像とを合成する際に、当該所定のオブジェクトの動作態様を変化させることを特徴とする請求項1〜6の何れか一項に記載の画像処理装置。
<請求項8>
前記特定手段は、更に、前記表示手段の表示領域に前記背景画像が表示された状態で、ユーザによる操作手段の所定操作に基づいて描画された軌跡を特定することを特徴とする請求項1〜7の何れか一項に記載の画像処理装置。
<請求項9>
画像処理装置を用いた画像処理方法であって、
所定の再生時間で再生可能な所定のオブジェクトの動画像を取得する処理と、
表示手段の表示領域にてユーザによる操作手段の所定操作に基づいて描画された軌跡を特定する処理と、
特定された軌跡の長さを基準として、当該軌跡に沿って移動表示されるとともに背景画像に重畳表示される前記動画像の所定のオブジェクトの動作態様を変化させる処理と、
を含むことを特徴とする画像処理方法。
<請求項10>
画像処理装置のコンピュータを、
所定の再生時間で再生可能な所定のオブジェクトの動画像を取得する第1取得手段、
表示手段の表示領域にてユーザによる操作手段の所定操作に基づいて描画された軌跡を特定する特定手段、
前記特定手段により特定された軌跡の長さを基準として、当該軌跡に沿って移動表示されるとともに背景画像に重畳表示される前記動画像の所定のオブジェクトの動作態様を変化させる制御手段、
として機能させることを特徴とするプログラム。
100、200 携帯端末
1 中央制御部
3 表示部
3a 表示パネル
3b 表示制御部
4 操作入力部
5 軌跡特定部
6 画像処理部
6a 第1画像取得部
6b 第2画像取得部
6c 第1算出部
6d 画像合成部
6e 合成制御部
6f 速度設定部
1 中央制御部
3 表示部
3a 表示パネル
3b 表示制御部
4 操作入力部
5 軌跡特定部
6 画像処理部
6a 第1画像取得部
6b 第2画像取得部
6c 第1算出部
6d 画像合成部
6e 合成制御部
6f 速度設定部
Claims (10)
- 所定の再生時間で再生可能な所定のオブジェクトの動画像を取得する第1取得手段と、
表示手段の表示領域にてユーザによる操作手段の所定操作に基づいて描画された軌跡を特定する特定手段と、
前記特定手段により特定された軌跡の長さを基準として、当該軌跡に沿って移動表示されるとともに背景画像に重畳表示される前記動画像の所定のオブジェクトの動作態様を変化させる制御手段と、
を備えたことを特徴とする画像処理装置。 - 前記軌跡の長さと前記動画像の所定の再生時間とに基づいて、当該動画像の所定のオブジェクトの移動速度を算出する第1算出手段を更に備え、
前記制御手段は、前記第1算出手段により算出された移動速度で前記所定のオブジェクトを移動させることを特徴とする請求項1に記載の画像処理装置。 - 前記動画像を再生すべき回数を指定する指定手段を更に備え、
前記第1算出手段は、前記動画像の前記指定手段により指定された回数分の再生が完了するまでの時間を再生時間として、当該動画像の所定のオブジェクトの移動速度を算出することを特徴とする請求項2に記載の画像処理装置。 - 前記動画像の所定のオブジェクトの移動速度を設定する設定手段と、
前記設定手段により設定された移動速度で前記軌跡に沿って移動する前記所定のオブジェクトの当該移動が完了するまでの時間を算出する第2算出手段と、を更に備え、
前記制御手段は、前記第2算出手段により算出された前記所定のオブジェクトの移動が完了するまでの時間と前記動画像の所定の再生時間とに基づいて、当該動画像を構成する複数のフレーム画像のフレームレートを算出して、当該フレームレートで前記複数のフレーム画像を切り替えることを特徴とする請求項1に記載の画像処理装置。 - 前記動画像を再生すべき回数を指定する指定手段を更に備え、
前記制御手段は、前記動画像の前記指定手段により指定された回数分の再生が完了するまでの時間を再生時間として、当該動画像を構成する複数のフレーム画像のフレームレートを算出することを特徴とする請求項4に記載の画像処理装置。 - 前記制御手段は、更に、前記軌跡の始点側から終点側に前記動画像の所定のオブジェクトの表示位置を移動させることを特徴とする請求項1〜5の何れか一項に記載の画像処理装置。
- 背景画像を取得する第2取得手段と、
前記動画像の所定のオブジェクトと前記背景画像とを合成する合成手段と、を更に備え、
前記制御手段は、前記合成手段により前記所定のオブジェクトと前記背景画像とを合成する際に、当該所定のオブジェクトの動作態様を変化させることを特徴とする請求項1〜6の何れか一項に記載の画像処理装置。 - 前記特定手段は、更に、前記表示手段の表示領域に前記背景画像が表示された状態で、ユーザによる操作手段の所定操作に基づいて描画された軌跡を特定することを特徴とする請求項1〜7の何れか一項に記載の画像処理装置。
- 画像処理装置を用いた画像処理方法であって、
所定の再生時間で再生可能な所定のオブジェクトの動画像を取得する処理と、
表示手段の表示領域にてユーザによる操作手段の所定操作に基づいて描画された軌跡を特定する処理と、
特定された軌跡の長さを基準として、当該軌跡に沿って移動表示されるとともに背景画像に重畳表示される前記動画像の所定のオブジェクトの動作態様を変化させる処理と、
を含むことを特徴とする画像処理方法。 - 画像処理装置のコンピュータを、
所定の再生時間で再生可能な所定のオブジェクトの動画像を取得する第1取得手段、
表示手段の表示領域にてユーザによる操作手段の所定操作に基づいて描画された軌跡を特定する特定手段、
前記特定手段により特定された軌跡の長さを基準として、当該軌跡に沿って移動表示されるとともに背景画像に重畳表示される前記動画像の所定のオブジェクトの動作態様を変化させる制御手段、
として機能させることを特徴とするプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012048916A JP2013187595A (ja) | 2012-03-06 | 2012-03-06 | 画像処理装置、画像処理方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012048916A JP2013187595A (ja) | 2012-03-06 | 2012-03-06 | 画像処理装置、画像処理方法及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2013187595A true JP2013187595A (ja) | 2013-09-19 |
Family
ID=49388706
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012048916A Pending JP2013187595A (ja) | 2012-03-06 | 2012-03-06 | 画像処理装置、画像処理方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2013187595A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020036214A1 (ja) * | 2018-08-17 | 2020-02-20 | 株式会社ソニー・インタラクティブエンタテインメント | 画像生成装置、画像生成方法及びプログラム |
CN111667508A (zh) * | 2020-06-10 | 2020-09-15 | 北京爱笔科技有限公司 | 一种检测方法和相关装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08123976A (ja) * | 1994-10-28 | 1996-05-17 | Matsushita Electric Ind Co Ltd | アニメーション作成装置 |
JP2006251930A (ja) * | 2005-03-08 | 2006-09-21 | Kohei Nishino | 文字変換装置、情報処理装置用のプログラム、受信内容表示方法、及び受信内容表示システム |
JP2008126014A (ja) * | 2006-11-27 | 2008-06-05 | Samii Kk | 遊技機及び遊技機用プログラム |
JP2010176329A (ja) * | 2009-01-28 | 2010-08-12 | Sony Corp | 情報処理装置、アニメーション付加方法、及びプログラム |
-
2012
- 2012-03-06 JP JP2012048916A patent/JP2013187595A/ja active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08123976A (ja) * | 1994-10-28 | 1996-05-17 | Matsushita Electric Ind Co Ltd | アニメーション作成装置 |
JP2006251930A (ja) * | 2005-03-08 | 2006-09-21 | Kohei Nishino | 文字変換装置、情報処理装置用のプログラム、受信内容表示方法、及び受信内容表示システム |
JP2008126014A (ja) * | 2006-11-27 | 2008-06-05 | Samii Kk | 遊技機及び遊技機用プログラム |
JP2010176329A (ja) * | 2009-01-28 | 2010-08-12 | Sony Corp | 情報処理装置、アニメーション付加方法、及びプログラム |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020036214A1 (ja) * | 2018-08-17 | 2020-02-20 | 株式会社ソニー・インタラクティブエンタテインメント | 画像生成装置、画像生成方法及びプログラム |
US11551383B2 (en) | 2018-08-17 | 2023-01-10 | Sony Interactive Entertainment Inc. | Image generating apparatus, image generating method, and program for generating an image using pixel values stored in advance |
CN111667508A (zh) * | 2020-06-10 | 2020-09-15 | 北京爱笔科技有限公司 | 一种检测方法和相关装置 |
CN111667508B (zh) * | 2020-06-10 | 2023-10-24 | 北京爱笔科技有限公司 | 一种检测方法和相关装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2013186521A (ja) | 画像処理装置、画像処理方法及びプログラム | |
US8416277B2 (en) | Face detection as a metric to stabilize video during video chat session | |
KR101450580B1 (ko) | 이미지 합성 방법 및 장치 | |
US8284233B2 (en) | Utilizing image sequences to perform video streaming during video conferencing | |
CN106412691B (zh) | 一种视频图像的截取方法和装置 | |
JPWO2003077097A1 (ja) | 移動体通信装置、移動体通信装置の表示制御方法、並びに、そのプログラム | |
JP5100495B2 (ja) | 画像処理装置 | |
JP2006325241A (ja) | 携帯端末機の画像表示装置及び方法 | |
US20070075969A1 (en) | Method for controlling display of image according to movement of mobile terminal | |
JP2004128614A (ja) | 画像表示制御装置及び画像表示制御プログラム | |
CN111832538A (zh) | 视频处理方法及装置、存储介质 | |
JP4289153B2 (ja) | 移動体通信装置、移動体通信装置の表示制御方法、並びに、そのプログラム | |
KR20050067286A (ko) | 카메라를 구비하는 장치의 영상 촬영 방법 | |
KR20140089829A (ko) | 전자 장치에서 움직이는 사진 제어 장치 및 방법 | |
KR20050113058A (ko) | 카메라를 구비한 이동 단말에서 촬영 이미지 합성 장치 및방법 | |
KR20100041108A (ko) | Udta 정보를 이용한 MP4 동영상 연속 촬영 방법 및 이를 지원하는 휴대 단말기 | |
JP2013187595A (ja) | 画像処理装置、画像処理方法及びプログラム | |
US20050018050A1 (en) | Wireless communication device, dynamic image preparation method and dynamic image preparation program | |
JP2005316558A (ja) | 画面ズーム方法 | |
CN112561798B (zh) | 图片处理方法、移动终端以及存储介质 | |
JP3672561B2 (ja) | 動画像合成装置、動画像合成方法、及び動画像合成機能付き情報端末装置 | |
KR101285382B1 (ko) | 동영상 편집 기능을 구비한 동영상 촬영 장치 및 방법 | |
JP4632840B2 (ja) | 携帯端末装置、表示制御プログラム及び表示制御方法 | |
JP5170278B2 (ja) | 表示制御装置、表示制御方法、プログラム、および表示制御システム | |
JP6977847B2 (ja) | 画像管理装置、画像管理方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150220 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150828 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150929 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20160209 |