JP2004112112A - 情報処理装置 - Google Patents
情報処理装置 Download PDFInfo
- Publication number
- JP2004112112A JP2004112112A JP2002269196A JP2002269196A JP2004112112A JP 2004112112 A JP2004112112 A JP 2004112112A JP 2002269196 A JP2002269196 A JP 2002269196A JP 2002269196 A JP2002269196 A JP 2002269196A JP 2004112112 A JP2004112112 A JP 2004112112A
- Authority
- JP
- Japan
- Prior art keywords
- image
- moving
- blue light
- moving image
- special effect
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
【課題】本発明は、動画像に対して思い通りに画像特殊効果を付加させる。
【解決手段】本発明は、デジタルビデオカメラ１７によって動画像データＤ１を取り込みながらＣＰＵ１０により当該動画像データＤ１に基づく動画像内の青色光の移動の有無及び移動方向を検出し、その検出結果に基づいて、動画像内の青色光が移動した際に当該動画像内の青色光の移動方向側に画像特殊効果として球状画像４０を付加するようにしたことにより、動画像内で青色光の移動した任意のタイミングで当該青色光の移動方向側の任意の領域に球状画像４０を容易に付加することができ、かくして動画像に対して思い通りに球状画像４０等の画像特殊効果を付加することができる。
【選択図】 図５
【解決手段】本発明は、デジタルビデオカメラ１７によって動画像データＤ１を取り込みながらＣＰＵ１０により当該動画像データＤ１に基づく動画像内の青色光の移動の有無及び移動方向を検出し、その検出結果に基づいて、動画像内の青色光が移動した際に当該動画像内の青色光の移動方向側に画像特殊効果として球状画像４０を付加するようにしたことにより、動画像内で青色光の移動した任意のタイミングで当該青色光の移動方向側の任意の領域に球状画像４０を容易に付加することができ、かくして動画像に対して思い通りに球状画像４０等の画像特殊効果を付加することができる。
【選択図】 図５
Description
【０００１】
【発明の属する技術分野】
本発明は情報処理装置に関し、例えばライブ配信する動画像にリアルタイムで画像特殊効果を付加するパーソナルコンピュータに適用して好適なものである。
【０００２】
【従来の技術】
従来、ライブ配信する動画像に画像特殊効果を付加する際には、当該動画像に付加する画像特殊効果を特定する効果特定情報を予め設定された配列で表示し、その効果特定情報の中から所望の効果特定情報が選択されると、動画像に対して、選択された効果特定情報によって特定される画像特殊効果を付加している。（例えば、特許文献１参照）。
【０００３】
【特許文献１】
特開２００２−１５２５９１号公報（第４頁 第９頁乃至第１１頁、図１１）
【０００４】
【発明が解決しようとする課題】
ところがかかる画像特殊効果の付加手法においては、動画像を演算処理することにより白黒、モザイク及びセピア等の画像特殊効果を動画像全体に付加し、又はフラワー、ハート及びクラッカー等の比較的単純な付加用画像を画像特殊効果として動画像内の予め設定された固定領域に付加している。
【０００５】
このためかかる画像特殊効果の付加手法においては、動画像に対して任意のタイミングで任意の領域に画像特殊効果を思い通りに付加し難い問題があった。
【０００６】
本発明は以上の点を考慮してなされたもので、動画像に対して思い通りに画像特殊効果を付加し得る情報処理装置を提案しようとするものである。
【０００７】
【課題を解決するための手段】
かかる課題を解決するため本発明においては、動画像取込手段によって動画像データを取り込みながら検出手段により当該動画像データに基づく動画像内の特定物の移動の有無及び移動方向を検出し、その検出結果に基づいて、画像特殊効果付加手段により動画像内の特定物が移動した際に当該動画像内の特定物の移動方向側に所定の画像特殊効果を付加するようにした。
【０００８】
従って、動画像内で特定物の移動した任意のタイミングで当該特定物の移動方向側の任意の領域に画像特殊効果を容易に付加することができる。
【０００９】
【発明の実施の形態】
以下図面について、本発明の一実施の形態を詳述する。
【００１０】
図１において、１は全体として本発明を適用したパーソナルコンピュータを示し、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ ）１０にＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２、ハードディスクドライブ１３、操作部インターフェース１４、スピーカインターフェース１５、表示用インターフェース１６、デジタルビデオカメラ１７、ネットワークインターフェース１８、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）２コーデック１９、オーディオエンコーダ２０がそれぞれバス２１を介して接続されて構成されている。
【００１１】
この場合、パーソナルコンピュータ１は、ＲＯＭ１２にＣＰＵ１０によって実行する一連のプログラムを予め格納していると共に、ハードディスクドライブ１３のハードディスクにＣＰＵ１０によって実行するオペレーティングシステムや、配信処理プログラム、特殊効果付加処理プログラム、キャプチャフィルタ、表示フィルタ、エンコードフィルタ及びダイアログアプリケーションプログラムからなるライブ配信処理プログラム等の各種アプリケーションプログラムを予め格納している。
【００１２】
そしてパーソナルコンピュータ１のＣＰＵ１０は、ＲＡＭ１１をワークエリアとして用いてこれら一連のプログラムやオペレーティングシステム、またライブ配信処理プログラム等の各種アプリケーションプログラムに従った各種演算処理を実行しながらハードディスクドライブ１３、操作部インターフェース１４、スピーカインターフェース１５、表示用インターフェース１６、デジタルビデオカメラ１７、ネットワークインターフェース１８、ＭＰＥＧ２コーデック１９及びオーディオエンコーダ２０等の各回路部を制御する。
【００１３】
これによりＣＰＵ１０は、ユーザを撮像対象として撮像することにより得られた動画像データＤ１に画像特殊効果として球状画像及び剣状画像を付加すると共に、音声特殊効果として当該球状画像及び剣状画像の状態を表現する効果音を付加しながら、これら画像特殊効果及び音声特殊効果（以下、これらをまとめてエフェクトと呼ぶ）の付加によって得られた映像データ（以下、これをエフェクト付加映像データと呼ぶ）Ｄ２をインターネット上のストリーミングサーバ（図示せず）を利用してライブ配信するライブ配信処理を実行する。
【００１４】
実際上、ＣＰＵ１０は、ハードディスクドライブ１３のハードディスクからライブ配信処理プログラムを読み出してＲＡＭ１１上で展開することにより当該ライブ配信処理プログラムに従ってライブ配信処理手順ＲＴ１の開始ステップから入り、続くステップＳＰ１に移る。
【００１５】
ステップＳＰ１においてＣＰＵ１０は、ライブ配信用の各種操作命令が入力可能なライブ配信処理用画面（図示せず）に相当するライブ配信処理用画面データＤ３をバス２１及び表示用インターフェース１６を順次介して液晶ディスプレイ又は陰極線管等でなる表示部２５に送出することにより当該表示部２５にライブ配信処理用画面データＤ３に基づくライブ配信処理用画面を表示する。
【００１６】
この状態でＣＰＵ１０は、ユーザによりキーボード及びマウス等でなる操作部２６を介してライブ配信処理用画面上で画像特殊効果を設定するための効果設定要求が入力されると、これを操作部インターフェース１４及びバス２１を順次介して取り込む。
【００１７】
このときＣＰＵ１０は、図３に示すようにライブ配信処理プログラムを構成するダイアログアプリケーションプログラムＰ１に従い、効果設定要求に応じてライブ配信処理用画面内に、動画像に付加する画像特殊効果として球状画像及び剣状画像のいずれか一方を選択させるための効果選択用ダイアログボックスを表示する。
【００１８】
この結果、ＣＰＵ１０は、ユーザにより操作部２６を介してライブ配信処理用画面内の効果選択用ダイアログボックス上で球状画像及び剣状画像のいずれか一方が選択されると、当該選択された球状画像又は剣状画像を示す効果選択情報を操作部インターフェース１４及びバス２１を順次介して取り込む。
【００１９】
このときＣＰＵ１０は、ライブ配信処理プログラムを構成する特殊効果付加処理プログラムＰ２（図３）に従い、効果選択情報で示される球状画像又は剣状画像をライブ配信用の動画像に付加する画像特殊効果として用いるように設定して続くステップＳＰ２に移る。
【００２０】
ステップＳＰ２においてＣＰＵ１０は、ユーザによってライブ配信の開始が指示されることを待ち受け、当該ユーザにより操作部２６を介してライブ配信処理用画面上でライブ配信の開始が指示されると、その指示結果を操作部インターフェース１４及びバス２１を順次介して取り込み、続くステップＳＰ３に移る。
【００２１】
ステップＳＰ３においてＣＰＵ１０は、予め登録されているストリーミングサーバのＵＲＬ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ）に基づいて当該ストリーミングサーバとパーソナルコンピュータ１との間で通信回線を確保する。
【００２２】
またＣＰＵ１０は、このとき動画像に画像特殊効果を付加するタイミング及び領域を指示するための図４に示すような指示器具３０を手に持ったユーザ（撮像対象）に対してデジタルビデオカメラ１７による撮像を開始する。
【００２３】
ここで指示器具３０は、内部に電池が収納された円筒状本体３１の一端（以下、これを本体一端と呼ぶ）に電球により青色に発光する青色発光部３２が設けられると共に、当該円筒状本体３１の他端（以下、これを本体他端と呼ぶ）に電球により赤色に発光する赤色発光部３３が設けられている。
【００２４】
また指示器具３０は、円筒状本体３１の側面に３段階の切換機能を有するスイッチ３４がスライド自在に設けられ、ユーザにより円筒状本体３１が手で握持された状態でスイッチ３４がスライド範囲内を本体一端側に目いっぱいスライドすると、青色発光部３２のみを発光させ、当該スイッチ３４がスライド範囲の中央部に位置したときに青色発光部３２及び赤色発光部３３を両方とも消灯させ、さらにスイッチ３４がスライド範囲内を本体他端側に目いっぱいスライドすると、青色発光部３２及び赤色発光部３３の両方を発光させるようになされている。
【００２５】
そしてＣＰＵ１０は、ユーザの撮像を開始すると、ライブ配信処理プログラムを構成するキャプチャフィルタＰ３（図３）に従い、デジタルビデオカメラ１７からその撮像によって得られる動画像データＤ１の取り込みを開始してステップＳＰ４に移る。
【００２６】
ステップＳＰ４においてＣＰＵ１０は、キャプチャフィルタＰ３に従い、デジタルビデオカメラ１７から動画像データＤ１をフレーム画像データＤ１Ａ単位でバス２１を介して取り込むようにし、当該動画像データＤ１を構成するフレーム画像データＤ１Ａを１フレーム分取り込むと、当該デジタルビデオカメラ１７から１フレーム分のフレーム画像データＤ１Ａを取り込む毎に画像特殊効果設定変更検出処理を実行する画像特殊効果設定変更検出処理ルーチンＳＲＴ１０に移る。
【００２７】
画像特殊効果設定変更検出処理ルーチンＳＲＴ１００においてＣＰＵ１０は、ユーザを撮像している途中でも、画像特殊効果設定変更検出処理として、そのユーザによって行われる例えば青色発光部３２のみを発光させた指示器具３０を一旦は上方向に振った後、引き続き下方向に振る連続した動作を画像特殊効果の設定内容の変更を指示する特定動作として認識し、当該特定動作を認識するとこれに応じて画像特殊効果の設定内容を変更するようになされている。
【００２８】
実際にＣＰＵ１０は、デジタルビデオカメラ１７からこの時点に取り込んだフレーム画像データＤ１Ａに基づく１枚のフレーム画像（以下、これを特に現時点処理対象フレーム画像と呼ぶ）内で指示器具３０の青色発光部３２の発光によって得られる青色光の移動の有無及び移動方向を検出して蓄積し、当該蓄積した移動の有無及び移動方向に基づいて、画像特殊効果の設定内容の変更を指示する特定動作に応じて青色光が移動しているか否かを検出する。
【００２９】
そしてＣＰＵ１０は、画像特殊効果の設定内容の変更を指示する特定動作に応じて青色光が移動していることを検出するまでは画像特殊効果の設定内容を変更せずにステップＳＰ５に移る。
【００３０】
これに対してＣＰＵ１０は、画像特殊効果の設定内容の変更を指示する特定動作に応じて青色光が移動していることを検出すると、これに応じて画像特殊効果の設定内容を変更してステップＳＰ５に移る。
【００３１】
ステップＳＰ５においてＣＰＵ１０は、この時点における画像特殊効果の設定内容が球状画像を用いる設定であるか否かを判断する。
【００３２】
このステップＳＰ５において肯定結果が得られると、このことは画像特殊効果として球状画像を用いるように設定していることを表しており、このときＣＰＵ１０はデジタルビデオカメラ１７から１フレーム分のフレーム画像データＤ１Ａを取り込む毎にその都度１フレーム分のフレーム画像データＤ１Ａに対して球状画像付加処理を実行する球状画像付加処理ルーチンＳＲＴ２００に移る。
【００３３】
球状画像付加処理ルーチンＳＲＴ２００においてＣＰＵ１０は、球状画像付加処理として、撮像中のユーザによって行われる例えば青色発光部３２のみを発光させた指示器具３０を任意の一方向に移動させる動作をフレーム画像に対して球状画像の付加を指示する特定動作として認識し、当該特定動作を認識するとこれに応じてフレーム画像に球状画像を付加するようになされている。
【００３４】
実際にＣＰＵ１０は、現時点処理対象フレーム画像内で指示器具３０の青色発光部３２の発光によって得られる青色光の移動の有無及び移動方向を検出して蓄積し、当該蓄積した移動の有無及び移動方向に基づいて、フレーム画像に対して球状画像の付加を指示する特定動作に応じて青色光が移動しているか否かを検出する。
【００３５】
そしてＣＰＵ１０は、フレーム画像に対して球状画像の付加を指示する特定動作に応じて青色光が移動していることを検出するまでは、未だ球状画像を付加していない現時点処理対象フレーム画像に相当するフレーム画像データＤ１Ａを、ライブ配信処理プログラムを構成するエンコードフィルタＰ４（図３）に従いバス２１を介してＭＰＥＧ２コーデック１９に送出する。
【００３６】
またＣＰＵ１０は、このときライブ配信処理プログラムを構成する表示フィルタＰ５（図３）に従いそのフレーム画像データＤ１Ａをバス２１及び表示用インターフェース１６を順次介して表示部２５に送出してステップＳＰ６に移る。
【００３７】
ステップＳＰ６においてＣＰＵ１０は、ＭＰＥＧ２コーデック１９によりフレーム画像データＤ１ＡをＭＰＥＧ２規格に従って圧縮符号化し、得られた圧縮符号化フレーム画像データＤ５Ａをこの時点のエフェクト付加映像データＤ２としてバス２１及びネットワークインターフェース１８を順次介してインターネット上のストリーミングサーバに送信する。
【００３８】
またＣＰＵ１０は、このとき表示部２５にフレーム画像データＤ１Ａに基づく現時点処理対象フレーム画像（すなわち球状画像を付加していない元のフレーム画像）を表示してステップＳＰ７に移る。
【００３９】
ステップＳＰ７においてＣＰＵ１０は、ライブ配信の終了が指示されたか否かを判断する。
【００４０】
このステップＳＰ７において否定結果が得られると、このことはユーザにより操作部２６を介して未だライブ配信の終了が指示されていないことを表しており、このときＣＰＵ１０はステップＳＰ４に戻る。
【００４１】
このようにしてＣＰＵ１０は、画像特殊効果として球状画像を用いるように設定されている間は、ステップＳＰ７−ＳＰ４−ＳＲＴ１００−ＳＰ５―ＳＲＴ２００−ＳＰ６−ＳＰ７の一連の処理を循環的に繰り返すことによりデジタルビデオカメラ１７から１フレーム分のフレーム画像データＤ１Ａを取り込む毎に球状画像付加処理ルーチンＳＲＴ２００において撮像中のユーザにより球状画像の付加を指示する特定動作が行われたか否かを監視する。
【００４２】
この結果、球状画像付加処理ルーチンＳＲＴ２００においてＣＰＵ１０は、撮像中のユーザにより球状画像の付加を指示する特定動作が行われることによりそのフレーム画像に対して球状画像の付加を指示する特定動作に応じて青色光が移動していることを検出すると、球状画像の状態として動画像中における球状画像の出現を表現する効果音（以下、これを特に球状画像用効果音と呼ぶ）に相当する球状画像用効果音データＤ６をこれが予め記録されているハードディスクドライブ１３のハードディスクから読み出してステップＳＰ６に移る。
【００４３】
そしてＣＰＵ１０は再びステップＳＰ６−ＳＰ７−ＳＰ４−ＳＲＴ１００−ＳＰ５の処理を順次経て再び球状画像付加処理ルーチンＳＲＴ２００に移ると、当該球状画像付加処理ルーチンＳＲＴ２００においてデジタルビデオカメラ１７からこの時点に取り込んだフレーム画像データＤ１Ａに基づくフレーム画像（以下、これを特に球描画対象フレーム画像と呼ぶ）に対して球状画像を付加する。
【００４４】
またＣＰＵ１０は、その球状画像を付加した球描画対象フレーム画像（以下、これを球状画像付加フレーム画像と呼ぶ）に相当する球状画像付加フレーム画像データＤ７ＡをエンコードフィルタＰ４に従いバス２１を介してＭＰＥＧ２コーデック１９に送出すると共に、表示フィルタＰ５に従いその球状画像付加フレーム画像データＤ７Ａをバス２１及び表示用インターフェース１６を順次介して表示部２５に送出する。
【００４５】
因みにＣＰＵ１０は、このとき１フレーム前の現時点処理対象フレーム画像に対する処理でハードディスクから読み出していた球状画像用効果音データＤ６を球状画像付加フレーム画像データＤ７Ａの送出タイミングに合わせて、エンコードフィルタＰ４に従いバス２１を介してオーディオエンコーダ２０に送出すると共に、当該球状画像用効果音データＤ６をバス２１及びスピーカインターフェース１５を順次介してスピーカ２７に送出してステップＳＰ６に移る。
【００４６】
これによりステップＳＰ６においてＣＰＵ１０は、ＭＰＥＧ２コーデック１９により球状画像付加フレーム画像データＤ７ＡをＭＰＥＧ２規格に従って圧縮符号化し、得られた球付加圧縮フレーム画像データＤ８Ａと、オーディオエンコーダ２０により球状画像用効果音データＤ６を所定の圧縮符号化方式に従って圧縮符号化し、得られた圧縮符号化効果音データＤ９とをこの時点のエフェクト付加映像データＤ２としてバス２１及びネットワークインターフェース１８を順次介してインターネット上のストリーミングサーバに送信する。
【００４７】
またＣＰＵ１０は、このとき表示部２５に球状画像付加フレーム画像データＤ７Ａに基づく球状画像付加フレーム画像（すなわち画像特殊効果として球状画像を付加した球描画対象フレーム画像）を表示すると共に、これに合わせてスピーカ２７から球状画像用効果音データＤ６に基づく球状画像用効果音を出力することにより球描画対象フレーム画像に画像特殊効果としての球状画像と共に音声特殊効果としての球状画像用効果音を合わせて付加してステップＳＰ７に移る。
【００４８】
このようにしてＣＰＵ１０は、ステップＳＰ７において肯定結果が得られるまでの間、ステップＳＰ７−ＳＰ４−ＳＲＴ１００−ＳＰ５―ＳＲＴ２００−ＳＰ６−ＳＰ７の一連の処理を循環的に繰り返すことにより、デジタルビデオカメラ１７から１フレーム分のフレーム画像データＤ１Ａを取り込む毎に球状画像付加処理ルーチンＳＲＴ２００において球状画像の付加を指示する特定動作の有無の監視と、その特定動作による指示に応じた球描画対象フレーム画像への球状画像の付加とを適宜繰り返す。
【００４９】
これによりＣＰＵ１０は、デジタルビデオカメラ１７から順次１フレーム分のフレーム画像データＤ１Ａを取り込む毎に球状画像付加処理ルーチンＳＲＴ２００を実行すると、例えば図５に示すように撮像対象のユーザ３９が一方の手に持った指示器具３０の青色発光部３２のみを発光させ、その青色発光部３２を他方の手のひらに沿わせた状態で当該他方の手を自分の前に突き出した際に、その他方の手の動きを球状画像４０の付加を指示する特定動作と認識して当該他方の手のひらからその突き出した方向側の領域にあたかも青色に発光している球状のエネルギー体（すなわち球状画像４０）を放出させるように動画像内（実際には動画像を構成する個々のフレーム画像４１、……、４１Ａ、……、４１Ｎ）に画像特殊効果として球状画像４０を変位させて付加することができる。
【００５０】
ところで上述したステップＳＰ５において否定結果が得られると、このことは画像特殊効果として剣状画像を用いるように設定していることを表しており、このときＣＰＵ１０はデジタルビデオカメラ１７から１フレーム分のフレーム画像データＤ１Ａを取り込む毎にその都度１フレーム分のフレーム画像データＤ１Ａに対して剣状画像付加処理を実行する剣状画像付加処理ルーチンＳＲＴ３００に移る。
【００５１】
剣状画像付加処理ルーチンＳＲＴ３００においてＣＰＵ１０は、剣状画像付加処理として、撮像中のユーザによる指示器具３０への操作で青色発光部３２及び赤色発光部３３の両方が発光すると、当該両方の発光をフレーム画像に対する剣状画像の付加の指示として認識し、当該認識した指示に応じてフレーム画像に剣状画像を付加するようになされている。
【００５２】
実際にＣＰＵ１０は、現時点処理対象フレーム画像内で指示器具３０の青色発光部３２及び赤色発光部３３の発光によって得られる青色光及び赤色光の両方を検出し得たか否かを判断し、当該青色光及び赤色光の両方を検出するまでは、未だ剣状画像を付加していない現時点処理対象フレーム画像に相当するフレーム画像データＤ１ＡをエンコードフィルタＰ４に従いバス２１を介してＭＰＥＧ２コーデック１９に送出する。
【００５３】
またＣＰＵ１０は、このとき表示フィルタＰ５に従いそのフレーム画像データＤ１Ａをバス２１及び表示用インターフェース１６を順次介して表示部２５に送出してステップＳＰ６に移る。
【００５４】
ステップＳＰ６においてＣＰＵ１０は、上述と同様の処理を実行することによりＭＰＥＧ２コーデック１９によりフレーム画像データＤ１ＡをＭＰＥＧ２規格に従って圧縮符号化し、得られた圧縮符号化フレーム画像データＤ５Ａをこの時点のエフェクト付加映像データＤ２としてバス２１及びネットワークインターフェース１８を順次介してインターネット上のストリーミングサーバに送信してステップＳＰ７に移る。
【００５５】
ステップＳＰ７においてＣＰＵ１０は上述と同様に否定結果を得ると、画像特殊効果として剣状画像を用いるように設定されている間は、ステップＳＰ７−ＳＰ４−ＳＲＴ１００−ＳＰ５―ＳＲＴ３００−ＳＰ６−ＳＰ７の一連の処理を循環的に繰り返すことによりデジタルビデオカメラ１７から１フレーム分のフレーム画像データＤ１Ａを取り込む毎に剣状画像付加処理ルーチンＳＲＴ３００において撮像中のユーザにより剣状画像の付加が指示されたか否かを監視する。
【００５６】
この結果、剣状画像付加処理ルーチンＳＲＴ３００においてＣＰＵ１０は、撮像中のユーザにより剣状画像の付加が指示されることにより現時点処理対象フレーム画像内で青色光及び赤色光の両方を検出すると、当該現時点処理対象フレーム画像に剣状画像を付加する。
【００５７】
またＣＰＵ１０は、その剣状画像の状態（例えば剣状画像の描画の完了や剣状画像が急激に振られた状態）を表現する剣状画像用効果音（剣生成音や剣振り効果音）に相当する剣状画像用効果音データＤ１１をこれが予め記録されているハードディスクドライブ１３のハードディスクから読み出す。
【００５８】
そしてＣＰＵ１０は、その剣状画像を付加した現時点処理対象フレーム画像（以下、これを剣状画像付加フレーム画像と呼ぶ）に相当する剣状画像付加フレーム画像データＤ１０ＡをエンコードフィルタＰ４に従いバス２１を介してＭＰＥＧ２コーデック１９に送出すると共に、表示フィルタＰ５に従いその剣状画像付加フレーム画像データＤ１０Ａをバス２１及び表示用インターフェース１６を順次介して表示部２５に送出する。
【００５９】
またＣＰＵ１０は、このとき剣状画像用効果音データＤ１１を剣状画像付加フレーム画像データＤ１０Ａの送出タイミングに合わせて、エンコードフィルタＰ４に従いバス２１を介してオーディオエンコーダ２０に送出すると共に、当該剣状画像用効果音データＤ１１をバス２１及びスピーカインターフェース１５を順次介してスピーカ２７に送出してステップＳＰ６に移る。
【００６０】
これによりステップＳＰ６においてＣＰＵ１０は、ＭＰＥＧ２コーデック１９により剣状画像付加フレーム画像データＤ１０ＡをＭＰＥＧ２規格に従って圧縮符号化し、得られた剣付加圧縮フレーム画像データＤ１２Ａと、オーディオエンコーダ２０により剣状画像用効果音データＤ１１を所定の圧縮符号化方式に従って圧縮符号化し、得られた圧縮符号化効果音データＤ１３とをこの時点のエフェクト付加映像データＤ２としてバス２１及びネットワークインターフェース１８を順次介してインターネット上のストリーミングサーバに送信する。
【００６１】
またＣＰＵ１０は、このとき表示部２５に剣状画像付加フレーム画像データＤ１０Ａに基づく剣状画像付加フレーム画像（すなわち画像特殊効果として剣状画像を付加した現時点処理対象フレーム画像）を表示すると共に、これに合わせてスピーカ２７から剣状画像用効果音データＤ１１に基づく剣状画像用効果音を出力することにより現時点処理対象フレーム画像に画像特殊効果としての剣状画像と共に音声特殊効果としての剣状画像用効果音を合わせて付加してステップＳＰ７に移る。
【００６２】
このようにしてＣＰＵ１０は、ステップＳＰ７において肯定結果が得られるまでの間、ステップＳＰ７−ＳＰ４−ＳＲＴ１００−ＳＰ５―ＳＲＴ３００−ＳＰ６−ＳＰ７の一連の処理を循環的に繰り返すことにより、デジタルビデオカメラ１７から１フレーム分のフレーム画像データＤ１Ａを取り込む毎に剣状画像付加処理ルーチンＳＲＴ３００において剣状画像を付加する指示の有無の監視と、その指示に応じた現時点処理対象フレーム画像への剣状画像の付加とを適宜繰り返す。
【００６３】
これによりＣＰＵ１０は、デジタルビデオカメラ１７から順次１フレーム分のフレーム画像データＤ１Ａを取り込む毎に剣状画像付加処理ルーチンＳＲＴ３００を実行すると、例えば図６に示すように撮像対象のユーザ４５が一方の手に持った指示器具３０の青色発光部３２及び赤色発光部３３の両方を発光させた際に、その指示器具３０の青色発光部３２側にあたかも青色に発光している光の剣（すなわち剣状画像４６）を出現させると共に、当該一方の手の動きに応じた指示器具３０の傾きに合わせてあたかも実際に振りまわしている物理的な剣の見え方を再現してその剣の長さを変化させるように動画像内（実際には動画像を構成する個々のフレーム画像４７、……、４７Ａ、……、４７Ｎ）に画像特殊効果として剣状画像４６を変位させて付加することができる。
【００６４】
ここで上述した画像特殊効果設定変更検出処理ルーチンＳＲＴ１００、球状画像付加処理ルーチンＳＲＴ２００及び剣状画像付加処理ルーチンＳＲＴ３００について以下に詳細に説明する。
【００６５】
まずＣＰＵ１０は、上述したステップＳＰ４（図２）の処理を実行した後に画像特殊効果設定変更検出処理ルーチンＳＲＴ１００に移ると、特殊効果処理プログラムＰ２に従って図７及び図８に示す画像特殊効果設定変更検出処理ルーチンＳＲＴ１００の開始ステップから入って続くステップＳＰ１０１に移る。
【００６６】
ステップＳＰ１０１においてＣＰＵ１０は、デジタルビデオカメラ１７からこの時点に取り込んだフレーム画像データＤ１Ａに基づく現時点処理対象フレーム画像に対して所定の画像処理を施すことにより当該現時点処理対象フレーム画像内で指示器具３０の青色発光部３２及び赤色発光部３３が発光した際の青色光及び赤色光を探索してステップＳＰ１０２に移る。
【００６７】
ステップＳＰ１０２においてＣＰＵ１０は、現時点処理対象フレーム画像内における探索の結果、青色光のみを検出したか否かを判断する。
【００６８】
このステップＳＰ１０２において肯定結果が得られると、このことはこの時点でユーザが指示器具３０の青色発光部３２のみを発光させていることにより現時点処理対象フレーム画像内で青色光のみを検出したことを表しており、このときＣＰＵ１０はステップＳＰ１０３に移る。
【００６９】
ステップＳＰ１０３においてＣＰＵ１０は、ユーザを撮像して得られる動画像を構成する複数のフレーム画像のうち、現時点処理対象フレーム画像よりも時間的に１フレーム分過去のすでに検索に用いられたフレーム画像（以下、これを特に過去フレーム画像と呼ぶ）でも青色光のみを検出したか否かを判断する。
【００７０】
このステップＳＰ１０３において肯定結果が得られると、このことは過去フレーム画像内でも青色光及び赤色光のうち青色光のみを検出したことを表しており、このときＣＰＵ１０はステップＳＰ１０４に移る。
【００７１】
ステップＳＰ１０４においてＣＰＵ１０は、過去フレーム画像に対して画像特殊効果設定変更検出処理ルーチンＳＲＴ１００を実行した際にＲＡＭ１１にすでに記録している当該過去フレーム画像内の青色光の位置（この位置は過去フレーム画像内の座標値で表すものであり、以下この位置を過去青色光位置と呼ぶ）と、現時点処理対象フレーム画像内の青色光の位置（この位置は現時点処理対象フレーム画像内の座標値で表すものであり、以下この位置を現時点青色光位置と呼ぶ）との間の距離（以下、これを現時点移動距離と呼ぶ）を算出し、当該算出した現時点移動距離が所定の第１の距離閾値以内か否かを判断する。
【００７２】
このステップＳＰ１０４において肯定結果が得られると、このことは現時点移動距離がユーザの自然な動きに応じた距離であり、青色光が正しく検出されたことを表しており、このときＣＰＵ１０はステップＳＰ１０５に移る。
【００７３】
ステップＳＰ１０５においてＣＰＵ１０は、過去青色光位置及び現時点青色光位置に基づいて過去フレーム画像から現時点処理対象フレーム画像に渡って移動した青色光の移動方向（以下、これを現時点移動方向と呼ぶ）及び現時点移動距離からなる移動量（以下、これを現時点移動量と呼び、当該現時点移動量は現時点移動方向及び現時点移動距離を一括してベクトルで表す）を検出し、続くステップＳＰ１０６に移る。
【００７４】
ステップＳＰ１０６においてＣＰＵ１０は、図９に示すように過去青色光位置ＫＰ１を中心とした上方向閾値範囲ＵＨ及び下方向閾値範囲ＤＨと現時点移動量ＧＨ１とを比較することにより青色光の現時点移動方向が上方向又は下方向であるか否かを判断する。
【００７５】
ステップＳＰ１０６において肯定結果が得られると、このことは上方向閾値範囲ＵＨ内及び下方向閾値範囲ＤＨ内のいずれか一方に現時点移動量ＧＨ１が存在することにより青色光の現時点移動方向が上方向又は下方向であると認識し得ることを表しており、このときＣＰＵ１０はステップＳＰ１０７に移る。
【００７６】
ステップＳＰ１０７においてＣＰＵ１０は、動画像を構成する複数のフレーム画像のうち現時点よりも時間的に過去の現時点処理対象フレーム画像と連続する所定フレーム数分（例えば１４又は２９フレーム）のフレーム画像に対してそれぞれ画像特殊効果設定変更検出処理ルーチンＳＲＴ１００を実行した際に当該所定フレーム数分のフレーム画像の全て又はいずれかのフレーム画像で青色光のみを検出している場合、これら複数のフレーム画像で青色光のみを検出してすでにＲＡＭ１１に記録している移動量（以下、これを過去移動量と呼ぶ）に応じた移動軌跡と、現時点移動量ＧＨ１とに基づいて当該青色光が移動開始から上方向に移動している途中であるか、又は当該青色光が移動開始から上方向に移動し、次いで下方向に連続して移動している途中であるか否かを判断する。
【００７７】
ステップＳＰ１０７において肯定結果が得られると、このことはユーザにより青色発光部３２のみを発光させた指示器具３０が一旦上方向に振られ、又は当該指示器具３０が一旦上方向に振られた後、引き続き下方向に振られた動作（すなわち画像特殊効果の設定内容の変更を指示する特定動作とほぼ同じ動作）に応じてフレーム画像内の青色光がその特定動作に応じた特定の軌跡で移動していることを表しており、このときＣＰＵ１０はステップＳＰ１０８に移る。
【００７８】
ステップＳＰ１０８においてＣＰＵ１０は、現時点処理対象フレーム画像及び現時点よりも時間的に過去の当該現時点処理対象フレーム画像と連続する所定フレーム数分のフレーム画像（現時点処理対象フレーム画像を含む１５又は３０フレーム分のフレーム画像であり、当該１５又は３０フレーム分のフレーム画像を以下、まとめて設定変更検出範囲フレーム画像群と呼ぶ）に対して青色光を検出したフレーム画像の数を表す青色光検出フレーム数（実際には内部の図示しない設定変更用のカウンタ）を１だけインクリメントする。
【００７９】
またＣＰＵ１０は、このとき現時点処理対象フレーム画像内で検出した青色光に対する現時点青色光位置及び現時点移動量をＲＡＭ１１に記録して続くステップＳＰ１０９に移る。
【００８０】
ステップＳＰ１０９においてＣＰＵ１０は、青色光検出フレーム数が予め設定された所定のフレーム数閾値よりも大きく、かつ設定変更検出範囲フレーム画像群に対してそれぞれ画像特殊効果設定変更検出処理ルーチンＳＲＴ１００を実行した結果ＲＡＭ１１に記録している青色光の移動量（現時点移動量を含む）のうち最大の値を示す移動量が予め設定された所定の移動量閾値よりも大きく、さらに現時点処理対象フレーム画像及び現時点よりも時間的に過去の当該現時点処理対象フレーム画像と連続する例えば２フレーム分のフレーム画像（すなわち設定変更検出範囲フレーム画像群において時間的に最も未来の３フレーム分のフレーム画像）に対して画像特殊効果設定変更検出処理ルーチンＳＲＴ１００を実行した結果ＲＡＭ１１に記録している青色光の移動量（現時点移動量を含む）の値がそれ以前の移動量よりも低下しているか否かを判断する。
【００８１】
このステップＳＰ１０９において肯定結果が得られると、このことは青色光検出フレーム数、最大の値を示す移動量及び移動量の低下が、それぞれ青色光の移動がユーザの動作に応じた自然なものであるかを判断するために予め設定された規定を満たしていることにより、ユーザによる画像特殊効果の設定内容の変更を指示する特定動作に応じて自然に移動した青色光を検出したと認識し得ることを表しており、このときＣＰＵ１０はユーザにより画像特殊効果の設定内容の変更が指示されたと判断して続くステップＳＰ１１０に移る。
【００８２】
ステップＳＰ１１０においてＣＰＵ１０は、画像特殊効果設定変更検出処理ルーチンＳＲＴ１００を開始する以前に画像特殊効果として球状画像４０を用いるように設定していたときには当該画像特殊効果として剣状画像４６を用いるように設定内容を変更する。
【００８３】
またステップＳＰ１１０においてＣＰＵ１０は、画像特殊効果設定変更検出処理ルーチンＳＲＴ１００を開始する以前に画像特殊効果として剣状画像４６を用いるように設定していたときには当該画像特殊効果として球状画像４０を用いるように設定内容を変更する。
【００８４】
このようにしてＣＰＵ１０は、画像特殊効果の設定内容を変更すると、ステップＳＰ５（図２）に移る。
【００８５】
ところでＣＰＵ１０かデジタルビデオカメラ１７から１フレーム分のフレーム画像データＤ１Ａを取り込んで画像特殊効果設定変更検出処理ルーチンＳＲＴ１００を実行している際に上述したステップＳＰ１０２において否定結果が得られると、このことはこの時点でユーザにより画像特殊効果の設定内容の変更が指示されず又はその指示が途中で中止されたことにより指示器具３０の青色発光部３２及び赤色発光部３３の発光状態に応じて現時点処理対象フレーム画像内で青色光及び赤色光の両方を検出し、又は両方とも検出することができなかったことを表しており、このときＣＰＵ１０はステップＳＰ１１１に移る。
【００８６】
ステップＳＰ１１１においてＣＰＵ１０は、設定変更検出範囲フレーム画像群に対して青色光を検出したフレーム画像の数を表す青色光検出フレーム数（実際には内部の設定変更用のカウンタ）を１だけデクリメントする。
【００８７】
このようにしてＣＰＵ１０は、１フレーム分のフレーム画像データＤ１Ａを取り込んで画像特殊効果設定変更検出処理ルーチンＳＲＴ１００を実行する毎に、その都度時間的に最も未来の設定変更検出範囲フレーム画像群の対象となるフレーム画像を変更しても当該設定変更検出範囲フレーム画像群において青色光を検出したフレーム画像の数を青色光検出フレーム数で適確に認識し得る状態にしてステップＳＰ１１２に移る。
【００８８】
ステップＳＰ１１２においてＣＰＵ１０は、現時点処理対象フレーム画像内で青色光及び赤色光の両方を検出することができなかったことで、画像特殊効果設定変更検出処理ルーチンＳＲＴ１００を開始する以前に設定していた画像特殊効果の設定内容をそのまま変更せずにステップＳＰ５に移る。
【００８９】
また上述したステップＳＰ１０３において否定結果が得られると、このことはユーザにより画像特殊効果の設定内容の変更が未だ指示されず又はその指示がすでに中止されていることによりその時点の指示器具３０における青色発光部３２及び赤色発光部３３の発光状態に応じて過去フレーム画像内でも青色光及び赤色光の両方を検出し、又は両方とも検出することができなかったことを表しており、このときＣＰＵ１０はステップＳＰ１１１に移る。
【００９０】
さらに上述したステップＳＰ１０４において否定結果が得られると、このことは現時点移動距離がユーザの自然な動きに応じているとは言い難い不自然な距離であり、青色光が誤検出されたことを表しており、このときＣＰＵ１０はステップＳＰ１１１に移る。
【００９１】
さらに上述したステップＳＰ１０６において否定結果が得られると、このことは現時点移動量ＧＨ１が上方向閾値範囲ＵＨ内及び下方向閾値範囲ＤＨ内のいずれからも外れていることにより青色光の現時点移動方向が上方向及び下方向とは異なる方向であると認識し得ることを表しており、このときＣＰＵ１０はステップＳＰ１１３に移る。
【００９２】
ステップＳＰ１１３においてＣＰＵ１０は、現時点処理対象フレーム画像内でユーザによる画像特殊効果の設定内容の変更を指示する特定動作とは異なる動作に応じて移動した青色光を検出したと判断し、その時点の設定変更検出範囲フレーム画像群に対してカウントしていた青色光検出フレーム数と、ＲＡＭ１１にすでに記録している青色光の位置及び移動量とからなる青色検出情報を初期化してステップＳＰ１１２に移る。
【００９３】
また上述したステップＳＰ１０７において否定結果が得られると、このことはユーザによる画像特殊効果の設定内容の変更を指示する特定動作とは異なる動作に応じてフレーム画像内の青色光が移動していることを表しており、このときＣＰＵ１０はステップＳＰ１１３に移る。
【００９４】
さらに上述したステップＳＰ１０９において否定結果が得られると、このことは青色光検出フレーム数、最大の値を示す移動量及び移動量の低下の少なくとも１つが規定を満たしていないことにより、ユーザによる画像特殊効果の設定内容の変更を指示する特定動作とは異なる動作に応じて移動した青色光を検出したと認識し得ることを表しており、このときＣＰＵ１０はユーザにより画像特殊効果の設定内容の変更が指示されていないと判断してステップＳＰ１１２に移る。
【００９５】
このようにしてＣＰＵ１０は、ライブ配信を実行している間、フレーム画像を取り込む毎に順次更新する時間的に最新の所定フレーム数分（すなわちユーザの特定動作を撮像するのに充分なフレーム数である設定変更検出範囲フレーム画像群）のフレーム画像内で検出した青色光の移動量をＲＡＭ１１に蓄積し、当該蓄積した移動量に基づいてユーザによる画像特殊効果の設定内容の変更を指示す特定動作に応じて青色光が移動したことを認識すると、デジタルビデオカメラ１７の前で撮像用に演技しているユーザに操作部２６を特には操作させることなく画像特殊効果の設定内容を容易に変更することができる。
【００９６】
またＣＰＵ１０は、画像特殊効果として球状画像４０を用いるように設定していることにより上述したステップＳＰ５（図２）の処理を実行した後に球状画像付加処理ルーチンＳＲＴ２００に移ると、特殊効果付加処理プログラムＰ２に従って図１０及び図１１に示す球状画像付加処理ルーチンＳＲＴ２００の開始ステップから入って続くステップＳＰ２０１に移る。
【００９７】
ステップＳＰ２０１においてＣＰＵ１０は、現時点のモードが撮像中のユーザによって行われる球状画像４０の付加を指示する特定動作を検出するための青色光検出モードと、球状画像４０を付加する指示に応じて球描画対象フレーム画像に画像特殊効果として球状画像４０を描画する描画モードとのうち当該描画モードであるか否かを判断する。
【００９８】
このステップＳＰ２０１において否定結果が得られると、このことは現時点処理対象フレーム画像に画像特殊効果として球状画像４０を描画するための前処理となる青色光検出モードに移行していることを表しており、このときＣＰＵ１０はステップＳＰ２０２に移る。
【００９９】
ステップＳＰ２０２においてＣＰＵ１０は、現時点処理対象フレーム画像内で指示器具３０の青色発光部３２及び赤色発光部３３が発光した際の青色光及び赤色光を探索してステップＳＰ２０３に移る。
【０１００】
ステップＳＰ２０３においてＣＰＵ１０は、現時点処理対象フレーム画像内における探索の結果、青色光のみを検出したか否かを判断する。
【０１０１】
このステップＳＰ２０３において肯定結果が得られると、このことはこの時点でユーザが指示器具３０の青色発光部３２のみを発光させていることにより現時点処理対象フレーム画像内で青色光のみを検出したことを表しており、このときＣＰＵ１０はステップＳＰ２０４に移る。
【０１０２】
ステップＳＰ２０４においてＣＰＵ１０は、ユーザを撮像して得られる動画像を構成する複数のフレーム画像のうち現時点処理対象フレーム画像よりも時間的に１フレーム過去のすでに検索に用いられた過去フレーム画像でも青色光のみを検出したか否かを判断する。
【０１０３】
このステップＳＰ２０４において肯定結果が得られると、このことは過去フレーム画像内でも青色光及び赤色光のうち青色光のみを検出したことを表しており、このときＣＰＵ１０はステップＳＰ２０５に移る。
【０１０４】
ステップＳＰ２０５においてＣＰＵ１０は、過去フレーム画像に対して球状画像付加処理ルーチンＳＲＴ２００を実行した際にＲＡＭ１１にすでに記録している当該過去フレーム画像内の青色光の過去青色光位置と、現時点処理対象フレーム画像内の青色光の現時点青色光位置との間の現時点移動距離を算出し、当該算出した現時点移動距離が所定の第２の距離閾値以内か否かを判断する。
【０１０５】
このステップＳＰ２０５において肯定結果が得られると、このことは現時点移動距離がユーザの自然な動きに応じた距離であり、青色光が正しく検出されたことを表しており、このときＣＰＵ１０はステップＳＰ２０６に移る。
【０１０６】
ステップＳＰ２０６においてＣＰＵ１０は、過去青色光位置及び現時点青色光位置に基づいて、過去フレーム画像から現時点処理対象フレーム画像に渡って移動した青色光の現時点移動方向及び現時点移動距離を一括してベクトルで表す現時点移動量を検出し、続くステップＳＰ２０７に移る。
【０１０７】
ステップＳＰ２０７においてＣＰＵ１０は、動画像を構成する複数のフレーム画像のうち現時点よりも時間的に過去の現時点処理対象フレーム画像と連続する所定フレーム数分（例えば１４又は２９フレーム）のフレーム画像に対してそれぞれ球状画像付加処理ルーチンＳＲＴ２００を実行した際に当該複数のフレーム画像の全て又はいずれかのフレーム画像内で青色光のみを検出している場合、これら所定フレーム数分のフレーム画像内で青色光のみを検出した際に得られた過去移動量をＲＡＭ１１から読み出す。
【０１０８】
そしてＣＰＵ１０は、図１２に示すように所定フレーム数分のフレーム画像内で青色光のみを検出した際に得られた過去移動量のうち最も過去のフレーム画像内で青色光のみを検出した際に得られた過去移動量ＫＨ１の始点となる移動開始点ＭＳ１に現時点移動量ＧＨ１の始点となる過去青色光位置ＫＰ１を一致させる。
【０１０９】
この状態でＣＰＵ１０は、現時点移動量ＧＨ１と、移動開始点ＭＳ１を中心とし、かつ過去移動量ＫＨ１を基準中心線とする所定角度範囲でなる方向判別用閾値範囲ＡＨ１とを比較することにより、現時点移動方向が現時点処理対象フレーム画像よりも過去のフレーム画像における青色光の移動方向に対して急激に変化していないか否かを判断する。
【０１１０】
このステップＳＰ２０７において否定結果が得られると、このことは方向判別用閾値範囲ＡＨ１内に現時点移動量ＧＨ１が存在することにより青色光の現時点移動方向が現時点処理対象フレーム画像よりも過去のフレーム画像における青色光の移動方向とほぼ同じ方向であり、青色光が複数のフレーム画像に渡ってほぼ直線的に移動していることを表しており、このときＣＰＵ１０はステップＳＰ２０８に移る。
【０１１１】
ステップＳＰ２０８においてＣＰＵ１０は、現時点処理対象フレーム画像及び現時点よりも時間的に過去の当該現時点処理対象フレーム画像と連続する所定フレーム数分のフレーム画像（現時点処理対象フレーム画像を含む１５又は３０フレーム分のフレーム画像であり、当該１５又は３０フレーム分のフレーム画像を以下、まとめて描画検出用範囲フレーム画像群と呼ぶ）に対して青色光を検出したフレーム画像の数を表す青色光検出フレーム数（実際には内部の図示しない描画検出用のカウンタ）を１だけインクリメントする。
【０１１２】
またＣＰＵ１０は、このとき現時点処理対象フレーム画像内で検出した青色光に対する現時点青色光位置及び現時点移動量をＲＡＭ１１に記録してステップＳＰ２０９に移る。
【０１１３】
ステップＳＰ２０９においてＣＰＵ１０は、青色光検出フレーム数が予め設定された所定のフレーム数閾値よりも大きく、かつ描画検出用範囲フレーム画像群に対してそれぞれ球状画像付加処理ルーチンＳＲＴ２００を実行した結果ＲＡＭ１１に記録している青色光の移動量（現時点移動量を含む）のうち最大の値を示す移動量が予め設定された所定の移動量閾値よりも大きく、さらに現時点処理対象フレーム画像及び現時点よりも時間的に過去の当該現時点処理対象フレーム画像と連続する例えば２フレーム分のフレーム画像（すなわち描画検出用範囲フレーム画像群において時間的に最も未来の３フレーム分のフレーム画像）に対して球状画像付加処理ルーチンＳＲＴ２００を実行した結果ＲＡＭ１１に記録している青色光の移動量（現時点移動量を含む）の値がそれ以前の移動量よりも低下しているか否かを判断する。
【０１１４】
このステップＳＰ２０９において肯定結果が得られると、このことは青色光検出フレーム数、最大の値を示す移動量及び移動量の低下が、それぞれ青色光の移動がユーザの動作に応じた自然なものであるかを判断するために予め設定された規定を満たしていることにより、ユーザによって行われた球状画像４０の付加を指示する特定動作に応じて当該特定動作に応じた特定の軌跡でほぼ直線的に自然に移動した青色光を検出したと認識し得ることを表しており、このときＣＰＵ１０はユーザにより球状画像４０の付加が指示されたと判断して続くステップＳＰ２１０に移る。
【０１１５】
ステップＳＰ２１０においてＣＰＵ１０は、ユーザによる球状画像４０の付加の指示に応じて青色光検出モードから描画モードに移行してステップＳＰ２１１に移る。
【０１１６】
ステップＳＰ２１１においてＣＰＵ１０は、球状画像用効果音の再生タイミングを動画像中で球状画像４０が出現するタイミングに合わせるためにハードディスクドライブ１３のハードディスクから球状画像用効果音データＤ６を読み出してステップＳＰ２１２に移る。
【０１１７】
ステップＳＰ２１２においてＣＰＵ１０は、上述したステップＳＰ２０１乃至ステップＳＰ２１１において青色光の検出に用いた現時点処理対象フレーム画像をこの時点では球状画像４０の付加の対象にはしていないことにより当該現時点処理対象フレーム画像に相当するフレーム画像データＤ１ＡをエンコードフィルタＰ４に従いバス２１を介してＭＰＥＧ２コーデック１９に送出すると共に、表示フィルタＰ５に従いバス２１及び表示用インターフェース１６を順次介して表示部２５に送出してステップＳＰ６（図２）に移る。
【０１１８】
ところでＣＰＵ１０がデジタルビデオカメラ１７から１フレーム分のフレーム画像データＤ１Ａを取り込んで球状画像付加処理ルーチンＳＲＴ２００を実行している際に上述したステップＳＰ２０３において否定結果が得られると、このことはこの時点でユーザにより球状画像４０の付加が指示されず又はその指示が途中で中止されたことにより指示器具３０の青色発光部３２及び赤色発光部３３の発光状態に応じて現時点処理対象フレーム画像内で青色光及び赤色光の両方を検出し、又は両方とも検出することができなかったことを表しており、このときＣＰＵ１０はステップＳＰ２１３に移る。
【０１１９】
ステップＳＰ２１３においてＣＰＵ１０は、描画検出用範囲フレーム画像群に対して青色光を検出したフレーム画像の数を表す青色光検出フレーム数（実際には内部の描画検出用のカウンタ）を１だけデクリメントする。
【０１２０】
このようにしてＣＰＵ１０は、１フレーム分のフレーム画像データＤ１Ａを取り込んで球状画像付加処理ルーチンＳＲＴ２００を実行する毎に、その都度時間的に最も未来の描画検出用範囲フレーム画像群の対象となるフレーム画像を変更しても当該描画検出用範囲フレーム画像群において青色光を検出したフレーム画像の数を青色光検出フレーム数で適確に認識し得る状態にしてステップＳＰ２１２に移る。
【０１２１】
また上述したステップＳＰ２０４において否定結果が得られると、このことはユーザにより球状画像４０の付加が未だ指示されず又はその指示がすでに中止されていることによりその時点の指示器具３０の青色発光部３２及び赤色発光部３３の発光状態に応じて過去フレーム画像内でも青色光及び赤色光の両方を検出し、又は両方とも検出することができなかったことを表しており、このときＣＰＵ１０はステップＳＰ２１３に移る。
【０１２２】
さらに上述したステップＳＰ２０５において否定結果が得られると、このことは現時点移動距離がユーザの自然な動きに応じているとは言い難い不自然な距離であり、青色光が誤検出されたことを表しており、このときＣＰＵ１０はステップＳＰ２１３に移る。
【０１２３】
さらに上述したステップＳＰ２０７において肯定結果が得られると、このことは現時点移動量ＧＨ１が方向判別用閾値範囲ＡＨ１内から外れていることにより青色光の現時点移動方向が現時点処理対象フレーム画像よりも過去のフレーム画像における青色光の移動方向とは全く異なる方向で、球状画像４０の付加を指示するほぼ直線的な特定動作とは異なる動作に応じて青色光がその移動方向を急激に変化させて移動したことを表しており、このときＣＰＵ１０はステップＳＰ２１４に移る。
【０１２４】
ステップＳＰ２１４においてＣＰＵ１０は、現時点処理対象フレーム画像内でユーザによる球状画像４０の付加を指示する特定動作とは異なる動作に応じて移動した青色光を検出したと判断し、その時点の描画検出用範囲フレーム画像群に対してカウントしていた青色光検出フレーム数と、ＲＡＭ１１にすでに記録している青色光の位置及び移動量とからなる青色検出情報を初期化してステップＳＰ２１２に移る。
【０１２５】
また上述したステップＳＰ２０９において否定結果が得られると、このことは青色光検出フレーム数、最大の値を示す移動量及び移動量の低下の少なくとも１つが規定を満たしていないことにより、ユーザによる球状画像４０の付加を指示する特定動作とは異なる動作に応じて移動した青色光を検出したと認識し得ることを表しており、このときＣＰＵ１０はユーザにより球状画像４０の付加が指示されていないと判断してステップＳＰ２１２に移る。
【０１２６】
ところでＣＰＵ１０は、上述したステップＳＰ２１０において青色光検出モードから描画モードに移行すると、上述したステップＳＰ７（図２）からステップＳＰ４（図２）に戻りキャプチャフィルタＰ３に従ってデジタルビデオカメラ１７から新たな１フレーム分のフレーム画像データＤ１Ａを取り込んで再び球状画像付加処理ルーチンＳＲＴ２００を開始した場合、上述したステップＳＰ２０１において肯定結果を得ることによりステップＳＰ２１５に移る。
【０１２７】
ステップＳＰ２１５においてＣＰＵ１０は、青色光検出モードから描画モードに移行して初めて取り込んだ１フレーム目の球描画対象フレーム画像に対しては当該球描画対象フレーム画像内の青色光の位置（以下、これを描画参照用位置と呼ぶ）を検出し、当該検出した描画参照用位置をＲＡＭ１１に記録すると共に、その１フレーム目の球描画対象フレーム画像内における描画参照用位置を球状画像４０の描画中心位置としてステップＳＰ２１６に移る。
【０１２８】
ステップＳＰ２１６においてＣＰＵ１０は、球描画対象フレーム画像に対する球状画像４０の描画中心位置が当該球描画対象フレーム画像の外側であるか否かを判断する。
【０１２９】
このステップＳＰ２１６において肯定結果が得られると、このことは球状画像４０の描画中心位置が球描画対象フレーム画像内に存在することにより当該球描画対象フレーム画像内に球状画像４０を描画し得ることを表しており、このときＣＰＵ１０はステップＳＰ２１７に移る。
【０１３０】
ステップＳＰ２１７においてＣＰＵ１０は、ハードディスクドライブ１３のハードディスクからこれに予め記録している球状画像４０の定数でなる半径（以下、これを球状画像半径と呼ぶ）と、当該球状画像４０及び剣状画像４６描画用のデータテーブルでなる色パレットとを読み出す。
【０１３１】
ここで図１３に示すように、色パレット５０は、例えば最も明るい色を表す白色から青色が離散的に濃くなるような複数色を経て非描画用の透明色までの多数の色情報を有し、これら白色から透明色までの各色情報に色を識別するための色識別番号０乃至Ｍが割り当てられている。
【０１３２】
ＣＰＵ１０は、図１４に示すように、球描画対象フレーム画像内の描画中心位置ＤＰを中心として球状画像半径ＢＲで形成される円状の領域を球状画像４０の描画領域（以下、これを球状画像描画領域と呼ぶ）ＳＤＡとし、当該球状画像描画領域ＳＤＡにおいて描画中心位置ＤＰから外周までの間を色パレット５０の有する色情報の数に応じて同心円状に分割する。
【０１３３】
またＣＰＵ１０は、球状画像描画領域ＳＤＡを同心円状に分割して得た各領域（以下、これを球状画像描画用分割領域と呼ぶ）ＳＤＡ０、……、ＳＤＡＭのうち最も中心に位置する球状画像描画用分割領域ＳＤＡ０に色識別番号０（白色を表す）を割り当てると共に最外周の球状画像描画用分割領域ＳＤＡＭに色識別番号Ｍ（透明色を表す）を割り当てるように、これら全ての球状画像描画用分割領域ＳＤＡ０、……、ＳＤＡＭに描画中心位置ＤＰから最外周にかけて色識別番号０乃至Ｍを線形に割り当てる。
【０１３４】
そしてＣＰＵ１０は、球描画対象フレーム画像において各球状画像描画用分割領域ＳＤＡ０、……、ＳＤＡＭ内のピクセルの本来の色（すなわち撮像時の色）をそれぞれ各球状画像描画用分割領域ＳＤＡ０、……、ＳＤＡＭに割り当てた色識別番号０乃至Ｍに対応する色情報の色に変更する。
【０１３５】
これによりＣＰＵ１０は、球描画対象フレーム画像内に描画中心位置ＤＰを中心として当該描画中心位置ＤＰから外周にかけて順次色を変化させた球状画像４０を描画してステップＳＰ２１８に移る。
【０１３６】
ステップＳＰ２１８においてＣＰＵ１０は、球状画像４０を描画した１フレーム目の球描画対象フレーム画像でなる球状画像付加フレーム画像に相当する球状画像付加フレーム画像データＤ７ＡをエンコードフィルタＰ４に従いバス２１を介してＭＰＥＧ２コーデック１９に送出すると共に、表示フィルタＰ５に従いバス２１及び表示用インターフェース１６を順次介して表示部２５に送出する。
【０１３７】
因みにＣＰＵ１０は、このとき１フレーム前の処理でハードディスクから読み出していた球状画像用効果音データＤ６をエンコードフィルタＰ４に従いバス２１を介してオーディオエンコーダ２０に送出すると共に、その球状画像用効果音データＤ６をバス２１及びスピーカインターフェース１４を順次介してスピーカ２７に送出してステップＳＰ６に移る。
【０１３８】
またＣＰＵ１０は、青色光検出モードから描画モードに移行した時点において現時点処理対象フレーム画像内に球状画像４０を付加した（すなわち現時点処理対象フレーム画像内に初めて球状画像４０を出現させた）後、再びキャプチャフィルタＰ３に従ってデジタルビデオカメラ１７から新たに２フレーム目以降のフレーム画像データＤ１Ａを１フレーム分取り込んで球状画像付加処理ルーチンＳＲＴ２００を開始すると、上述の場合と同様にステップＳＰ２０１において肯定結果を得てステップＳＰ２１５に移る。
【０１３９】
この際、ステップＳＰ２１５においてＣＰＵ１０は、現時点で取り込んでいる２フレーム目以降の球描画対象フレーム画像よりも時間的に１フレーム分過去の球描画対象フレーム画像（以下、これを特に過去球描画対象フレーム画像と呼ぶ）において描画中心位置ＤＰとした描画参照用位置をＲＡＭ１１から読み出すと共に、青色光検出モードから描画モードに移行した時点に描画検出用範囲フレーム画像群としていた全てのフレーム画像に対してそれぞれ検出した青色光の移動量をＲＡＭ１１から読み出す。
【０１４０】
またＣＰＵ１０は、描画検出用範囲フレーム画像群としていた全てのフレーム画像に対してそれぞれ検出した青色光の移動量と、動画像を構成するフレーム画像のフレーム周期と、当該描画検出用範囲フレーム画像群としていたフレーム画像のフレーム数とに基づいてその描画検出用範囲フレーム画像群における青色光の移動方向及び移動速度を移動パラメータとして算出する。
【０１４１】
そしてＣＰＵ１０は、その移動パラメータと、過去球描画対象フレーム画像において描画中心位置ＤＰとした描画参照用位置とに基づいて、青色光の移動方向側の領域で当該過去球描画対象フレーム画像から２フレーム目以降の球描画対象フレーム画像までの球状画像４０の移動距離及び移動方向を推測する。
【０１４２】
これによりＣＰＵ１０は、その推測結果から描画検出用範囲フレーム画像群における青色光の移動速度及び移動方向（すなわちユーザによる球状画像４０の付加を指示する特定動作の速度及び方向）に合わせて球状画像４０をほぼ同じ移動速度及び移動方向で当該青色光の移動方向側の領域を変位させるための２フレーム目以降の球描画対象フレーム画像における描画参照用位置を特定し、当該特定した描画参照用位置を球状画像４０の描画中心位置としてステップＳＰ２１６に移る。
【０１４３】
このようにしてＣＰＵ１０は、この後ステップＳＰ２１６乃至ステップＳＰ２１８において順次上述と同様の処理を実行することにより２フレーム目以降の球描画対象フレーム画像に球状画像４０を付加すると共に、当該球状画像４０を付加した２フレーム目以降の球描画対象フレーム画像でなる球状画像付加フレーム画像を球状画像付加フレーム画像データＤ７ＡとしてＭＰＥＧ２コーデック１９及び表示部２５に送出してステップＳＰ６に移る。
【０１４４】
ところで上述したステップＳＰ２１６において否定結果が得られると、このことは球状画像４０の描画中心位置ＤＰが２フレーム目以降の球描画対象フレーム画像の外側まで移動したことにより当該球描画対象フレーム画像に対して球状画像４０を描画することができないことを表しており、このときＣＰＵ１０はステップＳＰ２１９に移る。
【０１４５】
ステップＳＰ２１９においてＣＰＵ１０は、描画モードから青色光検出モードに移行してステップＳＰ２１２に移る。
【０１４６】
このようにしてＣＰＵ１０は、球状画像付加処理ルーチンＳＲＴ２００を実行した際にフレーム画像を取り込む毎に順次更新する時間的に最新の所定フレーム数分（すなわちユーザの特定動作を撮像するのに充分なフレーム数であり描画検出用範囲フレーム画像群）のフレーム画像内で検出した青色光の移動量をＲＡＭ１１に蓄積し、当該蓄積した移動量に基づいてユーザによる球状画像４０の付加を指示する特定動作に応じて青色光がその特定動作に応じた特定の軌跡で移動したことを検出すると、動画像内にその特定動作時に青色光の移動方向側に画像特殊効果として球状画像４０を変位させて付加する。
【０１４７】
そしてこの際、ＣＰＵ１０は、球状画像付加処理ルーチンＳＲＴ２００において青色光検出モードと描画モードとを適宜切り換えて処理を実行することにより、球状画像４０の描画中に青色光の移動に応じて意図しない他の球状画像を描画することを防止することができる。
【０１４８】
さらにＣＰＵ１０は、画像特殊効果として剣状画像４６を用いるように設定していることにより上述したステップＳＰ５の処理を実行した後に剣状画像付加処理ルーチンＳＲＴ３００に移ると、特殊効果付加処理プログラムＰ２に従って図１５及び図１６に示す剣状画像付加処理ルーチンＳＲＴ３００の開始ステップから入って続くステップＳＰ３０１に移る。
【０１４９】
ステップＳＰ３０１においてＣＰＵ１０は、現時点処理対象フレーム画像内で指示器具３０の青色発光部３２及び赤色発光部３３が発光した際の青色光及び赤色光を探索してステップＳＰ３０２に移る。
【０１５０】
ステップＳＰ３０２においてＣＰＵ１０は、現時点処理対象フレーム画像内における探索の結果、青色光及び赤色光を両方とも検出したか否かを判断する。
【０１５１】
このステップＳＰ３０２において肯定結果が得られると、このことはこの時点で指示器具３０の青色発光部３２及び赤色発光部３３の両方が発光してユーザにより剣状画像４６の付加が指示されていることによりこれに応じて現時点処理対象フレーム画像内で青色光及び赤色光の両方を検出したことを表しており、このときＣＰＵ１０はステップＳＰ３０３に移る。
【０１５２】
ステップＳＰ３０３においてＣＰＵ１０は、現時点処理対象フレーム画像内で検出した青色光の現時点青色光位置と、赤色光の位置（この位置は現時点処理対象フレーム画像内の座標値で表すものであり、以下この位置を現時点赤色光位置と呼ぶ）とをＲＡＭ１１に記録して続くステップＳＰ３０４に移る。
【０１５３】
ステップＳＰ３０４においてＣＰＵ１０は、順次１フレーム分のフレーム画像データＤ１Ａに対して剣状画像付加処理ルーチンＳＲＴ３００を実行する毎に青色光及び赤色光を検出したフレーム画像の数を表す青色光及び赤色光検出フレーム数（実際には内部の図示しない青色光及び赤色光検出用のカウンタ）を１だけインクリメントする。
【０１５４】
ただし青色光及び赤色光検出フレーム数は、現時点処理対象フレーム画像に剣状画像４６の付加を開始した際にその青色光及び赤色光検出フレーム数に比例させて剣状画像４６の長さを順次伸ばすために利用されるものである。
【０１５５】
このためＣＰＵ１０は、青色光及び赤色光検出フレーム数に予め上限値（例えばｎ）を設定し、当該青色光及び赤色光検出フレーム数をインクリメントして上限値に達すると、その後に再び青色光及び赤色光検出フレーム数をインクリメントする際には上限値を変化させないようにすることにより剣状画像４６の長さが極端に伸びすぎることを防止している。
【０１５６】
このようにしてＣＰＵ１０は、青色光及び赤色光検出フレーム数をインクリメントすると、続くステップＳＰ３０５に移る。
【０１５７】
ステップＳＰ３０５においてＣＰＵ１０は、ハードディスクドライブ１３のハードディスクからこれに予め記録している剣状画像４６の長さの定数（以下、これを長さ定数と呼ぶ）及び当該剣状画像４６の幅（以下、これを幅定数と呼ぶ）と、図１３について上述した色パレット５０とを読み出すと共に、ＲＡＭ１１から現時点処理対象フレーム画像内で検出した現時点青色光位置及び現時点赤色光位置を読み出す。
【０１５８】
ＣＰＵ１０は、図１７に示すように、現時点青色光位置ＢＰ及び現時点赤色光位置ＲＰに基づいて、現時点処理対象フレーム画像内で水平線Ｈに対するその現時点青色光位置ＢＰ及び現時点赤色光位置ＲＰ間を結ぶ仮想線ＫＬ１の傾き角度（以下、これを光点間傾き角度と呼ぶ）ＬＡ１を検出する。
【０１５９】
またＣＰＵ１０は、現時点青色光位置ＢＰ及び現時点赤色光位置ＲＰ間の距離（以下、これを光点間距離と呼ぶ）ＬＬ１を算出した後、その光点間距離ＬＬ１とこの時点の青色光及び赤色光検出フレーム数と長さ定数とを乗算することにより剣状画像４６を描画する際の青色光及び赤色光検出フレーム数に比例した実際の長さ（以下、これを剣状画像描画長さと呼ぶ）ＮＬを算出すると共に、光点間距離ＬＬ１とこの時点の青色光及び赤色光検出フレーム数と幅定数とを乗算することにより剣状画像４６を描画する際の青色光及び赤色光検出フレーム数に比例した実際の幅（以下、これを剣状画像描画幅と呼ぶ）ＮＷを算出する。
【０１６０】
さらにＣＰＵ１０は、光点間傾き角度ＬＡ１に従って現時点処理対象フレーム画像内で仮想線ＫＬ１を現時点青色光位置側に延長させ、当該仮想線ＫＬ１の延長線ＫＬＰ上で現時点青色光位置ＢＰから剣状画像描画長さＮＬの位置を剣状画像４６の表す剣の先端となる剣状画像描画軸先端位置ＮＰとする。
【０１６１】
そしてＣＰＵ１０は、図１８に示すように、現時点処理対象フレーム画像内で剣状画像描画幅ＮＷの中心を延長線ＫＬＰとして現時点青色光位置ＢＰから剣状画像描画軸先端位置ＮＰまでの剣状画像描画幅ＮＷで形成される四角形状の領域を剣状画像４６の描画領域（以下、これを剣状画像描画領域と呼ぶ）ＮＤＡとする。
【０１６２】
この状態でＣＰＵ１０は、図１９に示すように、現時点処理対象フレーム画像内で剣状画像描画領域ＮＤＡを剣状画像描画長さＮＬ方向及び剣状画像描画幅ＮＷ方向にそれぞれ色パレット５０の有する色情報の数に応じて格子状に分割する。
【０１６３】
またＣＰＵ１０は、剣状画像描画領域ＮＤＡを分割して得た各領域（以下、これを剣状画像描画用分割領域と呼ぶ）ＮＤＡ０、……、ＮＤＡＭのうち指示器具３０における青色発光部３２の端面中心部に位置する剣状画像描画用分割領域ＮＤＡ０に色識別番号０（白色を表す）を割り当てると共に剣状画像描画幅ＮＷ方向の最も外側の剣状画像描画用分割領域ＮＤＡＭ１１乃至ＮＤＡＭに色識別番号Ｍ（透明色を表す）を割り当てるように、これら全ての剣状画像描画用分割領域ＮＤＡ０、……、ＮＤＡＭに対して青色発光部３２の端面側（すなわち現時点青色光位置ＢＰ側）から剣状画像４６の表す剣の先端側（すなわち剣状画像描画軸先端位置ＮＰ側）にかけて色識別番号０乃至Ｍを線形に割り当てると共に、剣状画像４６の表す剣の中心軸（すなわち延長線ＫＬＰ）から剣状画像描画幅ＮＷの最も外側にかけて色識別番号０乃至Ｍを線形に割り当てる。
【０１６４】
そしてＣＰＵ１０は、現時点処理対象フレーム画像において各剣状画像描画用分割領域ＮＤＡ０、……、ＮＤＡＭ内のピクセルの本来の色（すなわち撮像時の色）をそれぞれ各剣状画像描画用分割領域ＮＤＡ０、……、ＮＤＡＭに割り当てた色識別番号０乃至Ｍに対応する色情報の色に変更する。
【０１６５】
これによりＣＰＵ１０は、現時点処理対象フレーム画像内に青色発光部３２の端面側から剣の先端側までと剣の中心軸から当該剣の幅の外側にかけて順次色を変化させて先端部分を細く絞った剣を表す剣状画像４６を描画してステップＳＰ３０６に移る。
【０１６６】
ステップＳＰ３０６においてＣＰＵ１０は、剣状画像４６を描画した現時点処理対象フレーム画像でなる剣状画像付加フレーム画像に相当する剣状画像付加フレーム画像データＤ１０ＡをエンコードフィルタＰ４に従いバス２１を介してＭＰＥＧ２コーデック１９に送出すると共に、表示フィルタＰ５に従いバス２１及び表示用インターフェース１６を順次介して表示部２５に送出してステップＳＰ３０７に移る。
【０１６７】
ステップＳＰ３０７においてＣＰＵ１０は、この時点の青色光及び赤色光検出フレーム数が上限値であるか否かを判断する。
【０１６８】
このステップＳＰ３０７において肯定結果が得られると、このことは剣状画像４６の描画を開始してから剣状画像描画長さＮＬが青色光及び赤色光検出フレーム数に比例して順次長くなり当該青色光及び赤色光検出フレーム数の上限値に応じた剣状画像４６の本来の長さ（それまでで最も長い）に相当する描画が完了したことにより、あたかも指示器具３０の青色発光部３２側で剣状画像４６が順次伸びながらその生成が完了したことを表しており、このときＣＰＵ１０はステップＳＰ３０８に移る。
【０１６９】
ここでＣＰＵ１０は、剣状画像４６の本来の長さに相当する描画が完了した際、当該描画の完了を表現する剣状画像用効果音としての剣生成音を再生するようになされている。
【０１７０】
そしてＣＰＵ１０は、剣生成音の再生に剣完成フラグを利用しており、当該剣完成フラグの設定内容を確認した際にその剣完成フラグを０に設定していると、剣生成音を再生し得ると判断すると共に、当該剣完成フラグの設定内容を確認した際にその剣完成フラグを１に設定していると、剣生成音を再生しないと判断し、剣状画像４６の描画を一旦終了してから当該剣状画像４６の描画を再び開始してその生成が完了するまでの間は剣完成フラグを０に設定している。
【０１７１】
従ってステップＳＰ３０８においてＣＰＵ１０は、この時点の剣完成フラグの設定内容を確認し、当該剣完成フラグの設定が０であるか否かを判断する。
【０１７２】
このステップＳＰ３０８おいて肯定結果が得られると、このことはこの時点で剣状画像４６の描画が完了することを待ち受ける状態として剣完成フラグが０に設定されていることを表しており、このときＣＰＵ１０は剣生成音を再生し得ると判断してステップＳＰ３０９に移る。
【０１７３】
ステップＳＰ３０９においてＣＰＵ１０は、剣完成フラグの設定を０から１に変更してステップＳＰ３１０に移る。
【０１７４】
そしてステップＳＰ３１０においてＣＰＵ１０は、ハードディスクドライブ１３のハードディスクから剣状画像用効果音データＤ１１として剣生成音に相当する剣生成音データを読み出し、当該読み出した剣生成音データをエンコードフィルタＰ４に従いバス２１を介してオーディオエンコーダ２０に送出すると共に、その剣生成音データをバス２１及びスピーカインターフェース１４を順次介してスピーカ２７に送出してステップＳＰ６に移る。
【０１７５】
ところで上述したステップＳＰ３０８において否定結果が得られると、すでに剣状画像４６の生成の完了に応じて剣生成音を再生したことにより剣完成フラグを１に設定していることを表しており、このときＣＰＵ１０はステップＳＰ３１１に移る。
【０１７６】
ステップＳＰ３１１においてＣＰＵ１０は、現時点処理対象フレーム画像及び現時点よりも時間的に過去の当該現時点処理対象フレーム画像と連続する所定フレーム分（例えば３フレーム）のフレーム画像内でそれぞれ検出した現時点青色光位置ＢＰをＲＡＭ１１から読み出し、当該読み出した現時点青色光位置ＢＰと、これら現時点青色光位置ＢＰの検出に用いた複数のフレーム画像の数（例えば４枚）と、動画像を構成するフレーム画像のフレーム周期とに基づいて当該複数のフレーム画像における青色光の移動速度を検出する。
【０１７７】
そしてＣＰＵ１０は、その複数のフレーム画像における青色光の移動速度のうち何れか一つがこれを除く他の移動速度よりも速く、かつ全ての移動速度が予め設定された所定の一定速度以上であるか否かを判断する。
【０１７８】
このステップＳＰ３１１において肯定結果が得られると、このことは剣状画像４６を描画した複数のフレーム画像において青色光が急激に移動したことにより撮像中のユーザによりあたかも剣を何かに切りつけたように指示器具３０が急激に動かされた（すなわち振りまわされた）ことを表しており、このときＣＰＵ１０はステップＳＰ３１２に移る。
【０１７９】
ステップＳＰ３１２においてＣＰＵ１０は、ハードディスクドライブ１３のハードディスクから剣状画像用効果音データＤ１１として剣状画像４６（すなわち剣）が振りまわされた状態を表現する剣振り効果音に相当する剣振り効果音データを読み出し、当該読み出した剣振り効果音データをエンコードフィルタＰ４に従いバス２１を介してオーディオエンコーダ２０に送出すると共に、その剣振り効果音データをバス２１及びスピーカインターフェース１４を順次介してスピーカ２７に送出してステップＳＰ６に移る。
【０１８０】
また上述したステップＳＰ３０７おいて否定結果が得られると、このことは剣状画像４６の描画を開始してから未だ青色光及び赤色光検出フレーム数の上限値に応じた剣状画像４６の本来の長さに相当する描画が完了していないことにより、あたかも指示器具３０の青色発光部３２側で剣状画像４６が生成されている途中であることを表しており、このときＣＰＵ１０はステップＳＰ６に移る。
【０１８１】
さらに上述したステップＳＰ３１１において否定結果が得られると、このことは剣状画像４６を描画した複数のフレーム画像において青色光が比較的ゆっくりと移動したことにより撮像中のユーザにより剣を何かに切りつけるような動きとは異なり指示器具３０も比較的ゆっくりと動かされたことを表しており、このときＣＰＵ１０はステップＳＰ６に移る。
【０１８２】
これに加えて上述したステップＳＰ３０２において否定結果が得られると、このことはこの時点でユーザにより剣状画像４６の付加が指示されず又はその指示が途中で中止されたことにより指示器具３０の青色発光部３２のみが発光し、又は青色発光部３２及び赤色発光部３３の両方が消灯しているために現時点処理対象フレーム画像内で青色光のみを検出し、又は青色光及び赤色光の両方を検出することができなかったことを表しており、このときＣＰＵ１０はステップＳＰ３１３に移る。
【０１８３】
ステップＳＰ３１３においてＣＰＵ１０は、現時点処理対象フレーム画像内で青色光及び赤色光の両方を検出することができなかったことにより青色光及び赤色光検出フレーム数（実際には内部の青色光及び赤色光検出用のカウンタ）を１だけデクリメントしてステップＳＰ３１４に移る。
【０１８４】
ここでＣＰＵ１０は、上述したように青色光及び赤色光検出フレーム数を剣状画像４６の描画の際に長さの決定や剣生成音の生成に用いるものの、現時点処理対象フレーム画像内で青色光及び赤色光の両方を検出することができなかったときには当該青色光及び赤色光検出フレーム数を１だけデクリメントしている。
【０１８５】
このためＣＰＵ１０は、例えば撮像中のユーザの動作により指示器具３０の青色発光部３２及び又は赤色発光部３３が一時的に体の陰になって青色光及び又は赤色光を検出することができない場合でも、再び青色光及び赤色光を検出した際に青色光及び赤色光検出フレーム数に従って、検出が途切れる前よりもわずかに短い剣状画像４６を描画することができ、当該検出が途切れた前後で剣状画像４６の長さが大幅に異なり違和感が生じることを防止している。
【０１８６】
ステップＳＰ３１４においてＣＰＵ１０は、青色光及び赤色光検出フレーム数が０であるか否かを判断する。
【０１８７】
このステップＳＰ３１４において肯定結果が得られると、このことは現時点処理対象フレーム画像内で青色光及び赤色光を検出することができなかった状態が所定フレーム数分連続したことにより青色光及び赤色光検出フレーム数が０となり、ユーザにより剣状画像４６の付加が指示されていないことを表しており、このときＣＰＵ１０はステップＳＰ３１５に移る。
【０１８８】
ステップＳＰ３１５においてＣＰＵ１０は、剣完成フラグの設定が１であるか否かを判断する。
【０１８９】
このステップＳＰ３１５において肯定結果が得られると、このことはすでに青色光及び赤色光検出フレーム数の上限値に応じた剣状画像４６の本来の長さに相当する描画が完了し、剣生成音も再生し終えたことにより、剣完成フラグの設定が１であることを表しており、このときＣＰＵ１０はステップＳＰ３１６に移る。
【０１９０】
ステップＳＰ３１６においてＣＰＵ１０は、剣完成フラグの設定内容を１から０に変更することにより再び剣状画像４６の描画が完了することを待ち受ける状態としてステップＳＰ３１７に移る。
【０１９１】
ステップＳＰ３１７においてＣＰＵ１０は、このときデジタルビデオカメラ１７から取り込んでいる１フレーム分のフレーム画像データＤ１ＡをそのままエンコードフィルタＰ４に従いバス２１を介してＭＰＥＧ２コーデック１９に送出すると共に、表示フィルタＰ５に従いバス２１及び表示用インターフェース１６を順次介して表示部２５に送出してステップＳＰ６に移る。
【０１９２】
ところで上述したステップＳＰ３１４において否定結果が得られると、このことは現時点処理対象フレーム画像内で青色光及び赤色光を検出することができなかったものの、未だ青色光及び赤色光検出フレーム数が０には到達していないことにより、撮像中のユーザによる剣状画像４６の付加の指示が終了した又は撮像中のユーザの動作により指示器具３０が一時的にユーザの体の陰になって青色光及び赤色光を検出することができなかったことを表しており、このときＣＰＵ１０はステップＳＰ３１７に移る。
【０１９３】
また上述したステップＳＰ３１５において否定結果が得られると、このことは剣状画像４６の描画を開始してから青色光及び赤色光検出フレーム数の上限値に応じた剣状画像４６の本来の長さに相当する描画が完了する前に（すなわち剣生成音を再生する前に）撮像中のユーザによる剣状画像４６の付加の指示が終了した又は撮像中のユーザの動作により指示器具３０が一時的にユーザの体の陰になって青色光及び赤色光を検出することができなかったことにより青色光及び赤色光検出フレーム数が０に到達したことを表しており、このときＣＰＵ１０はステップＳＰ３１７に移る。
【０１９４】
以上の構成において、このパーソナルコンピュータ１は、青色発光部３２を有する指示器具３０を手に持ったユーザをデジタルビデオカメラ１７によって撮像し、この結果得られる動画像データＤ１に基づく動画像内でその青色発光部３２が発光して得られる青色光の移動の有無及び移動方向とを検出する。
【０１９５】
そしてパーソナルコンピュータ１は、撮像中のユーザによりフレーム画像に対して球状画像４０の付加を指示するために行われた特定動作に応じた青色光の特定の軌跡の移動及び移動方向を検出すると、当該動画像データＤ１に基づく動画像内の青色光の移動方向側に球状画像４０を付加するようにした。
【０１９６】
従ってこのパーソナルコンピュータ１は、ユーザの特定動作に応じて青色光が移動した任意のタイミングで動画像内の当該特定動作に応じた青色光の移動方向側の任意の領域に画像特殊効果として球状画像４０を付加することができる。
【０１９７】
またパーソナルコンピュータ１は、動画像内に画像特殊効果として付加した球状画像４０をユーザの特定動作に応じた青色光の移動速度とほぼ同じ移動速度で変位させるため、当該動画像内にユーザの特定動作に応じた青色光の任意の移動速度で変位させて球状画像４０を付加することができる。
【０１９８】
さらにこのパーソナルコンピュータ１は、動画像内に画像特殊効果として球状画像４０を付加する際、その球状画像４０の状態（この場合は球状画像４０の出現）を表現する音声特殊効果として球状画像用効果音も合わせて付加するようにした。
【０１９９】
このためパーソナルコンピュータ１は、動画像内の任意の領域に任意のタイミングで画像特殊効果としての球状画像４０を付加すると共に、これに合わせて動画像に音声特殊効果としての球状画像用効果音も合わせて付加することで、臨場感あふれるエフェクト付加映像を容易に生成することができる。
【０２００】
これに加えてこのパーソナルコンピュータ１は、動画像内に画像特殊効果を付加する際に、ユーザによる画像特殊効果の設定変更を指示する特定動作に応じた青色光の特定の軌跡の移動及び移動方向を検出すると、これに応じて動画像内に付加する画像特殊効果の種類を変更するようにした。
【０２０１】
従ってこのパーソナルコンピュータ１は、例えばたった一人でライブ配信を実行し、自分を撮像対象とするユーザに対しては、ライブ配信中に操作部２６の操作のためにデジタルビデオカメラ１７の前での演技を中断することや、その操作部２６の操作（すなわち演技中の煩わしい操作）自体から開放し、デジタルビデオカメラ１７の前での演技に集中させて続行させながら当該ユーザの特定動作で動画像内に付加する画像特殊効果の種類を容易に変更することができ、かくしてパーソナルコンピュータ１の操作性を向上させることができる。
【０２０２】
以上の構成によれば、青色発光部３２を有する指示器具３０を手に持ったユーザをデジタルビデオカメラ１７によって撮像することにより得られる動画像内で当該ユーザの特定動作に応じた青色光の特定の軌跡の移動及び移動方向を検出すると、その動画像内の青色光の移動方向側に画像特殊効果としての球状画像４０を付加するようにしたことにより、ユーザの特定動作に応じて青色光が移動した任意のタイミングで動画像内の当該特定動作に応じた青色光の移動方向側の任意の領域に画像特殊効果として球状画像４０を付加することができ、かくして動画像に対して思い通りに画像特殊効果を付加し得るパーソナルコンピュータを実現することができる。
【０２０３】
なお上述の実施の形態においては、動画像内に球状画像４０及び剣状画像４６を別々に付加するようにした場合について述べたが、本発明はこれに限らず、動画像内に球状画像４０及び剣状画像４６を合わせて付加し、例えば剣状画像４６を付加した状態で青色光の移動及び移動方向を検出したとき、あたかも剣状画像４６から球状画像４０が放出されるようにし、又はこのように剣状画像４６から放射される球状画像４０が動画像内で所定の撮像対象に当たったときにその撮像対象が例えば火で燃えるような画像特殊効果を付加するようにしても良い。因みに球状画像４０が動画像内で所定の撮像対象に当たったか否かを検出するには、例えば事前に撮像対象の背景のみを撮像しておき、その撮像結果に撮像対象を撮像して得られた動画像を重ねて新たな動画像を生成することにより当該新たな撮像画像内で撮像対象を容易に識別するようにすれば良い。
【０２０４】
また上述の実施の形態においては、フレーム画像内に球状画像４０及び剣状画像４６を描画する際、各球状画像描画用分割領域ＳＤＡ０、……、ＳＤＡＭ及び剣状画像描画用分割領域ＮＤＡ０、……、ＮＤＡＭにそれぞれ任意の法則で色識別番号０乃至Ｍを線形に割り当てるようにした場合について述べたが、本発明はこれに限らず、フレーム画像内に球状画像４０及び剣状画像４６を描画する際、各球状画像描画用分割領域ＳＤＡ０、……、ＳＤＡＭ及び剣状画像描画用分割領域ＮＤＡ０、……、ＮＤＡＭにそれぞれ色識別番号０乃至Ｍを基本的には線形でわずかに無作為に攪拌して割り当てるようにしても良く、このようにすれば動画像内に色合いが揺らいだ感じの球状画像及び剣状画像を付加することができ、当該球状画像の表すエネルギー体及び剣状画像の表す光の剣をよりリアルなものにすることができる。
【０２０５】
さらに上述の実施の形態においては、動画像内に球状画像４０を大きさを特には変えずに付加するようにした場合について述べたが、本発明はこれに限らず、撮像対象となるユーザとデジタルビデオカメラ１７との距離等に応じて青色光の大きさが変化することを利用して当該青色光の大きさに合わせて球状画像の大きさも変化させて動画像内に付加するようにしても良く、このようにすれば球状画像４０をユーザの立ち位置や動作に応じてよりリアルに描くことができる。
【０２０６】
さらに上述の実施の形態においては、１台のデジタルビデオカメラ１７によってユーザを撮像することにより得られた２次元動画像に画像特殊効果として球状画像４０を付加するようにした場合について述べたが、本発明はこれに限らず、撮像対象となるユーザを例えば２台のデジタルビデオカメラで撮像して生成された３次元動画像を画像特殊効果としての球状画像４０を付加するために利用し、３次元測定器により３次元動画像から検出した青色光に対する奥行きの情報を用いて当該３次元動画像に画像特殊効果として球状画像を付加するようにしても良い。このようにすれば２次元動画像に球状画像を２次元平面上で変位させて付加するだけでなく、３次元動画像に球状画像を３次元的に変位させて付加することができ、かくしてより臨場感あふれるエフェクト付加映像を容易に生成することができる。
【０２０７】
さらに上述の実施の形態においては、動画像に球状画像４０及び剣状画像４６の状態に合わせて球状画像用効果音及び剣状画像用効果音を付加するようにした場合について述べたが、本発明はこれに限らず、動画像に青色光の大きさや移動速度等に応じて音量を変化させた球状画像用効果音及び剣状画像効果音を付加するようにしても良い。
【０２０８】
さらに上述の実施の形態においては、動画像内で青色光の一旦は上方向に移動した後、引き続き下方向に移動する連続した移動を検出すると、画像特殊効果の設定内容を変更するようにした場合について述べたが、本発明はこれに限らず、動画像内で青色光の横方向への移動、斜め方向への移動、円や四角等の所定の形状を描くような移動等のように、この他種々の移動を検出すると、画像特殊効果の設定内容を変更するようにしても良い。因みに、このような青色光の各種移動は球状画像のような種々の画像特殊効果の付加にも利用することができる。
【０２０９】
さらに上述の実施の形態においては、動画像内でユーザの特定動作に応じた青色光の移動の有無及び移動方向を検出した際に当該動画像内の青色光の移動方向側に画像特殊効果を付加するようにした場合について述べたが、本発明はこれに限らず、特定動作に応じた移動とは関係せずに所定フレーム数分のフレーム画像内で青色光の移動の有無及び移動方向を検出した際に動画像内の青色光の移動方向側に画像特殊効果を付加するようにしても良い。このようにすれば特定動作にとらわれることなく、任意のタイミングで動画像内の任意の領域に画像特殊効果を付加することができ、動画像に対してさらに思い通りに画像特殊効果を付加することができる。
【０２１０】
さらに上述の実施の形態においては、ライブ配信用の動画像に画像特殊効果を付加するようにした場合について述べたが、本発明はこれに限らず、動画像をフレーム画像単位で順次処理してリアルタイム性を損なわずに画像特殊効果を付加し得ることにより、テレビジョン電話、テレビジョン会議システム及びビデオチャット等のビジュアルコミュニケーション用の動画像や、ライブハウス、コンサート会場等で利用されるビジュアルジョッキー用の動画像に画像特殊効果を付加するようにしても良い。
【０２１１】
さらに上述の実施の形態においては、画像特殊効果設定変更検出処理ルーチンＳＲＴ１００及び球状画像付加処理ルーチンＳＲＴ２００においてそれぞれ同一の現時点処理対象フレーム画像内で青色光及びその位置を検出すると共に、当該青色光の移動量を検出する等のように重複した処理を実行するようにした場合について述べたが、本発明はこれに限らず、画像特殊効果設定変更検出処理ルーチンＳＲＴ１００及び球状画像付加処理ルーチンＳＲＴ２００において重複する処理については例えば画像特殊効果設定変更検出処理ルーチンＳＲＴ１００においてのみ実効し、球状画像付加処理ルーチンＳＲＴ２００においてはその重複する処理の結果を共有して利用するようにしても良く、このようにすればＣＰＵ１０の処理負荷を大幅に低減させることができる。
【０２１２】
さらに上述の実施の形態においては、本発明による情報処理装置を図１乃至図１９について上述したパーソナルコンピュータ１に適用するようにした場合について述べたが、本発明はこれに限らず、画像処理装置や携帯電話機、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｃｅ ）等のように、この他種々の情報処理装置に広く適用することができる。
【０２１３】
さらに上述の実施の形態においては、本発明による情報処理プログラムを図１乃至図１９について上述したライブ配信処理プログラムに適用するようにした場合について述べたが、本発明はこれに限らず、ライブ配信処理手順ＲＴ１内の少なくとも球状画像付加処理ルーチンＳＲＴ２００を実行する特殊効果付加処理プログラムＰ２や、当該特殊効果付加処理プログラムＰ２及びダイアログアプリケーションプログラムＰ１を適用するようにしても良い。
【０２１４】
さらに上述の実施の形態においては、ハードディスクドライブ１３のハードディスクに予め記録されたライブ配信処理プログラムに従って図２、図７及び図８、図１０及び図１１、図１５及び図１６について上述したライブ配信処理手順ＲＴ１を実行するようにした場合について述べたが、本発明はこれに限らず、ライブ配信処理プログラムをローカルエリアネットワークやインターネット、ディジタル衛星放送等の有線及び無線通信媒体を利用してパーソナルコンピュータ１にインストールすることによりライブ配信処理手順ＲＴ１を実行するようにしても良いし、当該ライブ配信処理プログラムが格納されたプログラム格納媒体をパーソナルコンピュータ１にインストールすることによりライブ配信処理手順ＲＴ１を実行するようにしても良い。
【０２１５】
因みに上述したライブ配信処理手順ＲＴ１を実行するためのライブ配信処理プログラムをパーソナルコンピュータ１にインストールして実行可能な状態にするためのプログラム格納媒体としては、例えばフレキシブルディスク、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）等のパッケージメディアのみならず、ライブ配信処理プログラムが一時的もしくは永続的に格納される半導体メモリや磁気ディスク等で実現しても良い。またこれらプログラム格納媒体にライブ配信処理プログラムを格納する手段としては、ローカルエリアネットワークやインターネット、ディジタル衛星放送等の有線及び無線通信媒体を利用しても良く、ルータやモデム等の各種通信インターフェースを介して格納するようにしても良い。
【０２１６】
さらに上述の実施の形態においては、動画像データを取り込む動画像取込手段として、図１乃至図１９について上述したデジタルビデオカメラ１７を適用するようにした場合について述べたが、本発明はこれに限らず、外部のデジタルビデオカメラで特定物が撮像されることにより得られた動画像データを取り込むインターフェース回路等のように、この他種々の動画像取込手段を広く適用することができる。
【０２１７】
さらに上述の実施の形態においては、動画像データに基づく動画像内の特定物として、図１乃至図１９について上述した指示器具３０の青色発光部３２の発光によって得られる青色光を適用するようにした場合について述べたが、本発明はこれに限らず、動画像内で背景や他の撮像対象とは区別して移動の有無及び移動方向を検出することができれば、他の特定色の光や、特定輝度の光、また人体の手、頭、足、目、口等の特定部分、指示器具３０自体や、他の物理的な部材等のように、この他種々の特定物を広く適用することができる。
【０２１８】
さらに上述の実施の形態においては、動画像データに基づく動画像内の特定物の移動の有無及び移動方向を検出する検出手段として、図１乃至図１９について上述したＣＰＵ１０を適用するようにした場合について述べたが、本発明はこれに限らず、動画像に対して画像処理を施して特定物の移動の有無及び移動方向を検出する画像処理回路や、マイクロプロセッサ等のように、この他種々の検出手段を広く適用することができる。
【０２１９】
さらに上述の実施の形態においては、検出手段によって得られた検出結果に基づいて、特定物が移動した際に動画像内の特定物の移動方向側に所定の画像特殊効果を付加する画像特殊効果付加手段として、図１乃至図１９について上述したＣＰＵ１０を適用するようにした場合について述べたが、本発明はこれに限らず、動画像内に所定の画像特殊効果を描画して付加する画像処理回路や、動画像内に所定の画像特殊効果を重畳又は演算処理によって付加する画像処理回路等のように、この他種々の画像特殊効果付加手段を広く適用することができる。
【０２２０】
さらに上述の実施の形態においては、検出手段によって得られた検出結果に基づいて、特定物が移動した際に動画像内の特定物の移動方向側に付加する所定の画像特殊効果として、図１乃至図１９について上述したエネルギー体を想起させるように球状画像４０を適用するようにした場合について述べたが、本発明はこれに限らず、種々の色で描画された剣状画像や、動画像内の特定物の移動方向側に変位させて付加する所定形状の火の玉、スパーク体、モザイク体、ハート及び動物やこれらの分身、動画像内の特定部分の移動方向側を適宜固定領域として付加する火炎、ノイズ、反転、白黒、モザイク及びスパーク、またこれらの複合体等のように、この他種々の画像特殊効果を広く適用することができる。
【０２２１】
さらに上述の実施の形態においては、検出手段によって得られた検出結果に基づいて、特定物が特定の軌跡で移動したか否かを判断する判断手段として、図１乃至図１９について上述したＣＰＵ１０を適用するようにした場合について述べたが、本発明はこれに限らず、画像処理回路やマイクロプロセッサ等のように、この他種々の判断手段を広く適用することができる。
【０２２２】
さらに上述の実施の形態においては、動画像データに基づく動画像内の特定物の移動速度を検出する移動速度検出手段として、図１乃至図１９について上述したＣＰＵ１０を適用するようにした場合について述べたが、本発明はこれに限らず、特定物の移動速度を検出するマイクロプロセッサ等のように、この他種々の移動速度検出手段を広く適用することができる。
【０２２３】
さらに上述の実施の形態においては、検出手段によって得られた検出結果に基づいて、特定物が移動した際に、動画像内に付加される画像特殊効果の状態を表現する所定の音声特殊効果を当該動画像に付加する音声特殊効果付加手段として、図１乃至図１９について上述したＣＰＵ１０を適用するようにした場合について述べたが、本発明はこれに限らず、マイクロプロセッサ等のように、この他種々の音声特殊効果付加手段を広く適用することができる。
【０２２４】
【発明の効果】
上述のように本発明によれば、動画像取込手段によって動画像データを取り込みながら検出手段により当該動画像データに基づく動画像内の特定物の移動の有無及び移動方向を検出し、その検出結果に基づいて、画像特殊効果付加手段により動画像内の特定物が移動した際に当該動画像内の特定物の移動方向側に所定の画像特殊効果を付加するようにしたことにより、動画像内で特定物の移動した任意のタイミングで当該特定物の移動方向側の任意の領域に画像特殊効果を容易に付加することができ、かくして動画像に対して思い通りに画像特殊効果を付加し得る情報処理装置を実現することができる。
【図面の簡単な説明】
【図１】本発明によるパーソナルコンピュータの回路構成の一実施の形態を示すブロック図である。
【図２】ライブ配信処理手順を示すフローチャートである。
【図３】ライブ配信処理プログラムを構成する個々のプログラムに従った処理の説明に供する略線図である。
【図４】指示器具の構成を示す略線的斜視図である。
【図５】画像特殊効果として球状画像を付加した動画像の説明に供する略線図である。
【図６】画像特殊効果として剣状画像を付加した動画像の説明に供する略線図である。
【図７】画像特殊効果設定変更検出処理ルーチン（１）を示すフローチャートである。
【図８】画像特殊効果設定変更検出処理ルーチン（２）を示すフローチャートである。
【図９】現時点移動方向の判断の説明に供する略線図である。
【図１０】球状画像付加処理ルーチン（１）を示すフローチャートである。
【図１１】球状画像付加処理ルーチン（２）を示すフローチャートである。
【図１２】現時点移動方向の変化の検出の説明に供する略線図である。
【図１３】色パレットの構成を示す略線図である。
【図１４】球状画像の描画の説明に供する略線図である。
【図１５】剣状画像付加処理ルーチン（１）を示すフローチャートである。
【図１６】剣状画像付加処理ルーチン（２）を示すフローチャートである。
【図１７】剣状画像の長さの決定の説明に供する略線図である。
【図１８】剣状画像描画領域の決定の説明に供する略線図である。
【図１９】剣状画像の描画の説明に供する略線図である。
【符号の説明】
１……パーソナルコンピュータ、１０……ＣＰＵ、１３……ハードディスクドライブ、１７……デジタルビデオカメラ、３０……指示器具、３２……青色発光部、３３……赤色発光部、４０……球状画像、４６……剣状画像、Ｄ１……動画像データ、Ｄ１Ａ……フレーム画像データ、Ｄ７Ａ……球状画像付加フレーム画像データ、Ｄ６……球状画像用効果音データ、Ｄ１０Ａ……剣状画像付加フレーム画像データ、Ｄ１１……剣状画像用効果音データ、ＲＴ１……特殊効果付加処理プログラム、ＲＴ１……ライブ配信処理手順、ＳＲＴ１００……画像特殊効果設定変更検出処理ルーチン、ＳＲＴ２００……球状画像付加処理ルーチン、ＳＲＴ３００……剣状画像付加処理ルーチン。
【発明の属する技術分野】
本発明は情報処理装置に関し、例えばライブ配信する動画像にリアルタイムで画像特殊効果を付加するパーソナルコンピュータに適用して好適なものである。
【０００２】
【従来の技術】
従来、ライブ配信する動画像に画像特殊効果を付加する際には、当該動画像に付加する画像特殊効果を特定する効果特定情報を予め設定された配列で表示し、その効果特定情報の中から所望の効果特定情報が選択されると、動画像に対して、選択された効果特定情報によって特定される画像特殊効果を付加している。（例えば、特許文献１参照）。
【０００３】
【特許文献１】
特開２００２−１５２５９１号公報（第４頁 第９頁乃至第１１頁、図１１）
【０００４】
【発明が解決しようとする課題】
ところがかかる画像特殊効果の付加手法においては、動画像を演算処理することにより白黒、モザイク及びセピア等の画像特殊効果を動画像全体に付加し、又はフラワー、ハート及びクラッカー等の比較的単純な付加用画像を画像特殊効果として動画像内の予め設定された固定領域に付加している。
【０００５】
このためかかる画像特殊効果の付加手法においては、動画像に対して任意のタイミングで任意の領域に画像特殊効果を思い通りに付加し難い問題があった。
【０００６】
本発明は以上の点を考慮してなされたもので、動画像に対して思い通りに画像特殊効果を付加し得る情報処理装置を提案しようとするものである。
【０００７】
【課題を解決するための手段】
かかる課題を解決するため本発明においては、動画像取込手段によって動画像データを取り込みながら検出手段により当該動画像データに基づく動画像内の特定物の移動の有無及び移動方向を検出し、その検出結果に基づいて、画像特殊効果付加手段により動画像内の特定物が移動した際に当該動画像内の特定物の移動方向側に所定の画像特殊効果を付加するようにした。
【０００８】
従って、動画像内で特定物の移動した任意のタイミングで当該特定物の移動方向側の任意の領域に画像特殊効果を容易に付加することができる。
【０００９】
【発明の実施の形態】
以下図面について、本発明の一実施の形態を詳述する。
【００１０】
図１において、１は全体として本発明を適用したパーソナルコンピュータを示し、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ ）１０にＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２、ハードディスクドライブ１３、操作部インターフェース１４、スピーカインターフェース１５、表示用インターフェース１６、デジタルビデオカメラ１７、ネットワークインターフェース１８、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）２コーデック１９、オーディオエンコーダ２０がそれぞれバス２１を介して接続されて構成されている。
【００１１】
この場合、パーソナルコンピュータ１は、ＲＯＭ１２にＣＰＵ１０によって実行する一連のプログラムを予め格納していると共に、ハードディスクドライブ１３のハードディスクにＣＰＵ１０によって実行するオペレーティングシステムや、配信処理プログラム、特殊効果付加処理プログラム、キャプチャフィルタ、表示フィルタ、エンコードフィルタ及びダイアログアプリケーションプログラムからなるライブ配信処理プログラム等の各種アプリケーションプログラムを予め格納している。
【００１２】
そしてパーソナルコンピュータ１のＣＰＵ１０は、ＲＡＭ１１をワークエリアとして用いてこれら一連のプログラムやオペレーティングシステム、またライブ配信処理プログラム等の各種アプリケーションプログラムに従った各種演算処理を実行しながらハードディスクドライブ１３、操作部インターフェース１４、スピーカインターフェース１５、表示用インターフェース１６、デジタルビデオカメラ１７、ネットワークインターフェース１８、ＭＰＥＧ２コーデック１９及びオーディオエンコーダ２０等の各回路部を制御する。
【００１３】
これによりＣＰＵ１０は、ユーザを撮像対象として撮像することにより得られた動画像データＤ１に画像特殊効果として球状画像及び剣状画像を付加すると共に、音声特殊効果として当該球状画像及び剣状画像の状態を表現する効果音を付加しながら、これら画像特殊効果及び音声特殊効果（以下、これらをまとめてエフェクトと呼ぶ）の付加によって得られた映像データ（以下、これをエフェクト付加映像データと呼ぶ）Ｄ２をインターネット上のストリーミングサーバ（図示せず）を利用してライブ配信するライブ配信処理を実行する。
【００１４】
実際上、ＣＰＵ１０は、ハードディスクドライブ１３のハードディスクからライブ配信処理プログラムを読み出してＲＡＭ１１上で展開することにより当該ライブ配信処理プログラムに従ってライブ配信処理手順ＲＴ１の開始ステップから入り、続くステップＳＰ１に移る。
【００１５】
ステップＳＰ１においてＣＰＵ１０は、ライブ配信用の各種操作命令が入力可能なライブ配信処理用画面（図示せず）に相当するライブ配信処理用画面データＤ３をバス２１及び表示用インターフェース１６を順次介して液晶ディスプレイ又は陰極線管等でなる表示部２５に送出することにより当該表示部２５にライブ配信処理用画面データＤ３に基づくライブ配信処理用画面を表示する。
【００１６】
この状態でＣＰＵ１０は、ユーザによりキーボード及びマウス等でなる操作部２６を介してライブ配信処理用画面上で画像特殊効果を設定するための効果設定要求が入力されると、これを操作部インターフェース１４及びバス２１を順次介して取り込む。
【００１７】
このときＣＰＵ１０は、図３に示すようにライブ配信処理プログラムを構成するダイアログアプリケーションプログラムＰ１に従い、効果設定要求に応じてライブ配信処理用画面内に、動画像に付加する画像特殊効果として球状画像及び剣状画像のいずれか一方を選択させるための効果選択用ダイアログボックスを表示する。
【００１８】
この結果、ＣＰＵ１０は、ユーザにより操作部２６を介してライブ配信処理用画面内の効果選択用ダイアログボックス上で球状画像及び剣状画像のいずれか一方が選択されると、当該選択された球状画像又は剣状画像を示す効果選択情報を操作部インターフェース１４及びバス２１を順次介して取り込む。
【００１９】
このときＣＰＵ１０は、ライブ配信処理プログラムを構成する特殊効果付加処理プログラムＰ２（図３）に従い、効果選択情報で示される球状画像又は剣状画像をライブ配信用の動画像に付加する画像特殊効果として用いるように設定して続くステップＳＰ２に移る。
【００２０】
ステップＳＰ２においてＣＰＵ１０は、ユーザによってライブ配信の開始が指示されることを待ち受け、当該ユーザにより操作部２６を介してライブ配信処理用画面上でライブ配信の開始が指示されると、その指示結果を操作部インターフェース１４及びバス２１を順次介して取り込み、続くステップＳＰ３に移る。
【００２１】
ステップＳＰ３においてＣＰＵ１０は、予め登録されているストリーミングサーバのＵＲＬ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ）に基づいて当該ストリーミングサーバとパーソナルコンピュータ１との間で通信回線を確保する。
【００２２】
またＣＰＵ１０は、このとき動画像に画像特殊効果を付加するタイミング及び領域を指示するための図４に示すような指示器具３０を手に持ったユーザ（撮像対象）に対してデジタルビデオカメラ１７による撮像を開始する。
【００２３】
ここで指示器具３０は、内部に電池が収納された円筒状本体３１の一端（以下、これを本体一端と呼ぶ）に電球により青色に発光する青色発光部３２が設けられると共に、当該円筒状本体３１の他端（以下、これを本体他端と呼ぶ）に電球により赤色に発光する赤色発光部３３が設けられている。
【００２４】
また指示器具３０は、円筒状本体３１の側面に３段階の切換機能を有するスイッチ３４がスライド自在に設けられ、ユーザにより円筒状本体３１が手で握持された状態でスイッチ３４がスライド範囲内を本体一端側に目いっぱいスライドすると、青色発光部３２のみを発光させ、当該スイッチ３４がスライド範囲の中央部に位置したときに青色発光部３２及び赤色発光部３３を両方とも消灯させ、さらにスイッチ３４がスライド範囲内を本体他端側に目いっぱいスライドすると、青色発光部３２及び赤色発光部３３の両方を発光させるようになされている。
【００２５】
そしてＣＰＵ１０は、ユーザの撮像を開始すると、ライブ配信処理プログラムを構成するキャプチャフィルタＰ３（図３）に従い、デジタルビデオカメラ１７からその撮像によって得られる動画像データＤ１の取り込みを開始してステップＳＰ４に移る。
【００２６】
ステップＳＰ４においてＣＰＵ１０は、キャプチャフィルタＰ３に従い、デジタルビデオカメラ１７から動画像データＤ１をフレーム画像データＤ１Ａ単位でバス２１を介して取り込むようにし、当該動画像データＤ１を構成するフレーム画像データＤ１Ａを１フレーム分取り込むと、当該デジタルビデオカメラ１７から１フレーム分のフレーム画像データＤ１Ａを取り込む毎に画像特殊効果設定変更検出処理を実行する画像特殊効果設定変更検出処理ルーチンＳＲＴ１０に移る。
【００２７】
画像特殊効果設定変更検出処理ルーチンＳＲＴ１００においてＣＰＵ１０は、ユーザを撮像している途中でも、画像特殊効果設定変更検出処理として、そのユーザによって行われる例えば青色発光部３２のみを発光させた指示器具３０を一旦は上方向に振った後、引き続き下方向に振る連続した動作を画像特殊効果の設定内容の変更を指示する特定動作として認識し、当該特定動作を認識するとこれに応じて画像特殊効果の設定内容を変更するようになされている。
【００２８】
実際にＣＰＵ１０は、デジタルビデオカメラ１７からこの時点に取り込んだフレーム画像データＤ１Ａに基づく１枚のフレーム画像（以下、これを特に現時点処理対象フレーム画像と呼ぶ）内で指示器具３０の青色発光部３２の発光によって得られる青色光の移動の有無及び移動方向を検出して蓄積し、当該蓄積した移動の有無及び移動方向に基づいて、画像特殊効果の設定内容の変更を指示する特定動作に応じて青色光が移動しているか否かを検出する。
【００２９】
そしてＣＰＵ１０は、画像特殊効果の設定内容の変更を指示する特定動作に応じて青色光が移動していることを検出するまでは画像特殊効果の設定内容を変更せずにステップＳＰ５に移る。
【００３０】
これに対してＣＰＵ１０は、画像特殊効果の設定内容の変更を指示する特定動作に応じて青色光が移動していることを検出すると、これに応じて画像特殊効果の設定内容を変更してステップＳＰ５に移る。
【００３１】
ステップＳＰ５においてＣＰＵ１０は、この時点における画像特殊効果の設定内容が球状画像を用いる設定であるか否かを判断する。
【００３２】
このステップＳＰ５において肯定結果が得られると、このことは画像特殊効果として球状画像を用いるように設定していることを表しており、このときＣＰＵ１０はデジタルビデオカメラ１７から１フレーム分のフレーム画像データＤ１Ａを取り込む毎にその都度１フレーム分のフレーム画像データＤ１Ａに対して球状画像付加処理を実行する球状画像付加処理ルーチンＳＲＴ２００に移る。
【００３３】
球状画像付加処理ルーチンＳＲＴ２００においてＣＰＵ１０は、球状画像付加処理として、撮像中のユーザによって行われる例えば青色発光部３２のみを発光させた指示器具３０を任意の一方向に移動させる動作をフレーム画像に対して球状画像の付加を指示する特定動作として認識し、当該特定動作を認識するとこれに応じてフレーム画像に球状画像を付加するようになされている。
【００３４】
実際にＣＰＵ１０は、現時点処理対象フレーム画像内で指示器具３０の青色発光部３２の発光によって得られる青色光の移動の有無及び移動方向を検出して蓄積し、当該蓄積した移動の有無及び移動方向に基づいて、フレーム画像に対して球状画像の付加を指示する特定動作に応じて青色光が移動しているか否かを検出する。
【００３５】
そしてＣＰＵ１０は、フレーム画像に対して球状画像の付加を指示する特定動作に応じて青色光が移動していることを検出するまでは、未だ球状画像を付加していない現時点処理対象フレーム画像に相当するフレーム画像データＤ１Ａを、ライブ配信処理プログラムを構成するエンコードフィルタＰ４（図３）に従いバス２１を介してＭＰＥＧ２コーデック１９に送出する。
【００３６】
またＣＰＵ１０は、このときライブ配信処理プログラムを構成する表示フィルタＰ５（図３）に従いそのフレーム画像データＤ１Ａをバス２１及び表示用インターフェース１６を順次介して表示部２５に送出してステップＳＰ６に移る。
【００３７】
ステップＳＰ６においてＣＰＵ１０は、ＭＰＥＧ２コーデック１９によりフレーム画像データＤ１ＡをＭＰＥＧ２規格に従って圧縮符号化し、得られた圧縮符号化フレーム画像データＤ５Ａをこの時点のエフェクト付加映像データＤ２としてバス２１及びネットワークインターフェース１８を順次介してインターネット上のストリーミングサーバに送信する。
【００３８】
またＣＰＵ１０は、このとき表示部２５にフレーム画像データＤ１Ａに基づく現時点処理対象フレーム画像（すなわち球状画像を付加していない元のフレーム画像）を表示してステップＳＰ７に移る。
【００３９】
ステップＳＰ７においてＣＰＵ１０は、ライブ配信の終了が指示されたか否かを判断する。
【００４０】
このステップＳＰ７において否定結果が得られると、このことはユーザにより操作部２６を介して未だライブ配信の終了が指示されていないことを表しており、このときＣＰＵ１０はステップＳＰ４に戻る。
【００４１】
このようにしてＣＰＵ１０は、画像特殊効果として球状画像を用いるように設定されている間は、ステップＳＰ７−ＳＰ４−ＳＲＴ１００−ＳＰ５―ＳＲＴ２００−ＳＰ６−ＳＰ７の一連の処理を循環的に繰り返すことによりデジタルビデオカメラ１７から１フレーム分のフレーム画像データＤ１Ａを取り込む毎に球状画像付加処理ルーチンＳＲＴ２００において撮像中のユーザにより球状画像の付加を指示する特定動作が行われたか否かを監視する。
【００４２】
この結果、球状画像付加処理ルーチンＳＲＴ２００においてＣＰＵ１０は、撮像中のユーザにより球状画像の付加を指示する特定動作が行われることによりそのフレーム画像に対して球状画像の付加を指示する特定動作に応じて青色光が移動していることを検出すると、球状画像の状態として動画像中における球状画像の出現を表現する効果音（以下、これを特に球状画像用効果音と呼ぶ）に相当する球状画像用効果音データＤ６をこれが予め記録されているハードディスクドライブ１３のハードディスクから読み出してステップＳＰ６に移る。
【００４３】
そしてＣＰＵ１０は再びステップＳＰ６−ＳＰ７−ＳＰ４−ＳＲＴ１００−ＳＰ５の処理を順次経て再び球状画像付加処理ルーチンＳＲＴ２００に移ると、当該球状画像付加処理ルーチンＳＲＴ２００においてデジタルビデオカメラ１７からこの時点に取り込んだフレーム画像データＤ１Ａに基づくフレーム画像（以下、これを特に球描画対象フレーム画像と呼ぶ）に対して球状画像を付加する。
【００４４】
またＣＰＵ１０は、その球状画像を付加した球描画対象フレーム画像（以下、これを球状画像付加フレーム画像と呼ぶ）に相当する球状画像付加フレーム画像データＤ７ＡをエンコードフィルタＰ４に従いバス２１を介してＭＰＥＧ２コーデック１９に送出すると共に、表示フィルタＰ５に従いその球状画像付加フレーム画像データＤ７Ａをバス２１及び表示用インターフェース１６を順次介して表示部２５に送出する。
【００４５】
因みにＣＰＵ１０は、このとき１フレーム前の現時点処理対象フレーム画像に対する処理でハードディスクから読み出していた球状画像用効果音データＤ６を球状画像付加フレーム画像データＤ７Ａの送出タイミングに合わせて、エンコードフィルタＰ４に従いバス２１を介してオーディオエンコーダ２０に送出すると共に、当該球状画像用効果音データＤ６をバス２１及びスピーカインターフェース１５を順次介してスピーカ２７に送出してステップＳＰ６に移る。
【００４６】
これによりステップＳＰ６においてＣＰＵ１０は、ＭＰＥＧ２コーデック１９により球状画像付加フレーム画像データＤ７ＡをＭＰＥＧ２規格に従って圧縮符号化し、得られた球付加圧縮フレーム画像データＤ８Ａと、オーディオエンコーダ２０により球状画像用効果音データＤ６を所定の圧縮符号化方式に従って圧縮符号化し、得られた圧縮符号化効果音データＤ９とをこの時点のエフェクト付加映像データＤ２としてバス２１及びネットワークインターフェース１８を順次介してインターネット上のストリーミングサーバに送信する。
【００４７】
またＣＰＵ１０は、このとき表示部２５に球状画像付加フレーム画像データＤ７Ａに基づく球状画像付加フレーム画像（すなわち画像特殊効果として球状画像を付加した球描画対象フレーム画像）を表示すると共に、これに合わせてスピーカ２７から球状画像用効果音データＤ６に基づく球状画像用効果音を出力することにより球描画対象フレーム画像に画像特殊効果としての球状画像と共に音声特殊効果としての球状画像用効果音を合わせて付加してステップＳＰ７に移る。
【００４８】
このようにしてＣＰＵ１０は、ステップＳＰ７において肯定結果が得られるまでの間、ステップＳＰ７−ＳＰ４−ＳＲＴ１００−ＳＰ５―ＳＲＴ２００−ＳＰ６−ＳＰ７の一連の処理を循環的に繰り返すことにより、デジタルビデオカメラ１７から１フレーム分のフレーム画像データＤ１Ａを取り込む毎に球状画像付加処理ルーチンＳＲＴ２００において球状画像の付加を指示する特定動作の有無の監視と、その特定動作による指示に応じた球描画対象フレーム画像への球状画像の付加とを適宜繰り返す。
【００４９】
これによりＣＰＵ１０は、デジタルビデオカメラ１７から順次１フレーム分のフレーム画像データＤ１Ａを取り込む毎に球状画像付加処理ルーチンＳＲＴ２００を実行すると、例えば図５に示すように撮像対象のユーザ３９が一方の手に持った指示器具３０の青色発光部３２のみを発光させ、その青色発光部３２を他方の手のひらに沿わせた状態で当該他方の手を自分の前に突き出した際に、その他方の手の動きを球状画像４０の付加を指示する特定動作と認識して当該他方の手のひらからその突き出した方向側の領域にあたかも青色に発光している球状のエネルギー体（すなわち球状画像４０）を放出させるように動画像内（実際には動画像を構成する個々のフレーム画像４１、……、４１Ａ、……、４１Ｎ）に画像特殊効果として球状画像４０を変位させて付加することができる。
【００５０】
ところで上述したステップＳＰ５において否定結果が得られると、このことは画像特殊効果として剣状画像を用いるように設定していることを表しており、このときＣＰＵ１０はデジタルビデオカメラ１７から１フレーム分のフレーム画像データＤ１Ａを取り込む毎にその都度１フレーム分のフレーム画像データＤ１Ａに対して剣状画像付加処理を実行する剣状画像付加処理ルーチンＳＲＴ３００に移る。
【００５１】
剣状画像付加処理ルーチンＳＲＴ３００においてＣＰＵ１０は、剣状画像付加処理として、撮像中のユーザによる指示器具３０への操作で青色発光部３２及び赤色発光部３３の両方が発光すると、当該両方の発光をフレーム画像に対する剣状画像の付加の指示として認識し、当該認識した指示に応じてフレーム画像に剣状画像を付加するようになされている。
【００５２】
実際にＣＰＵ１０は、現時点処理対象フレーム画像内で指示器具３０の青色発光部３２及び赤色発光部３３の発光によって得られる青色光及び赤色光の両方を検出し得たか否かを判断し、当該青色光及び赤色光の両方を検出するまでは、未だ剣状画像を付加していない現時点処理対象フレーム画像に相当するフレーム画像データＤ１ＡをエンコードフィルタＰ４に従いバス２１を介してＭＰＥＧ２コーデック１９に送出する。
【００５３】
またＣＰＵ１０は、このとき表示フィルタＰ５に従いそのフレーム画像データＤ１Ａをバス２１及び表示用インターフェース１６を順次介して表示部２５に送出してステップＳＰ６に移る。
【００５４】
ステップＳＰ６においてＣＰＵ１０は、上述と同様の処理を実行することによりＭＰＥＧ２コーデック１９によりフレーム画像データＤ１ＡをＭＰＥＧ２規格に従って圧縮符号化し、得られた圧縮符号化フレーム画像データＤ５Ａをこの時点のエフェクト付加映像データＤ２としてバス２１及びネットワークインターフェース１８を順次介してインターネット上のストリーミングサーバに送信してステップＳＰ７に移る。
【００５５】
ステップＳＰ７においてＣＰＵ１０は上述と同様に否定結果を得ると、画像特殊効果として剣状画像を用いるように設定されている間は、ステップＳＰ７−ＳＰ４−ＳＲＴ１００−ＳＰ５―ＳＲＴ３００−ＳＰ６−ＳＰ７の一連の処理を循環的に繰り返すことによりデジタルビデオカメラ１７から１フレーム分のフレーム画像データＤ１Ａを取り込む毎に剣状画像付加処理ルーチンＳＲＴ３００において撮像中のユーザにより剣状画像の付加が指示されたか否かを監視する。
【００５６】
この結果、剣状画像付加処理ルーチンＳＲＴ３００においてＣＰＵ１０は、撮像中のユーザにより剣状画像の付加が指示されることにより現時点処理対象フレーム画像内で青色光及び赤色光の両方を検出すると、当該現時点処理対象フレーム画像に剣状画像を付加する。
【００５７】
またＣＰＵ１０は、その剣状画像の状態（例えば剣状画像の描画の完了や剣状画像が急激に振られた状態）を表現する剣状画像用効果音（剣生成音や剣振り効果音）に相当する剣状画像用効果音データＤ１１をこれが予め記録されているハードディスクドライブ１３のハードディスクから読み出す。
【００５８】
そしてＣＰＵ１０は、その剣状画像を付加した現時点処理対象フレーム画像（以下、これを剣状画像付加フレーム画像と呼ぶ）に相当する剣状画像付加フレーム画像データＤ１０ＡをエンコードフィルタＰ４に従いバス２１を介してＭＰＥＧ２コーデック１９に送出すると共に、表示フィルタＰ５に従いその剣状画像付加フレーム画像データＤ１０Ａをバス２１及び表示用インターフェース１６を順次介して表示部２５に送出する。
【００５９】
またＣＰＵ１０は、このとき剣状画像用効果音データＤ１１を剣状画像付加フレーム画像データＤ１０Ａの送出タイミングに合わせて、エンコードフィルタＰ４に従いバス２１を介してオーディオエンコーダ２０に送出すると共に、当該剣状画像用効果音データＤ１１をバス２１及びスピーカインターフェース１５を順次介してスピーカ２７に送出してステップＳＰ６に移る。
【００６０】
これによりステップＳＰ６においてＣＰＵ１０は、ＭＰＥＧ２コーデック１９により剣状画像付加フレーム画像データＤ１０ＡをＭＰＥＧ２規格に従って圧縮符号化し、得られた剣付加圧縮フレーム画像データＤ１２Ａと、オーディオエンコーダ２０により剣状画像用効果音データＤ１１を所定の圧縮符号化方式に従って圧縮符号化し、得られた圧縮符号化効果音データＤ１３とをこの時点のエフェクト付加映像データＤ２としてバス２１及びネットワークインターフェース１８を順次介してインターネット上のストリーミングサーバに送信する。
【００６１】
またＣＰＵ１０は、このとき表示部２５に剣状画像付加フレーム画像データＤ１０Ａに基づく剣状画像付加フレーム画像（すなわち画像特殊効果として剣状画像を付加した現時点処理対象フレーム画像）を表示すると共に、これに合わせてスピーカ２７から剣状画像用効果音データＤ１１に基づく剣状画像用効果音を出力することにより現時点処理対象フレーム画像に画像特殊効果としての剣状画像と共に音声特殊効果としての剣状画像用効果音を合わせて付加してステップＳＰ７に移る。
【００６２】
このようにしてＣＰＵ１０は、ステップＳＰ７において肯定結果が得られるまでの間、ステップＳＰ７−ＳＰ４−ＳＲＴ１００−ＳＰ５―ＳＲＴ３００−ＳＰ６−ＳＰ７の一連の処理を循環的に繰り返すことにより、デジタルビデオカメラ１７から１フレーム分のフレーム画像データＤ１Ａを取り込む毎に剣状画像付加処理ルーチンＳＲＴ３００において剣状画像を付加する指示の有無の監視と、その指示に応じた現時点処理対象フレーム画像への剣状画像の付加とを適宜繰り返す。
【００６３】
これによりＣＰＵ１０は、デジタルビデオカメラ１７から順次１フレーム分のフレーム画像データＤ１Ａを取り込む毎に剣状画像付加処理ルーチンＳＲＴ３００を実行すると、例えば図６に示すように撮像対象のユーザ４５が一方の手に持った指示器具３０の青色発光部３２及び赤色発光部３３の両方を発光させた際に、その指示器具３０の青色発光部３２側にあたかも青色に発光している光の剣（すなわち剣状画像４６）を出現させると共に、当該一方の手の動きに応じた指示器具３０の傾きに合わせてあたかも実際に振りまわしている物理的な剣の見え方を再現してその剣の長さを変化させるように動画像内（実際には動画像を構成する個々のフレーム画像４７、……、４７Ａ、……、４７Ｎ）に画像特殊効果として剣状画像４６を変位させて付加することができる。
【００６４】
ここで上述した画像特殊効果設定変更検出処理ルーチンＳＲＴ１００、球状画像付加処理ルーチンＳＲＴ２００及び剣状画像付加処理ルーチンＳＲＴ３００について以下に詳細に説明する。
【００６５】
まずＣＰＵ１０は、上述したステップＳＰ４（図２）の処理を実行した後に画像特殊効果設定変更検出処理ルーチンＳＲＴ１００に移ると、特殊効果処理プログラムＰ２に従って図７及び図８に示す画像特殊効果設定変更検出処理ルーチンＳＲＴ１００の開始ステップから入って続くステップＳＰ１０１に移る。
【００６６】
ステップＳＰ１０１においてＣＰＵ１０は、デジタルビデオカメラ１７からこの時点に取り込んだフレーム画像データＤ１Ａに基づく現時点処理対象フレーム画像に対して所定の画像処理を施すことにより当該現時点処理対象フレーム画像内で指示器具３０の青色発光部３２及び赤色発光部３３が発光した際の青色光及び赤色光を探索してステップＳＰ１０２に移る。
【００６７】
ステップＳＰ１０２においてＣＰＵ１０は、現時点処理対象フレーム画像内における探索の結果、青色光のみを検出したか否かを判断する。
【００６８】
このステップＳＰ１０２において肯定結果が得られると、このことはこの時点でユーザが指示器具３０の青色発光部３２のみを発光させていることにより現時点処理対象フレーム画像内で青色光のみを検出したことを表しており、このときＣＰＵ１０はステップＳＰ１０３に移る。
【００６９】
ステップＳＰ１０３においてＣＰＵ１０は、ユーザを撮像して得られる動画像を構成する複数のフレーム画像のうち、現時点処理対象フレーム画像よりも時間的に１フレーム分過去のすでに検索に用いられたフレーム画像（以下、これを特に過去フレーム画像と呼ぶ）でも青色光のみを検出したか否かを判断する。
【００７０】
このステップＳＰ１０３において肯定結果が得られると、このことは過去フレーム画像内でも青色光及び赤色光のうち青色光のみを検出したことを表しており、このときＣＰＵ１０はステップＳＰ１０４に移る。
【００７１】
ステップＳＰ１０４においてＣＰＵ１０は、過去フレーム画像に対して画像特殊効果設定変更検出処理ルーチンＳＲＴ１００を実行した際にＲＡＭ１１にすでに記録している当該過去フレーム画像内の青色光の位置（この位置は過去フレーム画像内の座標値で表すものであり、以下この位置を過去青色光位置と呼ぶ）と、現時点処理対象フレーム画像内の青色光の位置（この位置は現時点処理対象フレーム画像内の座標値で表すものであり、以下この位置を現時点青色光位置と呼ぶ）との間の距離（以下、これを現時点移動距離と呼ぶ）を算出し、当該算出した現時点移動距離が所定の第１の距離閾値以内か否かを判断する。
【００７２】
このステップＳＰ１０４において肯定結果が得られると、このことは現時点移動距離がユーザの自然な動きに応じた距離であり、青色光が正しく検出されたことを表しており、このときＣＰＵ１０はステップＳＰ１０５に移る。
【００７３】
ステップＳＰ１０５においてＣＰＵ１０は、過去青色光位置及び現時点青色光位置に基づいて過去フレーム画像から現時点処理対象フレーム画像に渡って移動した青色光の移動方向（以下、これを現時点移動方向と呼ぶ）及び現時点移動距離からなる移動量（以下、これを現時点移動量と呼び、当該現時点移動量は現時点移動方向及び現時点移動距離を一括してベクトルで表す）を検出し、続くステップＳＰ１０６に移る。
【００７４】
ステップＳＰ１０６においてＣＰＵ１０は、図９に示すように過去青色光位置ＫＰ１を中心とした上方向閾値範囲ＵＨ及び下方向閾値範囲ＤＨと現時点移動量ＧＨ１とを比較することにより青色光の現時点移動方向が上方向又は下方向であるか否かを判断する。
【００７５】
ステップＳＰ１０６において肯定結果が得られると、このことは上方向閾値範囲ＵＨ内及び下方向閾値範囲ＤＨ内のいずれか一方に現時点移動量ＧＨ１が存在することにより青色光の現時点移動方向が上方向又は下方向であると認識し得ることを表しており、このときＣＰＵ１０はステップＳＰ１０７に移る。
【００７６】
ステップＳＰ１０７においてＣＰＵ１０は、動画像を構成する複数のフレーム画像のうち現時点よりも時間的に過去の現時点処理対象フレーム画像と連続する所定フレーム数分（例えば１４又は２９フレーム）のフレーム画像に対してそれぞれ画像特殊効果設定変更検出処理ルーチンＳＲＴ１００を実行した際に当該所定フレーム数分のフレーム画像の全て又はいずれかのフレーム画像で青色光のみを検出している場合、これら複数のフレーム画像で青色光のみを検出してすでにＲＡＭ１１に記録している移動量（以下、これを過去移動量と呼ぶ）に応じた移動軌跡と、現時点移動量ＧＨ１とに基づいて当該青色光が移動開始から上方向に移動している途中であるか、又は当該青色光が移動開始から上方向に移動し、次いで下方向に連続して移動している途中であるか否かを判断する。
【００７７】
ステップＳＰ１０７において肯定結果が得られると、このことはユーザにより青色発光部３２のみを発光させた指示器具３０が一旦上方向に振られ、又は当該指示器具３０が一旦上方向に振られた後、引き続き下方向に振られた動作（すなわち画像特殊効果の設定内容の変更を指示する特定動作とほぼ同じ動作）に応じてフレーム画像内の青色光がその特定動作に応じた特定の軌跡で移動していることを表しており、このときＣＰＵ１０はステップＳＰ１０８に移る。
【００７８】
ステップＳＰ１０８においてＣＰＵ１０は、現時点処理対象フレーム画像及び現時点よりも時間的に過去の当該現時点処理対象フレーム画像と連続する所定フレーム数分のフレーム画像（現時点処理対象フレーム画像を含む１５又は３０フレーム分のフレーム画像であり、当該１５又は３０フレーム分のフレーム画像を以下、まとめて設定変更検出範囲フレーム画像群と呼ぶ）に対して青色光を検出したフレーム画像の数を表す青色光検出フレーム数（実際には内部の図示しない設定変更用のカウンタ）を１だけインクリメントする。
【００７９】
またＣＰＵ１０は、このとき現時点処理対象フレーム画像内で検出した青色光に対する現時点青色光位置及び現時点移動量をＲＡＭ１１に記録して続くステップＳＰ１０９に移る。
【００８０】
ステップＳＰ１０９においてＣＰＵ１０は、青色光検出フレーム数が予め設定された所定のフレーム数閾値よりも大きく、かつ設定変更検出範囲フレーム画像群に対してそれぞれ画像特殊効果設定変更検出処理ルーチンＳＲＴ１００を実行した結果ＲＡＭ１１に記録している青色光の移動量（現時点移動量を含む）のうち最大の値を示す移動量が予め設定された所定の移動量閾値よりも大きく、さらに現時点処理対象フレーム画像及び現時点よりも時間的に過去の当該現時点処理対象フレーム画像と連続する例えば２フレーム分のフレーム画像（すなわち設定変更検出範囲フレーム画像群において時間的に最も未来の３フレーム分のフレーム画像）に対して画像特殊効果設定変更検出処理ルーチンＳＲＴ１００を実行した結果ＲＡＭ１１に記録している青色光の移動量（現時点移動量を含む）の値がそれ以前の移動量よりも低下しているか否かを判断する。
【００８１】
このステップＳＰ１０９において肯定結果が得られると、このことは青色光検出フレーム数、最大の値を示す移動量及び移動量の低下が、それぞれ青色光の移動がユーザの動作に応じた自然なものであるかを判断するために予め設定された規定を満たしていることにより、ユーザによる画像特殊効果の設定内容の変更を指示する特定動作に応じて自然に移動した青色光を検出したと認識し得ることを表しており、このときＣＰＵ１０はユーザにより画像特殊効果の設定内容の変更が指示されたと判断して続くステップＳＰ１１０に移る。
【００８２】
ステップＳＰ１１０においてＣＰＵ１０は、画像特殊効果設定変更検出処理ルーチンＳＲＴ１００を開始する以前に画像特殊効果として球状画像４０を用いるように設定していたときには当該画像特殊効果として剣状画像４６を用いるように設定内容を変更する。
【００８３】
またステップＳＰ１１０においてＣＰＵ１０は、画像特殊効果設定変更検出処理ルーチンＳＲＴ１００を開始する以前に画像特殊効果として剣状画像４６を用いるように設定していたときには当該画像特殊効果として球状画像４０を用いるように設定内容を変更する。
【００８４】
このようにしてＣＰＵ１０は、画像特殊効果の設定内容を変更すると、ステップＳＰ５（図２）に移る。
【００８５】
ところでＣＰＵ１０かデジタルビデオカメラ１７から１フレーム分のフレーム画像データＤ１Ａを取り込んで画像特殊効果設定変更検出処理ルーチンＳＲＴ１００を実行している際に上述したステップＳＰ１０２において否定結果が得られると、このことはこの時点でユーザにより画像特殊効果の設定内容の変更が指示されず又はその指示が途中で中止されたことにより指示器具３０の青色発光部３２及び赤色発光部３３の発光状態に応じて現時点処理対象フレーム画像内で青色光及び赤色光の両方を検出し、又は両方とも検出することができなかったことを表しており、このときＣＰＵ１０はステップＳＰ１１１に移る。
【００８６】
ステップＳＰ１１１においてＣＰＵ１０は、設定変更検出範囲フレーム画像群に対して青色光を検出したフレーム画像の数を表す青色光検出フレーム数（実際には内部の設定変更用のカウンタ）を１だけデクリメントする。
【００８７】
このようにしてＣＰＵ１０は、１フレーム分のフレーム画像データＤ１Ａを取り込んで画像特殊効果設定変更検出処理ルーチンＳＲＴ１００を実行する毎に、その都度時間的に最も未来の設定変更検出範囲フレーム画像群の対象となるフレーム画像を変更しても当該設定変更検出範囲フレーム画像群において青色光を検出したフレーム画像の数を青色光検出フレーム数で適確に認識し得る状態にしてステップＳＰ１１２に移る。
【００８８】
ステップＳＰ１１２においてＣＰＵ１０は、現時点処理対象フレーム画像内で青色光及び赤色光の両方を検出することができなかったことで、画像特殊効果設定変更検出処理ルーチンＳＲＴ１００を開始する以前に設定していた画像特殊効果の設定内容をそのまま変更せずにステップＳＰ５に移る。
【００８９】
また上述したステップＳＰ１０３において否定結果が得られると、このことはユーザにより画像特殊効果の設定内容の変更が未だ指示されず又はその指示がすでに中止されていることによりその時点の指示器具３０における青色発光部３２及び赤色発光部３３の発光状態に応じて過去フレーム画像内でも青色光及び赤色光の両方を検出し、又は両方とも検出することができなかったことを表しており、このときＣＰＵ１０はステップＳＰ１１１に移る。
【００９０】
さらに上述したステップＳＰ１０４において否定結果が得られると、このことは現時点移動距離がユーザの自然な動きに応じているとは言い難い不自然な距離であり、青色光が誤検出されたことを表しており、このときＣＰＵ１０はステップＳＰ１１１に移る。
【００９１】
さらに上述したステップＳＰ１０６において否定結果が得られると、このことは現時点移動量ＧＨ１が上方向閾値範囲ＵＨ内及び下方向閾値範囲ＤＨ内のいずれからも外れていることにより青色光の現時点移動方向が上方向及び下方向とは異なる方向であると認識し得ることを表しており、このときＣＰＵ１０はステップＳＰ１１３に移る。
【００９２】
ステップＳＰ１１３においてＣＰＵ１０は、現時点処理対象フレーム画像内でユーザによる画像特殊効果の設定内容の変更を指示する特定動作とは異なる動作に応じて移動した青色光を検出したと判断し、その時点の設定変更検出範囲フレーム画像群に対してカウントしていた青色光検出フレーム数と、ＲＡＭ１１にすでに記録している青色光の位置及び移動量とからなる青色検出情報を初期化してステップＳＰ１１２に移る。
【００９３】
また上述したステップＳＰ１０７において否定結果が得られると、このことはユーザによる画像特殊効果の設定内容の変更を指示する特定動作とは異なる動作に応じてフレーム画像内の青色光が移動していることを表しており、このときＣＰＵ１０はステップＳＰ１１３に移る。
【００９４】
さらに上述したステップＳＰ１０９において否定結果が得られると、このことは青色光検出フレーム数、最大の値を示す移動量及び移動量の低下の少なくとも１つが規定を満たしていないことにより、ユーザによる画像特殊効果の設定内容の変更を指示する特定動作とは異なる動作に応じて移動した青色光を検出したと認識し得ることを表しており、このときＣＰＵ１０はユーザにより画像特殊効果の設定内容の変更が指示されていないと判断してステップＳＰ１１２に移る。
【００９５】
このようにしてＣＰＵ１０は、ライブ配信を実行している間、フレーム画像を取り込む毎に順次更新する時間的に最新の所定フレーム数分（すなわちユーザの特定動作を撮像するのに充分なフレーム数である設定変更検出範囲フレーム画像群）のフレーム画像内で検出した青色光の移動量をＲＡＭ１１に蓄積し、当該蓄積した移動量に基づいてユーザによる画像特殊効果の設定内容の変更を指示す特定動作に応じて青色光が移動したことを認識すると、デジタルビデオカメラ１７の前で撮像用に演技しているユーザに操作部２６を特には操作させることなく画像特殊効果の設定内容を容易に変更することができる。
【００９６】
またＣＰＵ１０は、画像特殊効果として球状画像４０を用いるように設定していることにより上述したステップＳＰ５（図２）の処理を実行した後に球状画像付加処理ルーチンＳＲＴ２００に移ると、特殊効果付加処理プログラムＰ２に従って図１０及び図１１に示す球状画像付加処理ルーチンＳＲＴ２００の開始ステップから入って続くステップＳＰ２０１に移る。
【００９７】
ステップＳＰ２０１においてＣＰＵ１０は、現時点のモードが撮像中のユーザによって行われる球状画像４０の付加を指示する特定動作を検出するための青色光検出モードと、球状画像４０を付加する指示に応じて球描画対象フレーム画像に画像特殊効果として球状画像４０を描画する描画モードとのうち当該描画モードであるか否かを判断する。
【００９８】
このステップＳＰ２０１において否定結果が得られると、このことは現時点処理対象フレーム画像に画像特殊効果として球状画像４０を描画するための前処理となる青色光検出モードに移行していることを表しており、このときＣＰＵ１０はステップＳＰ２０２に移る。
【００９９】
ステップＳＰ２０２においてＣＰＵ１０は、現時点処理対象フレーム画像内で指示器具３０の青色発光部３２及び赤色発光部３３が発光した際の青色光及び赤色光を探索してステップＳＰ２０３に移る。
【０１００】
ステップＳＰ２０３においてＣＰＵ１０は、現時点処理対象フレーム画像内における探索の結果、青色光のみを検出したか否かを判断する。
【０１０１】
このステップＳＰ２０３において肯定結果が得られると、このことはこの時点でユーザが指示器具３０の青色発光部３２のみを発光させていることにより現時点処理対象フレーム画像内で青色光のみを検出したことを表しており、このときＣＰＵ１０はステップＳＰ２０４に移る。
【０１０２】
ステップＳＰ２０４においてＣＰＵ１０は、ユーザを撮像して得られる動画像を構成する複数のフレーム画像のうち現時点処理対象フレーム画像よりも時間的に１フレーム過去のすでに検索に用いられた過去フレーム画像でも青色光のみを検出したか否かを判断する。
【０１０３】
このステップＳＰ２０４において肯定結果が得られると、このことは過去フレーム画像内でも青色光及び赤色光のうち青色光のみを検出したことを表しており、このときＣＰＵ１０はステップＳＰ２０５に移る。
【０１０４】
ステップＳＰ２０５においてＣＰＵ１０は、過去フレーム画像に対して球状画像付加処理ルーチンＳＲＴ２００を実行した際にＲＡＭ１１にすでに記録している当該過去フレーム画像内の青色光の過去青色光位置と、現時点処理対象フレーム画像内の青色光の現時点青色光位置との間の現時点移動距離を算出し、当該算出した現時点移動距離が所定の第２の距離閾値以内か否かを判断する。
【０１０５】
このステップＳＰ２０５において肯定結果が得られると、このことは現時点移動距離がユーザの自然な動きに応じた距離であり、青色光が正しく検出されたことを表しており、このときＣＰＵ１０はステップＳＰ２０６に移る。
【０１０６】
ステップＳＰ２０６においてＣＰＵ１０は、過去青色光位置及び現時点青色光位置に基づいて、過去フレーム画像から現時点処理対象フレーム画像に渡って移動した青色光の現時点移動方向及び現時点移動距離を一括してベクトルで表す現時点移動量を検出し、続くステップＳＰ２０７に移る。
【０１０７】
ステップＳＰ２０７においてＣＰＵ１０は、動画像を構成する複数のフレーム画像のうち現時点よりも時間的に過去の現時点処理対象フレーム画像と連続する所定フレーム数分（例えば１４又は２９フレーム）のフレーム画像に対してそれぞれ球状画像付加処理ルーチンＳＲＴ２００を実行した際に当該複数のフレーム画像の全て又はいずれかのフレーム画像内で青色光のみを検出している場合、これら所定フレーム数分のフレーム画像内で青色光のみを検出した際に得られた過去移動量をＲＡＭ１１から読み出す。
【０１０８】
そしてＣＰＵ１０は、図１２に示すように所定フレーム数分のフレーム画像内で青色光のみを検出した際に得られた過去移動量のうち最も過去のフレーム画像内で青色光のみを検出した際に得られた過去移動量ＫＨ１の始点となる移動開始点ＭＳ１に現時点移動量ＧＨ１の始点となる過去青色光位置ＫＰ１を一致させる。
【０１０９】
この状態でＣＰＵ１０は、現時点移動量ＧＨ１と、移動開始点ＭＳ１を中心とし、かつ過去移動量ＫＨ１を基準中心線とする所定角度範囲でなる方向判別用閾値範囲ＡＨ１とを比較することにより、現時点移動方向が現時点処理対象フレーム画像よりも過去のフレーム画像における青色光の移動方向に対して急激に変化していないか否かを判断する。
【０１１０】
このステップＳＰ２０７において否定結果が得られると、このことは方向判別用閾値範囲ＡＨ１内に現時点移動量ＧＨ１が存在することにより青色光の現時点移動方向が現時点処理対象フレーム画像よりも過去のフレーム画像における青色光の移動方向とほぼ同じ方向であり、青色光が複数のフレーム画像に渡ってほぼ直線的に移動していることを表しており、このときＣＰＵ１０はステップＳＰ２０８に移る。
【０１１１】
ステップＳＰ２０８においてＣＰＵ１０は、現時点処理対象フレーム画像及び現時点よりも時間的に過去の当該現時点処理対象フレーム画像と連続する所定フレーム数分のフレーム画像（現時点処理対象フレーム画像を含む１５又は３０フレーム分のフレーム画像であり、当該１５又は３０フレーム分のフレーム画像を以下、まとめて描画検出用範囲フレーム画像群と呼ぶ）に対して青色光を検出したフレーム画像の数を表す青色光検出フレーム数（実際には内部の図示しない描画検出用のカウンタ）を１だけインクリメントする。
【０１１２】
またＣＰＵ１０は、このとき現時点処理対象フレーム画像内で検出した青色光に対する現時点青色光位置及び現時点移動量をＲＡＭ１１に記録してステップＳＰ２０９に移る。
【０１１３】
ステップＳＰ２０９においてＣＰＵ１０は、青色光検出フレーム数が予め設定された所定のフレーム数閾値よりも大きく、かつ描画検出用範囲フレーム画像群に対してそれぞれ球状画像付加処理ルーチンＳＲＴ２００を実行した結果ＲＡＭ１１に記録している青色光の移動量（現時点移動量を含む）のうち最大の値を示す移動量が予め設定された所定の移動量閾値よりも大きく、さらに現時点処理対象フレーム画像及び現時点よりも時間的に過去の当該現時点処理対象フレーム画像と連続する例えば２フレーム分のフレーム画像（すなわち描画検出用範囲フレーム画像群において時間的に最も未来の３フレーム分のフレーム画像）に対して球状画像付加処理ルーチンＳＲＴ２００を実行した結果ＲＡＭ１１に記録している青色光の移動量（現時点移動量を含む）の値がそれ以前の移動量よりも低下しているか否かを判断する。
【０１１４】
このステップＳＰ２０９において肯定結果が得られると、このことは青色光検出フレーム数、最大の値を示す移動量及び移動量の低下が、それぞれ青色光の移動がユーザの動作に応じた自然なものであるかを判断するために予め設定された規定を満たしていることにより、ユーザによって行われた球状画像４０の付加を指示する特定動作に応じて当該特定動作に応じた特定の軌跡でほぼ直線的に自然に移動した青色光を検出したと認識し得ることを表しており、このときＣＰＵ１０はユーザにより球状画像４０の付加が指示されたと判断して続くステップＳＰ２１０に移る。
【０１１５】
ステップＳＰ２１０においてＣＰＵ１０は、ユーザによる球状画像４０の付加の指示に応じて青色光検出モードから描画モードに移行してステップＳＰ２１１に移る。
【０１１６】
ステップＳＰ２１１においてＣＰＵ１０は、球状画像用効果音の再生タイミングを動画像中で球状画像４０が出現するタイミングに合わせるためにハードディスクドライブ１３のハードディスクから球状画像用効果音データＤ６を読み出してステップＳＰ２１２に移る。
【０１１７】
ステップＳＰ２１２においてＣＰＵ１０は、上述したステップＳＰ２０１乃至ステップＳＰ２１１において青色光の検出に用いた現時点処理対象フレーム画像をこの時点では球状画像４０の付加の対象にはしていないことにより当該現時点処理対象フレーム画像に相当するフレーム画像データＤ１ＡをエンコードフィルタＰ４に従いバス２１を介してＭＰＥＧ２コーデック１９に送出すると共に、表示フィルタＰ５に従いバス２１及び表示用インターフェース１６を順次介して表示部２５に送出してステップＳＰ６（図２）に移る。
【０１１８】
ところでＣＰＵ１０がデジタルビデオカメラ１７から１フレーム分のフレーム画像データＤ１Ａを取り込んで球状画像付加処理ルーチンＳＲＴ２００を実行している際に上述したステップＳＰ２０３において否定結果が得られると、このことはこの時点でユーザにより球状画像４０の付加が指示されず又はその指示が途中で中止されたことにより指示器具３０の青色発光部３２及び赤色発光部３３の発光状態に応じて現時点処理対象フレーム画像内で青色光及び赤色光の両方を検出し、又は両方とも検出することができなかったことを表しており、このときＣＰＵ１０はステップＳＰ２１３に移る。
【０１１９】
ステップＳＰ２１３においてＣＰＵ１０は、描画検出用範囲フレーム画像群に対して青色光を検出したフレーム画像の数を表す青色光検出フレーム数（実際には内部の描画検出用のカウンタ）を１だけデクリメントする。
【０１２０】
このようにしてＣＰＵ１０は、１フレーム分のフレーム画像データＤ１Ａを取り込んで球状画像付加処理ルーチンＳＲＴ２００を実行する毎に、その都度時間的に最も未来の描画検出用範囲フレーム画像群の対象となるフレーム画像を変更しても当該描画検出用範囲フレーム画像群において青色光を検出したフレーム画像の数を青色光検出フレーム数で適確に認識し得る状態にしてステップＳＰ２１２に移る。
【０１２１】
また上述したステップＳＰ２０４において否定結果が得られると、このことはユーザにより球状画像４０の付加が未だ指示されず又はその指示がすでに中止されていることによりその時点の指示器具３０の青色発光部３２及び赤色発光部３３の発光状態に応じて過去フレーム画像内でも青色光及び赤色光の両方を検出し、又は両方とも検出することができなかったことを表しており、このときＣＰＵ１０はステップＳＰ２１３に移る。
【０１２２】
さらに上述したステップＳＰ２０５において否定結果が得られると、このことは現時点移動距離がユーザの自然な動きに応じているとは言い難い不自然な距離であり、青色光が誤検出されたことを表しており、このときＣＰＵ１０はステップＳＰ２１３に移る。
【０１２３】
さらに上述したステップＳＰ２０７において肯定結果が得られると、このことは現時点移動量ＧＨ１が方向判別用閾値範囲ＡＨ１内から外れていることにより青色光の現時点移動方向が現時点処理対象フレーム画像よりも過去のフレーム画像における青色光の移動方向とは全く異なる方向で、球状画像４０の付加を指示するほぼ直線的な特定動作とは異なる動作に応じて青色光がその移動方向を急激に変化させて移動したことを表しており、このときＣＰＵ１０はステップＳＰ２１４に移る。
【０１２４】
ステップＳＰ２１４においてＣＰＵ１０は、現時点処理対象フレーム画像内でユーザによる球状画像４０の付加を指示する特定動作とは異なる動作に応じて移動した青色光を検出したと判断し、その時点の描画検出用範囲フレーム画像群に対してカウントしていた青色光検出フレーム数と、ＲＡＭ１１にすでに記録している青色光の位置及び移動量とからなる青色検出情報を初期化してステップＳＰ２１２に移る。
【０１２５】
また上述したステップＳＰ２０９において否定結果が得られると、このことは青色光検出フレーム数、最大の値を示す移動量及び移動量の低下の少なくとも１つが規定を満たしていないことにより、ユーザによる球状画像４０の付加を指示する特定動作とは異なる動作に応じて移動した青色光を検出したと認識し得ることを表しており、このときＣＰＵ１０はユーザにより球状画像４０の付加が指示されていないと判断してステップＳＰ２１２に移る。
【０１２６】
ところでＣＰＵ１０は、上述したステップＳＰ２１０において青色光検出モードから描画モードに移行すると、上述したステップＳＰ７（図２）からステップＳＰ４（図２）に戻りキャプチャフィルタＰ３に従ってデジタルビデオカメラ１７から新たな１フレーム分のフレーム画像データＤ１Ａを取り込んで再び球状画像付加処理ルーチンＳＲＴ２００を開始した場合、上述したステップＳＰ２０１において肯定結果を得ることによりステップＳＰ２１５に移る。
【０１２７】
ステップＳＰ２１５においてＣＰＵ１０は、青色光検出モードから描画モードに移行して初めて取り込んだ１フレーム目の球描画対象フレーム画像に対しては当該球描画対象フレーム画像内の青色光の位置（以下、これを描画参照用位置と呼ぶ）を検出し、当該検出した描画参照用位置をＲＡＭ１１に記録すると共に、その１フレーム目の球描画対象フレーム画像内における描画参照用位置を球状画像４０の描画中心位置としてステップＳＰ２１６に移る。
【０１２８】
ステップＳＰ２１６においてＣＰＵ１０は、球描画対象フレーム画像に対する球状画像４０の描画中心位置が当該球描画対象フレーム画像の外側であるか否かを判断する。
【０１２９】
このステップＳＰ２１６において肯定結果が得られると、このことは球状画像４０の描画中心位置が球描画対象フレーム画像内に存在することにより当該球描画対象フレーム画像内に球状画像４０を描画し得ることを表しており、このときＣＰＵ１０はステップＳＰ２１７に移る。
【０１３０】
ステップＳＰ２１７においてＣＰＵ１０は、ハードディスクドライブ１３のハードディスクからこれに予め記録している球状画像４０の定数でなる半径（以下、これを球状画像半径と呼ぶ）と、当該球状画像４０及び剣状画像４６描画用のデータテーブルでなる色パレットとを読み出す。
【０１３１】
ここで図１３に示すように、色パレット５０は、例えば最も明るい色を表す白色から青色が離散的に濃くなるような複数色を経て非描画用の透明色までの多数の色情報を有し、これら白色から透明色までの各色情報に色を識別するための色識別番号０乃至Ｍが割り当てられている。
【０１３２】
ＣＰＵ１０は、図１４に示すように、球描画対象フレーム画像内の描画中心位置ＤＰを中心として球状画像半径ＢＲで形成される円状の領域を球状画像４０の描画領域（以下、これを球状画像描画領域と呼ぶ）ＳＤＡとし、当該球状画像描画領域ＳＤＡにおいて描画中心位置ＤＰから外周までの間を色パレット５０の有する色情報の数に応じて同心円状に分割する。
【０１３３】
またＣＰＵ１０は、球状画像描画領域ＳＤＡを同心円状に分割して得た各領域（以下、これを球状画像描画用分割領域と呼ぶ）ＳＤＡ０、……、ＳＤＡＭのうち最も中心に位置する球状画像描画用分割領域ＳＤＡ０に色識別番号０（白色を表す）を割り当てると共に最外周の球状画像描画用分割領域ＳＤＡＭに色識別番号Ｍ（透明色を表す）を割り当てるように、これら全ての球状画像描画用分割領域ＳＤＡ０、……、ＳＤＡＭに描画中心位置ＤＰから最外周にかけて色識別番号０乃至Ｍを線形に割り当てる。
【０１３４】
そしてＣＰＵ１０は、球描画対象フレーム画像において各球状画像描画用分割領域ＳＤＡ０、……、ＳＤＡＭ内のピクセルの本来の色（すなわち撮像時の色）をそれぞれ各球状画像描画用分割領域ＳＤＡ０、……、ＳＤＡＭに割り当てた色識別番号０乃至Ｍに対応する色情報の色に変更する。
【０１３５】
これによりＣＰＵ１０は、球描画対象フレーム画像内に描画中心位置ＤＰを中心として当該描画中心位置ＤＰから外周にかけて順次色を変化させた球状画像４０を描画してステップＳＰ２１８に移る。
【０１３６】
ステップＳＰ２１８においてＣＰＵ１０は、球状画像４０を描画した１フレーム目の球描画対象フレーム画像でなる球状画像付加フレーム画像に相当する球状画像付加フレーム画像データＤ７ＡをエンコードフィルタＰ４に従いバス２１を介してＭＰＥＧ２コーデック１９に送出すると共に、表示フィルタＰ５に従いバス２１及び表示用インターフェース１６を順次介して表示部２５に送出する。
【０１３７】
因みにＣＰＵ１０は、このとき１フレーム前の処理でハードディスクから読み出していた球状画像用効果音データＤ６をエンコードフィルタＰ４に従いバス２１を介してオーディオエンコーダ２０に送出すると共に、その球状画像用効果音データＤ６をバス２１及びスピーカインターフェース１４を順次介してスピーカ２７に送出してステップＳＰ６に移る。
【０１３８】
またＣＰＵ１０は、青色光検出モードから描画モードに移行した時点において現時点処理対象フレーム画像内に球状画像４０を付加した（すなわち現時点処理対象フレーム画像内に初めて球状画像４０を出現させた）後、再びキャプチャフィルタＰ３に従ってデジタルビデオカメラ１７から新たに２フレーム目以降のフレーム画像データＤ１Ａを１フレーム分取り込んで球状画像付加処理ルーチンＳＲＴ２００を開始すると、上述の場合と同様にステップＳＰ２０１において肯定結果を得てステップＳＰ２１５に移る。
【０１３９】
この際、ステップＳＰ２１５においてＣＰＵ１０は、現時点で取り込んでいる２フレーム目以降の球描画対象フレーム画像よりも時間的に１フレーム分過去の球描画対象フレーム画像（以下、これを特に過去球描画対象フレーム画像と呼ぶ）において描画中心位置ＤＰとした描画参照用位置をＲＡＭ１１から読み出すと共に、青色光検出モードから描画モードに移行した時点に描画検出用範囲フレーム画像群としていた全てのフレーム画像に対してそれぞれ検出した青色光の移動量をＲＡＭ１１から読み出す。
【０１４０】
またＣＰＵ１０は、描画検出用範囲フレーム画像群としていた全てのフレーム画像に対してそれぞれ検出した青色光の移動量と、動画像を構成するフレーム画像のフレーム周期と、当該描画検出用範囲フレーム画像群としていたフレーム画像のフレーム数とに基づいてその描画検出用範囲フレーム画像群における青色光の移動方向及び移動速度を移動パラメータとして算出する。
【０１４１】
そしてＣＰＵ１０は、その移動パラメータと、過去球描画対象フレーム画像において描画中心位置ＤＰとした描画参照用位置とに基づいて、青色光の移動方向側の領域で当該過去球描画対象フレーム画像から２フレーム目以降の球描画対象フレーム画像までの球状画像４０の移動距離及び移動方向を推測する。
【０１４２】
これによりＣＰＵ１０は、その推測結果から描画検出用範囲フレーム画像群における青色光の移動速度及び移動方向（すなわちユーザによる球状画像４０の付加を指示する特定動作の速度及び方向）に合わせて球状画像４０をほぼ同じ移動速度及び移動方向で当該青色光の移動方向側の領域を変位させるための２フレーム目以降の球描画対象フレーム画像における描画参照用位置を特定し、当該特定した描画参照用位置を球状画像４０の描画中心位置としてステップＳＰ２１６に移る。
【０１４３】
このようにしてＣＰＵ１０は、この後ステップＳＰ２１６乃至ステップＳＰ２１８において順次上述と同様の処理を実行することにより２フレーム目以降の球描画対象フレーム画像に球状画像４０を付加すると共に、当該球状画像４０を付加した２フレーム目以降の球描画対象フレーム画像でなる球状画像付加フレーム画像を球状画像付加フレーム画像データＤ７ＡとしてＭＰＥＧ２コーデック１９及び表示部２５に送出してステップＳＰ６に移る。
【０１４４】
ところで上述したステップＳＰ２１６において否定結果が得られると、このことは球状画像４０の描画中心位置ＤＰが２フレーム目以降の球描画対象フレーム画像の外側まで移動したことにより当該球描画対象フレーム画像に対して球状画像４０を描画することができないことを表しており、このときＣＰＵ１０はステップＳＰ２１９に移る。
【０１４５】
ステップＳＰ２１９においてＣＰＵ１０は、描画モードから青色光検出モードに移行してステップＳＰ２１２に移る。
【０１４６】
このようにしてＣＰＵ１０は、球状画像付加処理ルーチンＳＲＴ２００を実行した際にフレーム画像を取り込む毎に順次更新する時間的に最新の所定フレーム数分（すなわちユーザの特定動作を撮像するのに充分なフレーム数であり描画検出用範囲フレーム画像群）のフレーム画像内で検出した青色光の移動量をＲＡＭ１１に蓄積し、当該蓄積した移動量に基づいてユーザによる球状画像４０の付加を指示する特定動作に応じて青色光がその特定動作に応じた特定の軌跡で移動したことを検出すると、動画像内にその特定動作時に青色光の移動方向側に画像特殊効果として球状画像４０を変位させて付加する。
【０１４７】
そしてこの際、ＣＰＵ１０は、球状画像付加処理ルーチンＳＲＴ２００において青色光検出モードと描画モードとを適宜切り換えて処理を実行することにより、球状画像４０の描画中に青色光の移動に応じて意図しない他の球状画像を描画することを防止することができる。
【０１４８】
さらにＣＰＵ１０は、画像特殊効果として剣状画像４６を用いるように設定していることにより上述したステップＳＰ５の処理を実行した後に剣状画像付加処理ルーチンＳＲＴ３００に移ると、特殊効果付加処理プログラムＰ２に従って図１５及び図１６に示す剣状画像付加処理ルーチンＳＲＴ３００の開始ステップから入って続くステップＳＰ３０１に移る。
【０１４９】
ステップＳＰ３０１においてＣＰＵ１０は、現時点処理対象フレーム画像内で指示器具３０の青色発光部３２及び赤色発光部３３が発光した際の青色光及び赤色光を探索してステップＳＰ３０２に移る。
【０１５０】
ステップＳＰ３０２においてＣＰＵ１０は、現時点処理対象フレーム画像内における探索の結果、青色光及び赤色光を両方とも検出したか否かを判断する。
【０１５１】
このステップＳＰ３０２において肯定結果が得られると、このことはこの時点で指示器具３０の青色発光部３２及び赤色発光部３３の両方が発光してユーザにより剣状画像４６の付加が指示されていることによりこれに応じて現時点処理対象フレーム画像内で青色光及び赤色光の両方を検出したことを表しており、このときＣＰＵ１０はステップＳＰ３０３に移る。
【０１５２】
ステップＳＰ３０３においてＣＰＵ１０は、現時点処理対象フレーム画像内で検出した青色光の現時点青色光位置と、赤色光の位置（この位置は現時点処理対象フレーム画像内の座標値で表すものであり、以下この位置を現時点赤色光位置と呼ぶ）とをＲＡＭ１１に記録して続くステップＳＰ３０４に移る。
【０１５３】
ステップＳＰ３０４においてＣＰＵ１０は、順次１フレーム分のフレーム画像データＤ１Ａに対して剣状画像付加処理ルーチンＳＲＴ３００を実行する毎に青色光及び赤色光を検出したフレーム画像の数を表す青色光及び赤色光検出フレーム数（実際には内部の図示しない青色光及び赤色光検出用のカウンタ）を１だけインクリメントする。
【０１５４】
ただし青色光及び赤色光検出フレーム数は、現時点処理対象フレーム画像に剣状画像４６の付加を開始した際にその青色光及び赤色光検出フレーム数に比例させて剣状画像４６の長さを順次伸ばすために利用されるものである。
【０１５５】
このためＣＰＵ１０は、青色光及び赤色光検出フレーム数に予め上限値（例えばｎ）を設定し、当該青色光及び赤色光検出フレーム数をインクリメントして上限値に達すると、その後に再び青色光及び赤色光検出フレーム数をインクリメントする際には上限値を変化させないようにすることにより剣状画像４６の長さが極端に伸びすぎることを防止している。
【０１５６】
このようにしてＣＰＵ１０は、青色光及び赤色光検出フレーム数をインクリメントすると、続くステップＳＰ３０５に移る。
【０１５７】
ステップＳＰ３０５においてＣＰＵ１０は、ハードディスクドライブ１３のハードディスクからこれに予め記録している剣状画像４６の長さの定数（以下、これを長さ定数と呼ぶ）及び当該剣状画像４６の幅（以下、これを幅定数と呼ぶ）と、図１３について上述した色パレット５０とを読み出すと共に、ＲＡＭ１１から現時点処理対象フレーム画像内で検出した現時点青色光位置及び現時点赤色光位置を読み出す。
【０１５８】
ＣＰＵ１０は、図１７に示すように、現時点青色光位置ＢＰ及び現時点赤色光位置ＲＰに基づいて、現時点処理対象フレーム画像内で水平線Ｈに対するその現時点青色光位置ＢＰ及び現時点赤色光位置ＲＰ間を結ぶ仮想線ＫＬ１の傾き角度（以下、これを光点間傾き角度と呼ぶ）ＬＡ１を検出する。
【０１５９】
またＣＰＵ１０は、現時点青色光位置ＢＰ及び現時点赤色光位置ＲＰ間の距離（以下、これを光点間距離と呼ぶ）ＬＬ１を算出した後、その光点間距離ＬＬ１とこの時点の青色光及び赤色光検出フレーム数と長さ定数とを乗算することにより剣状画像４６を描画する際の青色光及び赤色光検出フレーム数に比例した実際の長さ（以下、これを剣状画像描画長さと呼ぶ）ＮＬを算出すると共に、光点間距離ＬＬ１とこの時点の青色光及び赤色光検出フレーム数と幅定数とを乗算することにより剣状画像４６を描画する際の青色光及び赤色光検出フレーム数に比例した実際の幅（以下、これを剣状画像描画幅と呼ぶ）ＮＷを算出する。
【０１６０】
さらにＣＰＵ１０は、光点間傾き角度ＬＡ１に従って現時点処理対象フレーム画像内で仮想線ＫＬ１を現時点青色光位置側に延長させ、当該仮想線ＫＬ１の延長線ＫＬＰ上で現時点青色光位置ＢＰから剣状画像描画長さＮＬの位置を剣状画像４６の表す剣の先端となる剣状画像描画軸先端位置ＮＰとする。
【０１６１】
そしてＣＰＵ１０は、図１８に示すように、現時点処理対象フレーム画像内で剣状画像描画幅ＮＷの中心を延長線ＫＬＰとして現時点青色光位置ＢＰから剣状画像描画軸先端位置ＮＰまでの剣状画像描画幅ＮＷで形成される四角形状の領域を剣状画像４６の描画領域（以下、これを剣状画像描画領域と呼ぶ）ＮＤＡとする。
【０１６２】
この状態でＣＰＵ１０は、図１９に示すように、現時点処理対象フレーム画像内で剣状画像描画領域ＮＤＡを剣状画像描画長さＮＬ方向及び剣状画像描画幅ＮＷ方向にそれぞれ色パレット５０の有する色情報の数に応じて格子状に分割する。
【０１６３】
またＣＰＵ１０は、剣状画像描画領域ＮＤＡを分割して得た各領域（以下、これを剣状画像描画用分割領域と呼ぶ）ＮＤＡ０、……、ＮＤＡＭのうち指示器具３０における青色発光部３２の端面中心部に位置する剣状画像描画用分割領域ＮＤＡ０に色識別番号０（白色を表す）を割り当てると共に剣状画像描画幅ＮＷ方向の最も外側の剣状画像描画用分割領域ＮＤＡＭ１１乃至ＮＤＡＭに色識別番号Ｍ（透明色を表す）を割り当てるように、これら全ての剣状画像描画用分割領域ＮＤＡ０、……、ＮＤＡＭに対して青色発光部３２の端面側（すなわち現時点青色光位置ＢＰ側）から剣状画像４６の表す剣の先端側（すなわち剣状画像描画軸先端位置ＮＰ側）にかけて色識別番号０乃至Ｍを線形に割り当てると共に、剣状画像４６の表す剣の中心軸（すなわち延長線ＫＬＰ）から剣状画像描画幅ＮＷの最も外側にかけて色識別番号０乃至Ｍを線形に割り当てる。
【０１６４】
そしてＣＰＵ１０は、現時点処理対象フレーム画像において各剣状画像描画用分割領域ＮＤＡ０、……、ＮＤＡＭ内のピクセルの本来の色（すなわち撮像時の色）をそれぞれ各剣状画像描画用分割領域ＮＤＡ０、……、ＮＤＡＭに割り当てた色識別番号０乃至Ｍに対応する色情報の色に変更する。
【０１６５】
これによりＣＰＵ１０は、現時点処理対象フレーム画像内に青色発光部３２の端面側から剣の先端側までと剣の中心軸から当該剣の幅の外側にかけて順次色を変化させて先端部分を細く絞った剣を表す剣状画像４６を描画してステップＳＰ３０６に移る。
【０１６６】
ステップＳＰ３０６においてＣＰＵ１０は、剣状画像４６を描画した現時点処理対象フレーム画像でなる剣状画像付加フレーム画像に相当する剣状画像付加フレーム画像データＤ１０ＡをエンコードフィルタＰ４に従いバス２１を介してＭＰＥＧ２コーデック１９に送出すると共に、表示フィルタＰ５に従いバス２１及び表示用インターフェース１６を順次介して表示部２５に送出してステップＳＰ３０７に移る。
【０１６７】
ステップＳＰ３０７においてＣＰＵ１０は、この時点の青色光及び赤色光検出フレーム数が上限値であるか否かを判断する。
【０１６８】
このステップＳＰ３０７において肯定結果が得られると、このことは剣状画像４６の描画を開始してから剣状画像描画長さＮＬが青色光及び赤色光検出フレーム数に比例して順次長くなり当該青色光及び赤色光検出フレーム数の上限値に応じた剣状画像４６の本来の長さ（それまでで最も長い）に相当する描画が完了したことにより、あたかも指示器具３０の青色発光部３２側で剣状画像４６が順次伸びながらその生成が完了したことを表しており、このときＣＰＵ１０はステップＳＰ３０８に移る。
【０１６９】
ここでＣＰＵ１０は、剣状画像４６の本来の長さに相当する描画が完了した際、当該描画の完了を表現する剣状画像用効果音としての剣生成音を再生するようになされている。
【０１７０】
そしてＣＰＵ１０は、剣生成音の再生に剣完成フラグを利用しており、当該剣完成フラグの設定内容を確認した際にその剣完成フラグを０に設定していると、剣生成音を再生し得ると判断すると共に、当該剣完成フラグの設定内容を確認した際にその剣完成フラグを１に設定していると、剣生成音を再生しないと判断し、剣状画像４６の描画を一旦終了してから当該剣状画像４６の描画を再び開始してその生成が完了するまでの間は剣完成フラグを０に設定している。
【０１７１】
従ってステップＳＰ３０８においてＣＰＵ１０は、この時点の剣完成フラグの設定内容を確認し、当該剣完成フラグの設定が０であるか否かを判断する。
【０１７２】
このステップＳＰ３０８おいて肯定結果が得られると、このことはこの時点で剣状画像４６の描画が完了することを待ち受ける状態として剣完成フラグが０に設定されていることを表しており、このときＣＰＵ１０は剣生成音を再生し得ると判断してステップＳＰ３０９に移る。
【０１７３】
ステップＳＰ３０９においてＣＰＵ１０は、剣完成フラグの設定を０から１に変更してステップＳＰ３１０に移る。
【０１７４】
そしてステップＳＰ３１０においてＣＰＵ１０は、ハードディスクドライブ１３のハードディスクから剣状画像用効果音データＤ１１として剣生成音に相当する剣生成音データを読み出し、当該読み出した剣生成音データをエンコードフィルタＰ４に従いバス２１を介してオーディオエンコーダ２０に送出すると共に、その剣生成音データをバス２１及びスピーカインターフェース１４を順次介してスピーカ２７に送出してステップＳＰ６に移る。
【０１７５】
ところで上述したステップＳＰ３０８において否定結果が得られると、すでに剣状画像４６の生成の完了に応じて剣生成音を再生したことにより剣完成フラグを１に設定していることを表しており、このときＣＰＵ１０はステップＳＰ３１１に移る。
【０１７６】
ステップＳＰ３１１においてＣＰＵ１０は、現時点処理対象フレーム画像及び現時点よりも時間的に過去の当該現時点処理対象フレーム画像と連続する所定フレーム分（例えば３フレーム）のフレーム画像内でそれぞれ検出した現時点青色光位置ＢＰをＲＡＭ１１から読み出し、当該読み出した現時点青色光位置ＢＰと、これら現時点青色光位置ＢＰの検出に用いた複数のフレーム画像の数（例えば４枚）と、動画像を構成するフレーム画像のフレーム周期とに基づいて当該複数のフレーム画像における青色光の移動速度を検出する。
【０１７７】
そしてＣＰＵ１０は、その複数のフレーム画像における青色光の移動速度のうち何れか一つがこれを除く他の移動速度よりも速く、かつ全ての移動速度が予め設定された所定の一定速度以上であるか否かを判断する。
【０１７８】
このステップＳＰ３１１において肯定結果が得られると、このことは剣状画像４６を描画した複数のフレーム画像において青色光が急激に移動したことにより撮像中のユーザによりあたかも剣を何かに切りつけたように指示器具３０が急激に動かされた（すなわち振りまわされた）ことを表しており、このときＣＰＵ１０はステップＳＰ３１２に移る。
【０１７９】
ステップＳＰ３１２においてＣＰＵ１０は、ハードディスクドライブ１３のハードディスクから剣状画像用効果音データＤ１１として剣状画像４６（すなわち剣）が振りまわされた状態を表現する剣振り効果音に相当する剣振り効果音データを読み出し、当該読み出した剣振り効果音データをエンコードフィルタＰ４に従いバス２１を介してオーディオエンコーダ２０に送出すると共に、その剣振り効果音データをバス２１及びスピーカインターフェース１４を順次介してスピーカ２７に送出してステップＳＰ６に移る。
【０１８０】
また上述したステップＳＰ３０７おいて否定結果が得られると、このことは剣状画像４６の描画を開始してから未だ青色光及び赤色光検出フレーム数の上限値に応じた剣状画像４６の本来の長さに相当する描画が完了していないことにより、あたかも指示器具３０の青色発光部３２側で剣状画像４６が生成されている途中であることを表しており、このときＣＰＵ１０はステップＳＰ６に移る。
【０１８１】
さらに上述したステップＳＰ３１１において否定結果が得られると、このことは剣状画像４６を描画した複数のフレーム画像において青色光が比較的ゆっくりと移動したことにより撮像中のユーザにより剣を何かに切りつけるような動きとは異なり指示器具３０も比較的ゆっくりと動かされたことを表しており、このときＣＰＵ１０はステップＳＰ６に移る。
【０１８２】
これに加えて上述したステップＳＰ３０２において否定結果が得られると、このことはこの時点でユーザにより剣状画像４６の付加が指示されず又はその指示が途中で中止されたことにより指示器具３０の青色発光部３２のみが発光し、又は青色発光部３２及び赤色発光部３３の両方が消灯しているために現時点処理対象フレーム画像内で青色光のみを検出し、又は青色光及び赤色光の両方を検出することができなかったことを表しており、このときＣＰＵ１０はステップＳＰ３１３に移る。
【０１８３】
ステップＳＰ３１３においてＣＰＵ１０は、現時点処理対象フレーム画像内で青色光及び赤色光の両方を検出することができなかったことにより青色光及び赤色光検出フレーム数（実際には内部の青色光及び赤色光検出用のカウンタ）を１だけデクリメントしてステップＳＰ３１４に移る。
【０１８４】
ここでＣＰＵ１０は、上述したように青色光及び赤色光検出フレーム数を剣状画像４６の描画の際に長さの決定や剣生成音の生成に用いるものの、現時点処理対象フレーム画像内で青色光及び赤色光の両方を検出することができなかったときには当該青色光及び赤色光検出フレーム数を１だけデクリメントしている。
【０１８５】
このためＣＰＵ１０は、例えば撮像中のユーザの動作により指示器具３０の青色発光部３２及び又は赤色発光部３３が一時的に体の陰になって青色光及び又は赤色光を検出することができない場合でも、再び青色光及び赤色光を検出した際に青色光及び赤色光検出フレーム数に従って、検出が途切れる前よりもわずかに短い剣状画像４６を描画することができ、当該検出が途切れた前後で剣状画像４６の長さが大幅に異なり違和感が生じることを防止している。
【０１８６】
ステップＳＰ３１４においてＣＰＵ１０は、青色光及び赤色光検出フレーム数が０であるか否かを判断する。
【０１８７】
このステップＳＰ３１４において肯定結果が得られると、このことは現時点処理対象フレーム画像内で青色光及び赤色光を検出することができなかった状態が所定フレーム数分連続したことにより青色光及び赤色光検出フレーム数が０となり、ユーザにより剣状画像４６の付加が指示されていないことを表しており、このときＣＰＵ１０はステップＳＰ３１５に移る。
【０１８８】
ステップＳＰ３１５においてＣＰＵ１０は、剣完成フラグの設定が１であるか否かを判断する。
【０１８９】
このステップＳＰ３１５において肯定結果が得られると、このことはすでに青色光及び赤色光検出フレーム数の上限値に応じた剣状画像４６の本来の長さに相当する描画が完了し、剣生成音も再生し終えたことにより、剣完成フラグの設定が１であることを表しており、このときＣＰＵ１０はステップＳＰ３１６に移る。
【０１９０】
ステップＳＰ３１６においてＣＰＵ１０は、剣完成フラグの設定内容を１から０に変更することにより再び剣状画像４６の描画が完了することを待ち受ける状態としてステップＳＰ３１７に移る。
【０１９１】
ステップＳＰ３１７においてＣＰＵ１０は、このときデジタルビデオカメラ１７から取り込んでいる１フレーム分のフレーム画像データＤ１ＡをそのままエンコードフィルタＰ４に従いバス２１を介してＭＰＥＧ２コーデック１９に送出すると共に、表示フィルタＰ５に従いバス２１及び表示用インターフェース１６を順次介して表示部２５に送出してステップＳＰ６に移る。
【０１９２】
ところで上述したステップＳＰ３１４において否定結果が得られると、このことは現時点処理対象フレーム画像内で青色光及び赤色光を検出することができなかったものの、未だ青色光及び赤色光検出フレーム数が０には到達していないことにより、撮像中のユーザによる剣状画像４６の付加の指示が終了した又は撮像中のユーザの動作により指示器具３０が一時的にユーザの体の陰になって青色光及び赤色光を検出することができなかったことを表しており、このときＣＰＵ１０はステップＳＰ３１７に移る。
【０１９３】
また上述したステップＳＰ３１５において否定結果が得られると、このことは剣状画像４６の描画を開始してから青色光及び赤色光検出フレーム数の上限値に応じた剣状画像４６の本来の長さに相当する描画が完了する前に（すなわち剣生成音を再生する前に）撮像中のユーザによる剣状画像４６の付加の指示が終了した又は撮像中のユーザの動作により指示器具３０が一時的にユーザの体の陰になって青色光及び赤色光を検出することができなかったことにより青色光及び赤色光検出フレーム数が０に到達したことを表しており、このときＣＰＵ１０はステップＳＰ３１７に移る。
【０１９４】
以上の構成において、このパーソナルコンピュータ１は、青色発光部３２を有する指示器具３０を手に持ったユーザをデジタルビデオカメラ１７によって撮像し、この結果得られる動画像データＤ１に基づく動画像内でその青色発光部３２が発光して得られる青色光の移動の有無及び移動方向とを検出する。
【０１９５】
そしてパーソナルコンピュータ１は、撮像中のユーザによりフレーム画像に対して球状画像４０の付加を指示するために行われた特定動作に応じた青色光の特定の軌跡の移動及び移動方向を検出すると、当該動画像データＤ１に基づく動画像内の青色光の移動方向側に球状画像４０を付加するようにした。
【０１９６】
従ってこのパーソナルコンピュータ１は、ユーザの特定動作に応じて青色光が移動した任意のタイミングで動画像内の当該特定動作に応じた青色光の移動方向側の任意の領域に画像特殊効果として球状画像４０を付加することができる。
【０１９７】
またパーソナルコンピュータ１は、動画像内に画像特殊効果として付加した球状画像４０をユーザの特定動作に応じた青色光の移動速度とほぼ同じ移動速度で変位させるため、当該動画像内にユーザの特定動作に応じた青色光の任意の移動速度で変位させて球状画像４０を付加することができる。
【０１９８】
さらにこのパーソナルコンピュータ１は、動画像内に画像特殊効果として球状画像４０を付加する際、その球状画像４０の状態（この場合は球状画像４０の出現）を表現する音声特殊効果として球状画像用効果音も合わせて付加するようにした。
【０１９９】
このためパーソナルコンピュータ１は、動画像内の任意の領域に任意のタイミングで画像特殊効果としての球状画像４０を付加すると共に、これに合わせて動画像に音声特殊効果としての球状画像用効果音も合わせて付加することで、臨場感あふれるエフェクト付加映像を容易に生成することができる。
【０２００】
これに加えてこのパーソナルコンピュータ１は、動画像内に画像特殊効果を付加する際に、ユーザによる画像特殊効果の設定変更を指示する特定動作に応じた青色光の特定の軌跡の移動及び移動方向を検出すると、これに応じて動画像内に付加する画像特殊効果の種類を変更するようにした。
【０２０１】
従ってこのパーソナルコンピュータ１は、例えばたった一人でライブ配信を実行し、自分を撮像対象とするユーザに対しては、ライブ配信中に操作部２６の操作のためにデジタルビデオカメラ１７の前での演技を中断することや、その操作部２６の操作（すなわち演技中の煩わしい操作）自体から開放し、デジタルビデオカメラ１７の前での演技に集中させて続行させながら当該ユーザの特定動作で動画像内に付加する画像特殊効果の種類を容易に変更することができ、かくしてパーソナルコンピュータ１の操作性を向上させることができる。
【０２０２】
以上の構成によれば、青色発光部３２を有する指示器具３０を手に持ったユーザをデジタルビデオカメラ１７によって撮像することにより得られる動画像内で当該ユーザの特定動作に応じた青色光の特定の軌跡の移動及び移動方向を検出すると、その動画像内の青色光の移動方向側に画像特殊効果としての球状画像４０を付加するようにしたことにより、ユーザの特定動作に応じて青色光が移動した任意のタイミングで動画像内の当該特定動作に応じた青色光の移動方向側の任意の領域に画像特殊効果として球状画像４０を付加することができ、かくして動画像に対して思い通りに画像特殊効果を付加し得るパーソナルコンピュータを実現することができる。
【０２０３】
なお上述の実施の形態においては、動画像内に球状画像４０及び剣状画像４６を別々に付加するようにした場合について述べたが、本発明はこれに限らず、動画像内に球状画像４０及び剣状画像４６を合わせて付加し、例えば剣状画像４６を付加した状態で青色光の移動及び移動方向を検出したとき、あたかも剣状画像４６から球状画像４０が放出されるようにし、又はこのように剣状画像４６から放射される球状画像４０が動画像内で所定の撮像対象に当たったときにその撮像対象が例えば火で燃えるような画像特殊効果を付加するようにしても良い。因みに球状画像４０が動画像内で所定の撮像対象に当たったか否かを検出するには、例えば事前に撮像対象の背景のみを撮像しておき、その撮像結果に撮像対象を撮像して得られた動画像を重ねて新たな動画像を生成することにより当該新たな撮像画像内で撮像対象を容易に識別するようにすれば良い。
【０２０４】
また上述の実施の形態においては、フレーム画像内に球状画像４０及び剣状画像４６を描画する際、各球状画像描画用分割領域ＳＤＡ０、……、ＳＤＡＭ及び剣状画像描画用分割領域ＮＤＡ０、……、ＮＤＡＭにそれぞれ任意の法則で色識別番号０乃至Ｍを線形に割り当てるようにした場合について述べたが、本発明はこれに限らず、フレーム画像内に球状画像４０及び剣状画像４６を描画する際、各球状画像描画用分割領域ＳＤＡ０、……、ＳＤＡＭ及び剣状画像描画用分割領域ＮＤＡ０、……、ＮＤＡＭにそれぞれ色識別番号０乃至Ｍを基本的には線形でわずかに無作為に攪拌して割り当てるようにしても良く、このようにすれば動画像内に色合いが揺らいだ感じの球状画像及び剣状画像を付加することができ、当該球状画像の表すエネルギー体及び剣状画像の表す光の剣をよりリアルなものにすることができる。
【０２０５】
さらに上述の実施の形態においては、動画像内に球状画像４０を大きさを特には変えずに付加するようにした場合について述べたが、本発明はこれに限らず、撮像対象となるユーザとデジタルビデオカメラ１７との距離等に応じて青色光の大きさが変化することを利用して当該青色光の大きさに合わせて球状画像の大きさも変化させて動画像内に付加するようにしても良く、このようにすれば球状画像４０をユーザの立ち位置や動作に応じてよりリアルに描くことができる。
【０２０６】
さらに上述の実施の形態においては、１台のデジタルビデオカメラ１７によってユーザを撮像することにより得られた２次元動画像に画像特殊効果として球状画像４０を付加するようにした場合について述べたが、本発明はこれに限らず、撮像対象となるユーザを例えば２台のデジタルビデオカメラで撮像して生成された３次元動画像を画像特殊効果としての球状画像４０を付加するために利用し、３次元測定器により３次元動画像から検出した青色光に対する奥行きの情報を用いて当該３次元動画像に画像特殊効果として球状画像を付加するようにしても良い。このようにすれば２次元動画像に球状画像を２次元平面上で変位させて付加するだけでなく、３次元動画像に球状画像を３次元的に変位させて付加することができ、かくしてより臨場感あふれるエフェクト付加映像を容易に生成することができる。
【０２０７】
さらに上述の実施の形態においては、動画像に球状画像４０及び剣状画像４６の状態に合わせて球状画像用効果音及び剣状画像用効果音を付加するようにした場合について述べたが、本発明はこれに限らず、動画像に青色光の大きさや移動速度等に応じて音量を変化させた球状画像用効果音及び剣状画像効果音を付加するようにしても良い。
【０２０８】
さらに上述の実施の形態においては、動画像内で青色光の一旦は上方向に移動した後、引き続き下方向に移動する連続した移動を検出すると、画像特殊効果の設定内容を変更するようにした場合について述べたが、本発明はこれに限らず、動画像内で青色光の横方向への移動、斜め方向への移動、円や四角等の所定の形状を描くような移動等のように、この他種々の移動を検出すると、画像特殊効果の設定内容を変更するようにしても良い。因みに、このような青色光の各種移動は球状画像のような種々の画像特殊効果の付加にも利用することができる。
【０２０９】
さらに上述の実施の形態においては、動画像内でユーザの特定動作に応じた青色光の移動の有無及び移動方向を検出した際に当該動画像内の青色光の移動方向側に画像特殊効果を付加するようにした場合について述べたが、本発明はこれに限らず、特定動作に応じた移動とは関係せずに所定フレーム数分のフレーム画像内で青色光の移動の有無及び移動方向を検出した際に動画像内の青色光の移動方向側に画像特殊効果を付加するようにしても良い。このようにすれば特定動作にとらわれることなく、任意のタイミングで動画像内の任意の領域に画像特殊効果を付加することができ、動画像に対してさらに思い通りに画像特殊効果を付加することができる。
【０２１０】
さらに上述の実施の形態においては、ライブ配信用の動画像に画像特殊効果を付加するようにした場合について述べたが、本発明はこれに限らず、動画像をフレーム画像単位で順次処理してリアルタイム性を損なわずに画像特殊効果を付加し得ることにより、テレビジョン電話、テレビジョン会議システム及びビデオチャット等のビジュアルコミュニケーション用の動画像や、ライブハウス、コンサート会場等で利用されるビジュアルジョッキー用の動画像に画像特殊効果を付加するようにしても良い。
【０２１１】
さらに上述の実施の形態においては、画像特殊効果設定変更検出処理ルーチンＳＲＴ１００及び球状画像付加処理ルーチンＳＲＴ２００においてそれぞれ同一の現時点処理対象フレーム画像内で青色光及びその位置を検出すると共に、当該青色光の移動量を検出する等のように重複した処理を実行するようにした場合について述べたが、本発明はこれに限らず、画像特殊効果設定変更検出処理ルーチンＳＲＴ１００及び球状画像付加処理ルーチンＳＲＴ２００において重複する処理については例えば画像特殊効果設定変更検出処理ルーチンＳＲＴ１００においてのみ実効し、球状画像付加処理ルーチンＳＲＴ２００においてはその重複する処理の結果を共有して利用するようにしても良く、このようにすればＣＰＵ１０の処理負荷を大幅に低減させることができる。
【０２１２】
さらに上述の実施の形態においては、本発明による情報処理装置を図１乃至図１９について上述したパーソナルコンピュータ１に適用するようにした場合について述べたが、本発明はこれに限らず、画像処理装置や携帯電話機、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｃｅ ）等のように、この他種々の情報処理装置に広く適用することができる。
【０２１３】
さらに上述の実施の形態においては、本発明による情報処理プログラムを図１乃至図１９について上述したライブ配信処理プログラムに適用するようにした場合について述べたが、本発明はこれに限らず、ライブ配信処理手順ＲＴ１内の少なくとも球状画像付加処理ルーチンＳＲＴ２００を実行する特殊効果付加処理プログラムＰ２や、当該特殊効果付加処理プログラムＰ２及びダイアログアプリケーションプログラムＰ１を適用するようにしても良い。
【０２１４】
さらに上述の実施の形態においては、ハードディスクドライブ１３のハードディスクに予め記録されたライブ配信処理プログラムに従って図２、図７及び図８、図１０及び図１１、図１５及び図１６について上述したライブ配信処理手順ＲＴ１を実行するようにした場合について述べたが、本発明はこれに限らず、ライブ配信処理プログラムをローカルエリアネットワークやインターネット、ディジタル衛星放送等の有線及び無線通信媒体を利用してパーソナルコンピュータ１にインストールすることによりライブ配信処理手順ＲＴ１を実行するようにしても良いし、当該ライブ配信処理プログラムが格納されたプログラム格納媒体をパーソナルコンピュータ１にインストールすることによりライブ配信処理手順ＲＴ１を実行するようにしても良い。
【０２１５】
因みに上述したライブ配信処理手順ＲＴ１を実行するためのライブ配信処理プログラムをパーソナルコンピュータ１にインストールして実行可能な状態にするためのプログラム格納媒体としては、例えばフレキシブルディスク、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）等のパッケージメディアのみならず、ライブ配信処理プログラムが一時的もしくは永続的に格納される半導体メモリや磁気ディスク等で実現しても良い。またこれらプログラム格納媒体にライブ配信処理プログラムを格納する手段としては、ローカルエリアネットワークやインターネット、ディジタル衛星放送等の有線及び無線通信媒体を利用しても良く、ルータやモデム等の各種通信インターフェースを介して格納するようにしても良い。
【０２１６】
さらに上述の実施の形態においては、動画像データを取り込む動画像取込手段として、図１乃至図１９について上述したデジタルビデオカメラ１７を適用するようにした場合について述べたが、本発明はこれに限らず、外部のデジタルビデオカメラで特定物が撮像されることにより得られた動画像データを取り込むインターフェース回路等のように、この他種々の動画像取込手段を広く適用することができる。
【０２１７】
さらに上述の実施の形態においては、動画像データに基づく動画像内の特定物として、図１乃至図１９について上述した指示器具３０の青色発光部３２の発光によって得られる青色光を適用するようにした場合について述べたが、本発明はこれに限らず、動画像内で背景や他の撮像対象とは区別して移動の有無及び移動方向を検出することができれば、他の特定色の光や、特定輝度の光、また人体の手、頭、足、目、口等の特定部分、指示器具３０自体や、他の物理的な部材等のように、この他種々の特定物を広く適用することができる。
【０２１８】
さらに上述の実施の形態においては、動画像データに基づく動画像内の特定物の移動の有無及び移動方向を検出する検出手段として、図１乃至図１９について上述したＣＰＵ１０を適用するようにした場合について述べたが、本発明はこれに限らず、動画像に対して画像処理を施して特定物の移動の有無及び移動方向を検出する画像処理回路や、マイクロプロセッサ等のように、この他種々の検出手段を広く適用することができる。
【０２１９】
さらに上述の実施の形態においては、検出手段によって得られた検出結果に基づいて、特定物が移動した際に動画像内の特定物の移動方向側に所定の画像特殊効果を付加する画像特殊効果付加手段として、図１乃至図１９について上述したＣＰＵ１０を適用するようにした場合について述べたが、本発明はこれに限らず、動画像内に所定の画像特殊効果を描画して付加する画像処理回路や、動画像内に所定の画像特殊効果を重畳又は演算処理によって付加する画像処理回路等のように、この他種々の画像特殊効果付加手段を広く適用することができる。
【０２２０】
さらに上述の実施の形態においては、検出手段によって得られた検出結果に基づいて、特定物が移動した際に動画像内の特定物の移動方向側に付加する所定の画像特殊効果として、図１乃至図１９について上述したエネルギー体を想起させるように球状画像４０を適用するようにした場合について述べたが、本発明はこれに限らず、種々の色で描画された剣状画像や、動画像内の特定物の移動方向側に変位させて付加する所定形状の火の玉、スパーク体、モザイク体、ハート及び動物やこれらの分身、動画像内の特定部分の移動方向側を適宜固定領域として付加する火炎、ノイズ、反転、白黒、モザイク及びスパーク、またこれらの複合体等のように、この他種々の画像特殊効果を広く適用することができる。
【０２２１】
さらに上述の実施の形態においては、検出手段によって得られた検出結果に基づいて、特定物が特定の軌跡で移動したか否かを判断する判断手段として、図１乃至図１９について上述したＣＰＵ１０を適用するようにした場合について述べたが、本発明はこれに限らず、画像処理回路やマイクロプロセッサ等のように、この他種々の判断手段を広く適用することができる。
【０２２２】
さらに上述の実施の形態においては、動画像データに基づく動画像内の特定物の移動速度を検出する移動速度検出手段として、図１乃至図１９について上述したＣＰＵ１０を適用するようにした場合について述べたが、本発明はこれに限らず、特定物の移動速度を検出するマイクロプロセッサ等のように、この他種々の移動速度検出手段を広く適用することができる。
【０２２３】
さらに上述の実施の形態においては、検出手段によって得られた検出結果に基づいて、特定物が移動した際に、動画像内に付加される画像特殊効果の状態を表現する所定の音声特殊効果を当該動画像に付加する音声特殊効果付加手段として、図１乃至図１９について上述したＣＰＵ１０を適用するようにした場合について述べたが、本発明はこれに限らず、マイクロプロセッサ等のように、この他種々の音声特殊効果付加手段を広く適用することができる。
【０２２４】
【発明の効果】
上述のように本発明によれば、動画像取込手段によって動画像データを取り込みながら検出手段により当該動画像データに基づく動画像内の特定物の移動の有無及び移動方向を検出し、その検出結果に基づいて、画像特殊効果付加手段により動画像内の特定物が移動した際に当該動画像内の特定物の移動方向側に所定の画像特殊効果を付加するようにしたことにより、動画像内で特定物の移動した任意のタイミングで当該特定物の移動方向側の任意の領域に画像特殊効果を容易に付加することができ、かくして動画像に対して思い通りに画像特殊効果を付加し得る情報処理装置を実現することができる。
【図面の簡単な説明】
【図１】本発明によるパーソナルコンピュータの回路構成の一実施の形態を示すブロック図である。
【図２】ライブ配信処理手順を示すフローチャートである。
【図３】ライブ配信処理プログラムを構成する個々のプログラムに従った処理の説明に供する略線図である。
【図４】指示器具の構成を示す略線的斜視図である。
【図５】画像特殊効果として球状画像を付加した動画像の説明に供する略線図である。
【図６】画像特殊効果として剣状画像を付加した動画像の説明に供する略線図である。
【図７】画像特殊効果設定変更検出処理ルーチン（１）を示すフローチャートである。
【図８】画像特殊効果設定変更検出処理ルーチン（２）を示すフローチャートである。
【図９】現時点移動方向の判断の説明に供する略線図である。
【図１０】球状画像付加処理ルーチン（１）を示すフローチャートである。
【図１１】球状画像付加処理ルーチン（２）を示すフローチャートである。
【図１２】現時点移動方向の変化の検出の説明に供する略線図である。
【図１３】色パレットの構成を示す略線図である。
【図１４】球状画像の描画の説明に供する略線図である。
【図１５】剣状画像付加処理ルーチン（１）を示すフローチャートである。
【図１６】剣状画像付加処理ルーチン（２）を示すフローチャートである。
【図１７】剣状画像の長さの決定の説明に供する略線図である。
【図１８】剣状画像描画領域の決定の説明に供する略線図である。
【図１９】剣状画像の描画の説明に供する略線図である。
【符号の説明】
１……パーソナルコンピュータ、１０……ＣＰＵ、１３……ハードディスクドライブ、１７……デジタルビデオカメラ、３０……指示器具、３２……青色発光部、３３……赤色発光部、４０……球状画像、４６……剣状画像、Ｄ１……動画像データ、Ｄ１Ａ……フレーム画像データ、Ｄ７Ａ……球状画像付加フレーム画像データ、Ｄ６……球状画像用効果音データ、Ｄ１０Ａ……剣状画像付加フレーム画像データ、Ｄ１１……剣状画像用効果音データ、ＲＴ１……特殊効果付加処理プログラム、ＲＴ１……ライブ配信処理手順、ＳＲＴ１００……画像特殊効果設定変更検出処理ルーチン、ＳＲＴ２００……球状画像付加処理ルーチン、ＳＲＴ３００……剣状画像付加処理ルーチン。
Claims (10)
- 動画像データを取り込む動画像取込手段と、
上記動画像データに基づく動画像内の特定物の移動の有無及び移動方向を検出する検出手段と、
上記検出手段によって得られた検出結果に基づいて、上記特定物が移動した際に上記動画像内の上記特定物の上記移動方向側に所定の画像特殊効果を付加する画像特殊効果付加手段と
を具えることを特徴とする情報処理装置。 - 上記検出手段によって得られた上記検出結果に基づいて、上記特定物が特定の軌跡で移動したか否かを判断する判断手段
を具え、
上記画像特殊効果付加手段は、
上記判断手段によって上記特定物が上記特定の軌跡で移動したと判断された際に上記動画像内の上記特定物の上記特定の軌跡の上記移動方向側に上記画像特殊効果を付加する
ことを特徴とする請求項１に記載の情報処理装置。 - 上記動画像データに基づく上記動画像内の上記特定物の移動速度を検出する移動速度検出手段
を具え、
上記画像特殊効果付加手段は、
上記検出手段によって得られた上記検出結果に基づいて、上記特定物が移動した際に上記動画像内の上記特定物の上記移動方向側に上記画像特殊効果を、上記移動速度検出手段によって検出された上記移動速度で変位させて付加する
ことを特徴とする請求項１に記載の情報処理装置。 - 上記検出手段によって得られた検出結果に基づいて、上記特定物が移動した際に、上記動画像内に付加される上記画像特殊効果の状態を表現する所定の音声特殊効果を上記動画像に付加する音声特殊効果付加手段
を具えることを特徴とする請求項１に記載の情報処理装置。 - 上記検出手段は、
上記動画像データに基づく上記動画像内の上記特定物として特定色の光の移動の有無及び上記移動方向を検出する
ことを特徴とする請求項１に記載の情報処理装置。 - 上記検出手段は、
上記動画像データに基づく上記動画像内の上記特定物として特定輝度の光の移動の有無及び上記移動方向を検出する
ことを特徴とする請求項１に記載の情報処理装置。 - 上記検出手段は、
上記動画像データに基づく上記動画像内の上記特定物として人体の特定部分の移動の有無及び上記移動方向を検出する
ことを特徴とする請求項１に記載の情報処理装置。 - 動画像データを取り込む動画像取込ステップと、
上記動画像データに基づく動画像内の特定物の移動の有無及び移動方向を検出する検出ステップと、
上記検出ステップによって得られた検出結果に基づいて、上記特定物が移動した際に上記動画像内の上記特定物の上記移動方向側に所定の画像特殊効果を付加する画像特殊効果付加ステップと
を具えることを特徴とする情報処理方法。 - コンピュータに、
動画像データを取り込む動画像取込ステップと、
上記動画像データに基づく動画像内の特定物の移動の有無及び移動方向を検出する検出ステップと、
上記検出ステップによって得られた検出結果に基づいて、上記特定物が移動した際に上記動画像内の上記特定物の上記移動方向側に所定の画像特殊効果を付加する画像特殊効果付加ステップと
を実行させるための情報処理プログラム。 - 動画像データを取り込む動画像取込ステップと、
上記動画像データに基づく動画像内の特定物の移動の有無及び移動方向を検出する検出ステップと、
上記検出ステップによって得られた検出結果に基づいて、上記特定物が移動した際に上記動画像内の上記特定物の上記移動方向側に所定の画像特殊効果を付加する画像特殊効果付加ステップと
を具えることを特徴とする情報処理プログラムを情報処理装置に実行させる情報処理プログラム格納媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002269196A JP2004112112A (ja) | 2002-09-13 | 2002-09-13 | 情報処理装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002269196A JP2004112112A (ja) | 2002-09-13 | 2002-09-13 | 情報処理装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004112112A true JP2004112112A (ja) | 2004-04-08 |
Family
ID=32267212
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002269196A Pending JP2004112112A (ja) | 2002-09-13 | 2002-09-13 | 情報処理装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004112112A (ja) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005333309A (ja) * | 2004-05-19 | 2005-12-02 | Satoru Tokuhisa | 情報処理装置および情報処理方法、情報処理システム、並びに、プログラム |
| CN104270673A (zh) * | 2014-09-15 | 2015-01-07 | 深圳市兆通影视科技有限公司 | 文艺节目虚拟图文实时处理方法及系统 |
| JP2019009754A (ja) * | 2017-06-21 | 2019-01-17 | メディアフロント カンパニー リミテッド | リアルタイム増強合成技術を用いた映像生成サーバ、映像生成システム及び方法 |
| WO2020211422A1 (zh) * | 2019-04-16 | 2020-10-22 | 北京字节跳动网络技术有限公司 | 视频处理方法、装置及设备 |
| CN112154658A (zh) * | 2018-05-29 | 2020-12-29 | 索尼公司 | 图像处理装置、图像处理方法和程序 |
| CN112419899A (zh) * | 2020-11-26 | 2021-02-26 | 北京三月雨文化传播有限责任公司 | 一种基于飞行时间技术的展厅交互方法和装置 |
| CN112530329A (zh) * | 2020-11-26 | 2021-03-19 | 北京三月雨文化传播有限责任公司 | 一种基于压力传感的展示互动方法和系统 |
| WO2021129385A1 (zh) * | 2019-12-26 | 2021-07-01 | 北京字节跳动网络技术有限公司 | 图像处理方法及装置 |
-
2002
- 2002-09-13 JP JP2002269196A patent/JP2004112112A/ja active Pending
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005333309A (ja) * | 2004-05-19 | 2005-12-02 | Satoru Tokuhisa | 情報処理装置および情報処理方法、情報処理システム、並びに、プログラム |
| CN104270673A (zh) * | 2014-09-15 | 2015-01-07 | 深圳市兆通影视科技有限公司 | 文艺节目虚拟图文实时处理方法及系统 |
| JP2019009754A (ja) * | 2017-06-21 | 2019-01-17 | メディアフロント カンパニー リミテッド | リアルタイム増強合成技術を用いた映像生成サーバ、映像生成システム及び方法 |
| CN112154658A (zh) * | 2018-05-29 | 2020-12-29 | 索尼公司 | 图像处理装置、图像处理方法和程序 |
| WO2020211422A1 (zh) * | 2019-04-16 | 2020-10-22 | 北京字节跳动网络技术有限公司 | 视频处理方法、装置及设备 |
| WO2021129385A1 (zh) * | 2019-12-26 | 2021-07-01 | 北京字节跳动网络技术有限公司 | 图像处理方法及装置 |
| GB2606904A (en) * | 2019-12-26 | 2022-11-23 | Beijing Bytedance Network Tech Co Ltd | Image processing method and apparatus |
| US11812180B2 (en) | 2019-12-26 | 2023-11-07 | Beijing Bytedance Network Technology Co., Ltd. | Image processing method and apparatus |
| GB2606904B (en) * | 2019-12-26 | 2024-03-13 | Beijing Bytedance Network Tech Co Ltd | Image processing method and apparatus |
| CN112419899A (zh) * | 2020-11-26 | 2021-02-26 | 北京三月雨文化传播有限责任公司 | 一种基于飞行时间技术的展厅交互方法和装置 |
| CN112530329A (zh) * | 2020-11-26 | 2021-03-19 | 北京三月雨文化传播有限责任公司 | 一种基于压力传感的展示互动方法和系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10440407B2 (en) | Adaptive control for immersive experience delivery | |
| EP3151548B1 (en) | Video recording method and device | |
| CN106792246B (zh) | 一种融合式虚拟场景互动的方法及系统 | |
| JP7407929B2 (ja) | 情報再生方法、装置、コンピュータ読み取り可能な記憶媒体及び電子機器 | |
| JP4719641B2 (ja) | 動画像データ提供方法、動画像データ提供方法のプログラム、動画像データ提供方法のプログラムを記録した記録媒体、動画像データ提供装置及び動画像データ提供システム。 | |
| TWI530157B (zh) | 多視角影像之顯示系統、方法及其非揮發性電腦可讀取紀錄媒體 | |
| CN112235585B (zh) | 一种虚拟场景的直播方法、装置及系统 | |
| US10965783B2 (en) | Multimedia information sharing method, related apparatus, and system | |
| CN106303555A (zh) | 一种基于混合现实的直播方法、装置和系统 | |
| JP6499324B2 (ja) | ビデオを再生するための方法、クライアント及びコンピュータ記憶媒体 | |
| TW202007142A (zh) | 視頻檔案的生成方法、裝置及儲存媒體 | |
| JP2014183379A (ja) | 情報処理装置、動画データのデータ構造、情報処理システム、動画再生プログラム、および、動画の再生方法。 | |
| JPWO2017169369A1 (ja) | 情報処理装置、情報処理方法、プログラム | |
| JP6628343B2 (ja) | 装置および関連する方法 | |
| WO2015151766A1 (ja) | 投影撮影システム、カラオケ装置及びシミュレーション装置 | |
| JP2004112112A (ja) | 情報処理装置 | |
| CN108418832A (zh) | 一种虚拟现实导购方法、系统及存储介质 | |
| CN108307197A (zh) | 虚拟现实视频数据的传输方法、播放方法及装置和系统 | |
| CN110730340B (zh) | 基于镜头变换的虚拟观众席展示方法、系统及存储介质 | |
| JP6220449B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
| CN109741464B (zh) | 用于显示实景的方法和装置 | |
| CN116761009A (zh) | 元宇宙全景直播场景下的视频播放方法、装置及直播系统 | |
| CN112166599A (zh) | 视频剪辑方法及终端设备 | |
| CN116962745A (zh) | 视频图像的混画方法、装置及直播系统 | |
| CN113194326A (zh) | 全景直播方法、装置、计算机设备及计算机可读存储介质 |