JP2012027417A - 録画装置及び録画プログラム - Google Patents

Abstract

【課題】 予め記録された映像を表示させながら、新たな映像を録画する録画装置において、違和感のない映像を提供する。
【解決手段】 本発明の録画装置は、表示手段の第１領域に、予め記録された第１映像情報を表示させるとともに、第１領域の左側または右側に位置する第２領域に、カメラから入力される第２映像情報を左右反転して表示させる映像再生処理と、第１映像情報に同期して記録された第１音声情報と、マイクロホンから入力される第２音声情報を再生させる音声再生処理と、第２映像情報と第２音声情報を、記録手段に記録する記録処理とを、同時に実行することを特徴としている。
【選択図】図６

Description

本発明は、予め記録された映像を表示させるとともに、表示された映像にあわせて新たな映像を録画することのできる録画装置及び録画プログラムに関するものである。

従来、自動演奏に合わせて歌唱を楽しむカラオケでは、二人で一緒に歌唱を楽しむデュエットが行われることがある。通常、実際に同席した相手と歌唱することとなるが、特許文献１、特許文献２に記載されるカラオケシステムでは、相手の歌唱音声を予め録音しておき、それを再生させることでその場に居合わせない相手であっても一緒にデュエットを楽しむことが開示されている。

特開２００１−４２８７８号公報 特開２００６−２０８９６１号公報

しかしながら、特許文献１、特許文献２に記載されるカラオケシステムでは、デュエットのために扱う情報は歌唱音声だけとなっている。相手の表情などを見ながら歌唱することが楽しみの一要因であるデュエットでは物足りなさを感じてしまう。また、振り付けを伴う楽曲では、デュエットする相手と一緒に振り付けを行うことで歌唱の楽しみは一層広がりを有することとなる。

そのため、歌唱音声のみならず、カメラで撮影した映像情報（動画）を利用するカラオケシステムも提案、実現されている。記録した歌唱音声と映像情報を歌唱相手に提示することで、歌唱音声のものよりもカラオケの楽しみは一層幅を有するものとなる。しかしながら、歌唱者に対する映像情報の提示の手法、並びに、カメラによる撮影の手法については特段の考慮はなされておらず、提示の仕方、撮影の仕方によっては、違和感を伴う映像となってしまうことが問題視されている。

本発明は、カラオケのデュエットの撮影状況を鑑みた録画装置及び録画プログラムを提案するものである。具体的には、予め記録された映像を表示させるとともに、表示された映像に合わせて新たな映像を録画する際、提示される映像、並びに、録画される映像の違和感をできるだけ抑えることが可能となる録画装置及び録画プログラムを提案するものである。

上記課題を解決するため、本発明に係る録画装置は、映像再生処理と、音声再生処理と、記録処理とを同時に実行する制御手段を備え、前記映像再生処理は、表示手段の第１領域に、予め記録された第１映像情報を表示させるとともに、前記第１領域の左側または右側に位置する第２領域に、カメラから入力される第２映像情報を左右反転して表示させ、前記音声再生処理は、前記第１映像情報に同期して記録された第１音声情報と、マイクロホンから入力される第２音声情報を再生させ、前記記録処理は、前記第２映像情報と前記第２音声情報を、記録手段に記録することを特徴としている。

さらに、本発明に係る録画装置において、前記映像再生処理は、前記第１映像情報を左
右反転させて表示させることを特徴としている。

さらに、本発明に係る録画装置において、前記映像再生処理は、前記第１映像情報に対応付けられた左右どちらかの方向を検出し、検出した方向が前記第２領域を向くように、前記第１映像情報を左右反転、あるいは、左右反転させないで表示させることを特徴としている。

さらに、本発明に係る録画装置において、前記映像再生処理は、前記第１映像情報に対応付けられた左右どちらかの方向を検出し、検出した方向に前記第２領域が位置するように、前記第１領域と前記第２領域を配置することを特徴としている。

さらに、本発明に係る録画装置において、前記制御手段は、前記映像再生処理における前記第１領域と前記第２領域の左右の位置を変更するとともに、前記第１映像情報と、前記記録手段に記録された前記第２映像情報を、前記映像再生処理の表示状態とは左右反転して再生させるとともに、前記第１音声情報と、前記記録手段に記録された前記第２音声情報を再生させる視聴処理を実行可能としている。

さらに、本発明に係る録画装置において、前記制御手段は、前記記録手段に記録された前記第２映像情報と前記第２音声情報を、通信手段にて送信させるアップロード処理を実行可能としている。

また、本発明に係る録画プログラムは、表示手段の第１領域に、予め記録された第１映像情報を表示させるとともに、前記第１領域の左側または右側に位置する第２領域に、カメラから入力される第２映像情報を左右反転して表示させる映像再生処理と、前記第１映像情報に同期して記録された第１音声情報と、マイクロホンから入力される第２音声情報を再生させる音声再生処理と、前記第２映像情報と前記第２音声情報を、記録手段に記録する記録処理とを、同時にコンピュータに実行させることを特徴としている。

本発明によれば、カメラから入力される第２映像情報、すなわち、モニタリングされる自身の映像を左右反転させて画面に表示させることで、カメラの被撮影者となった歌唱者は、画面上において鏡に映った状態（鏡像）と同じ状態で自身の映像を確認することができる。そのため、被撮影者に対して違和感を抱かせることがない。

さらに、カメラから入力される第２映像情報は、予め記録された第１映像情報が表示される第１領域の左側または右側に位置する第２領域に表示させている。そのため、カメラの被撮影者となった歌唱者は、画面にて相手の映像を視認する際、自然と第１映像情報の方向を向いて歌唱を行うこととなる。特に、第１映像情報、すなわち、予め記録された相手の映像が、第２領域を向いている場合には、お互いに向かい合った映像を表示させることが可能となる。

さらに、このような形式で第２映像情報を記録することで、第１映像情報と第２映像情報を同時に再生する際においても互いに向き合った状態の映像を再生することが可能となる。なお、再生の際は、第１領域と第２領域の左右の位置を入れ換えるとともに、第１映像情報、第２映像情報ともに、録画時での表示形態と左右反転させて表示させることで、お互いに向き合った状態を維持して再生することができる。特に、カメラで撮影した第２映像情報は、録画時での表示形態が鏡像となっているため、再生時には左右反転のない正像として表示させることが可能となり、映像上の違和感を抑えることが可能となる。

また、本発明では、第２映像情報を記録する際、予め記録された第１映像情報を左右反
転させて表示させることしている。この構成によれば、第２映像情報のみならず第１映像情報も正像として再生させることが可能となり、映像上の違和感がさらに抑えられる。

また、本発明では、第１映像情報に対応付けられた左右どちらかの方向を検出し、検出した方向が第２領域を向くように、第１映像情報を左右反転、あるいは、左右反転させないで表示させることとしている。この構成によれば、第１映像情報における被撮影者が第２領域を向いた状態で表示させることが可能となり、カメラで撮影される被撮影者に対する違和感を抑えることが可能となる。さらに、お互いに向き合った状態で表示、並びに、記録することも可能となる。

また、本発明では、第１映像情報に対応付けられた左右どちらの方向を検出し、検出し方向に第２領域が位置するように、第１領域と第２領域を配置することとしている。このような構成によれば、この構成によれば、第１映像情報における被撮影者が第２領域を向いた状態で表示させることが可能となり、カメラで撮影される被撮影者に対する違和感を抑えることが可能となる。さらに、お互いに向き合った状態で表示、並びに、記録することも可能となる。

また、本発明では、第１映像情報と第２映像情報を再生する視聴処理を実行可能としている。この視聴処理によれば、カメラで撮影された第２映像情報を、第１映像情報とあわせて確認することが可能となる。さらに、この視聴処理では、第１領域と第２領域の左右の位置を変更するとともに、第１映像情報と第２映像情報を、映像再生処理の表示状態と左右反転させて表示させることとしている。視聴処理において、このような表示形態を採用することで、第１映像情報、第２映像情報の被撮影者が向かい合った状態とすることが可能となるとともに、第２映像情報を左右反転のない正像として表示させることが可能となる。さらに、映像再生処理にて第１映像情報を左右反転させて表示させた場合には、第１映像情報も正像で表示させることが可能となる。

また、本発明では、記録された第２映像情報と第２音声情報を通信手段にて送信させるアップロード処理を実行可能としている。このような処理を採用することで、記録を行った場所のみならず遠隔地においても、記録された映像及び音声を楽しむことが可能となる。

さらに、本発明の録画プログラムは、前述の録画装置と同様の機能をコンピュータに実行可能とさせることとしており、コンピュータ装置や既存の音響装置に対しても、同様の機能を付加することが可能となる。

本発明の実施形態に係るカラオケ投稿の概要を説明する図。 本発明の実施形態に係るカラオケシステムの構成を示す図。 本発明の実施形態に係る投稿の流れを説明するフロー図。 本発明の実施形態に係る再生録画処理（実施例１）を示すフロー図。 本発明の実施形態に係る視聴処理（実施例１）を示すフロー図。 本発明の実施形態に係る表示画面（実施例１）を示す図。 本発明の実施形態に係るアップロード情報を示す図。 顔の方向の異なる第１投稿映像を示す図。 本発明の実施形態に係る再生録画処理（実施例２）を示すフロー図。 本発明の実施形態に係る視聴処理（実施例２）を示すフロー図。 本発明の実施形態に表示画面（実施例２）を説明する図。 本発明の実施形態に表示画面（実施例２）を説明する図。 本発明の実施形態に係る再生録画処理（実施例３）を示すフロー図。 本発明の実施形態に係る視聴処理（実施例３）を示すフロー図。 本発明の実施形態に表示画面（実施例３）を説明する図。 本発明の実施形態に表示画面（実施例３）を説明する図。

本実施形態の録画装置、並びに、録画プログラムは、カラオケにおいてデュエットや合唱などを楽しむことのできるカラオケ投稿システムに利用されることとしている。図１は、このカラオケ投稿システムの概要を説明するための図である。この図を用いてカラオケ投稿の流れを簡単に説明する。ここでは、歌唱音声の記録を行う場合について説明するが、実際には、カメラにて記録された映像が伴うこととなる。

まず、歌唱者は、カラオケボックスなど、カラオケシステムが設置される場所で演奏にあわせた歌唱が行われ歌唱音声が記録される（ａ）。カラオケシステムは、コマンダ（カラオケ装置）、コマンダから出力される歌詞映像、背景映像が表示されるモニタ、操作者からの操作をコマンダに伝えるリモコン装置にて構成されている。歌唱音声は、コマンダに内蔵されたハードディスクなどの記録手段に第１投稿データとして記録される。

歌唱者は、記録された歌唱音声を確認するため、第１投稿データの再生を行うこともできる（ｂ）。歌唱者が希望する場合には、第１投稿データは、サーバ上にアップロードされ、インターネットを介して公開することが可能となる（ｃ）。公開された第１投稿データは、この歌唱者と一緒に歌唱を希望する歌唱者によりカラオケシステムでダウンロードされる（ｄ）。

ダウンロードされた第１投稿データは、楽曲にあわせて再生することで内容を確認することもできる（ｅ）。ダウンロードされた第１歌唱データは、楽曲と共にコマンダにて再生され、歌唱者は予め記録された第１歌唱データとのデュエットを楽しむことができる。さらに、一緒に歌唱された歌唱者の歌唱音声は、第２投稿データとしてコマンダに記録される（ｆ）。記録された第２投稿データは、第１投稿データ、並びに、楽曲と同期して再生することができ、歌唱者は自身の歌唱をデュエット形式で確認することができる（ｇ）。

歌唱者は、新たな投稿として第２投稿データをサーバにアップロードすることができる。第２投稿データは、第１投稿データと併せてデュエット形式として再生することができるものであるが、サーバには第１投稿データが保存されているため、第２投稿データのみが送信される。第２投稿データには、第１投稿データと対応付けるため、第２投稿データの識別情報が付与される（ｈ）。

サーバに保存された第１投稿データ、第２投稿データは、ユーザからの要請により、ＰＣ（パーソナルコンピュータ）あるいはカラオケシステムにダウンロードされ、第１投稿データ、第２投稿データ、並びに楽曲を同期させて再生させることで、複数の歌唱者によるコラボレーションを楽しむことが可能となる（ｉ）。

このように本実施形態のカラオケ投稿システムでは、その場に居合わせない相手ともデュエットや合唱を楽しむことができる。ここでは、歌唱音声についてのみ説明したが、本発明に適用する場合には、歌唱音声と一緒にカメラによる撮影、並びに、映像情報の記録がコマンダにて実行されることとなる。

では、歌唱の記録とあわせて、カメラによる撮影を可能とするカラオケシステムの一実施形態について図２を用いて説明する。本実施形態におけるカラオケシステムは、コマンダ２（カラオケ装置）と、リモコン装置１にて構成されており、これらは、ＬＡＮ１００
にて、無線、有線で互いに接続されている。なお、本発明でいう録画装置とは、このカラオケ装置２において、本発明の処理に関与する構成を含むものをいう。そして、録画プログラムは、このカラオケ装置２、あるいは、コンピュータ装置などにインストールされることで、本発明の処理を実行するものをいう。

コマンダ２は、全体を統括制御する制御部３０を中心として機能し、主な機能として、演奏処理、映像再生処理、選曲処理などを実行可能としている。演奏処理は、操作部２１やリモコン装置１にてユーザーにより、指定された楽曲に対応する楽曲情報をＭＩＤＩ音源２６などの音源部にて演奏させ、スピーカー４２から放音させる処理である。このとき、スピーカー４２からはマイクロホン４３から入力される音声も合わせて放音される。映像再生処理は、映像再生部２９にて背景映像や歌詞情報などを再生させ、モニタ４１を介して視覚情報をユーザーに提供する処理である。

選曲処理は、ユーザーからの指定に基づいて楽曲を選択するための処理である。本実施形態では、リモコン装置１と連携して実行することとなる。リモコン装置１の操作部１７から入力されたユーザーの指令は、赤外線通信部１９、２３、あるいは、ＬＡＮ１００を介してコマンダ２に伝達される。コマンダ２での処理結果は、リモコン装置１側の表示部１１に表示され、ユーザーは選曲のための各種情報を視認することが可能である。

コマンダ２には、撮影を行うための外部機器としてカメラ４４が接続されている。カメラ４４の設置位置としては、モニタ４１上部など、モニタ４１の周辺に配置することが好ましい。モニタ４１周辺に配置することで、歌唱者がモニタ４１の画面を確認しつつ歌唱する姿を撮影することで、画面上にモニタリングされる歌唱者の姿が、表示されている歌唱相手の方向を向きやすくなる。

カメラ４４からのカメラ映像（本発明の「第２映像情報」）は、映像入出力を担う映像制御部４１を介して、記録手段としてのハードディスク３２に記録したり、モニタ４１に表示させることが可能である。さらに、カメラ４４からの映像情報と一緒に、予め記録した歌唱相手の第１投稿映像（本発明の「第１映像情報」）をモニタ４１に表示させることができる。これら２つの映像は、１つの画面中に左右隣り合わせに設けられた第１領域、第２領域に同時に表示させることができる。なお、第１投稿映像は、サーバ上から、一旦、ハードディスク２２にダウンロードしてから再生される再生形式、サーバからストリーミング再生される再生形式、どちらであってもよい。

図３は、本発明の実施形態に係るコマンダにおける、投稿についての処理を示すフロー図である。カラオケシステムの利用者は、リモコン装置１を利用して希望する楽曲を指定すること（通常予約）ができる。また、本実施形態では、デュエットや合唱を行うため、予め記録された第１投稿データの予約（コラボ予約）を指定することができる。このコラボ予約では、第１投稿データを指定することで、デュエット、合唱を希望する相手、並びに、楽曲の指定が実行される。指定された予約は、コマンダ２側の予約リストに順番に書き込まれる。

コマンダ２では、予約リストを随時確認し、次に実行される予約の種類が判別される（Ｓ１０２）。予約リスト上、次の予約種別が通常予約である場合は、指定された楽曲識別子に対応する楽曲情報をＭＩＤＩ音源２６に再生させる通常楽曲再生（Ｓ１０８）を実行する。再生された楽音は、マイクロホン４３から入力される歌唱音声と一緒にスピーカー４２から放音される。

一方、予約リスト上、次の予約種別がコラボ予約である場合は、まず、当該コラボ予約で指定されている第１投稿データがコマンダ２にダウンロードされているか否か判断され
る（Ｓ１０３）。ダウンロードされていない場合は、サーバから当該第１投稿データのダウンロードを実行する（Ｓ１０４）。本実施形態の第１投稿データには、予め記録された歌唱者の映像（第１映像情報）と、それに同期した歌唱音声（第１音声情報）と、楽曲識別子、歌唱者の識別情報、などが含まれる。この他、記録時における音程変更情報、速度変更情報を含めておくことで、楽曲再生時における基準音程、基準速度以外にも対応することができる。本実施形態では、第１投稿データの取得方法としてダウンロード形式を採用しているが、取得方法としては、ストリーミング再生を行うことしてもよい。ストリーミング再生では、第１投稿データを全てダウンロードすることなく再生を開始することが可能となる。

コマンダ２にて第１投稿データのダウンロードが完了すると、再生録画処理（Ｓ２００）が実行される。図４には、本実施形態に係る再生録画処理のフロー図が示されている。録画再生処理が開始されると、楽曲再生（Ｓ２０２ａ）、映像再生処理（Ｓ２０３ａ）、音声再生処理（Ｓ２０４ａ）、記録処理（Ｓ２０５ａ）がほぼ同時に開始され、楽曲再生が終了するまで継続する。

楽曲再生（Ｓ２０２ａ）は、第１投稿データに含まれる楽曲識別子に対応する楽曲情報をハードディスク２２から読み出し、ＭＩＤＩ音源２６に再生させる処理である。この楽曲生成と、音声再生処理（Ｓ２０４ａ）における第１投稿音声の再生、映像再生処理（Ｓ２０３ａ）における第１投稿映像の再生は、同期をとって実行され、第１投稿データ記録時における映像、音声が再現される。

映像再生処理（Ｓ２０３ａ）は、第１投稿映像（本発明の第１映像情報）と、カメラ４４にて撮影されたカメラ映像（本発明の第２映像情報）を、同一モニタ４１の画面上に表示させる処理である。このときの表示画面の様子が図６に示されている。図６（ａ）には、第１投稿映像とカメラ映像がそれぞれ示されている。なお、左右反転した映像を明確にするため、第１投稿映像の左下には、平仮名で「あ」の字を、カメラ映像の左下には、平仮名で「い」の字を記載しておく。

図６（ｂ）は、映像再生処理におけるモニタ４１の画面が示されている。本実施形態では、画面右側に第１領域を、画面左側に第２領域を設け、それぞれの領域に第１投稿映像、カメラ映像を表示させている。複数の映像を同時に表示させる表示手法としてはピクチャインピクチャなど周知の手法にて実行される。また、映像再生処理では、新たに歌唱を行う歌唱者のため画面下部に歌詞映像が表示されている。この歌詞映像は楽曲情報に含まれる歌詞情報に基づいて表示される。

本実施形態では、第２領域に表示されるカメラ映像を左右反転した状態で表示させている。このため、歌唱者は、自己の姿を鏡に映った状態の鏡像として確認することができ、撮影時における違和感を抑えることができる。さらに、第１投稿映像が表示される第１領域と、リアルタイムでカメラ映像がモニタリングされる第２領域とは、左右に隣接した状態で設けられている。このような配置によれば、特に、第１投稿映像として映し出された歌唱者が、第２領域を向いている場合、カメラ映像にてモニタリングされる歌唱者は、自然と第１領域の方向に向くこととなり、撮影時において第１投稿映像と、カメラ映像の歌唱者同士が向かい合った違和感のない映像を作成することが可能となる。図６（ｂ）では、第２領域に映し出された歌唱者が、結果として右側、すなわち、第１領域の方向を向いた画面の状態が示されている。

カメラ映像は、左右反転された鏡像としてモニタリングされているため、一旦記録したカメラ映像（第２投稿映像）を再生させるときには、左右反転のない正像として表示させることが好ましい。また、第１投稿映像と第２投稿映像の歌唱者が向かい合った状態を維
持して再生させることが好ましい。そのため、本実施形態の映像再生処理では、第１投稿映像についても左右反転させた状態で表示させることとしている。第１投稿映像と第２投稿映像の同時再生（視聴処理）については、後ほど説明する。

音声再生処理（Ｓ２０４ａ）では、第１投稿データに含まれる第１投稿音声（第１音声情報）が音声制御部２５にて再生され、マイクロホン４３から入力される歌唱音声、並びに、ＭＩＤＩ音源２６にて再生される楽曲情報といっしょにスピーカー４２から放音される。

記録処理（Ｓ２０５ａ）では、カメラ４４にて撮影されたカメラ映像を第２投稿映像（どちらも第２映像情報）として記録するとともに、マイクロホン４３から入力される歌唱音声を第２投稿音声（第２音声情報）として、記録手段としてのハードディスク３２に記録する。

以上説明した、再生録画処理では、映像再生処理（Ｓ２０３ａ）と、音声再生処理（Ｓ２０４ａ）、記録処理（Ｓ２０５ａ）は、楽曲の再生が終了するまで継続され、歌唱者は、第１投稿データに基づいて他の歌唱者とのデュエットや合唱を楽しむと共に、自己の音声と映像を第２投稿データとして記録することができる。

図３に戻り、再生録画処理が終了すると、歌唱者（ユーザー）は、録画した自己の映像を確認、あるいは、第１投稿データとのコラボレーションを鑑賞することなどを目的として、リプレイを選択することができる（Ｓ１０５）。リプレイが選択された場合には、次の視聴処理（Ｓ３００）が実行される。

図５には、この視聴処理を示すフロー図が示されている。視聴処理が開始されると、楽曲再生（Ｓ３０２ａ）、映像再生処理（Ｓ３０３ａ）、音声再生処理（Ｓ３０４ａ）が実行される。楽曲再生では、再生録画処理で使用した楽曲識別子に対応する楽曲情報をＭＩＤＩ音源２６に再生させる。そして、音声再生処理（Ｓ３０４ａ）では、第１投稿データに含まれる第１投稿音声と、再生録画処理で記録した第２投稿音声とを音声制御部２５にて再生させ、再生された楽曲情報と共にスピーカー４２から放音させる。

一方、映像再生処理（Ｓ３０３ａ）では、第１投稿データに含まれる第１投稿映像と、カメラ４４にて録画した第２投稿映像とをモニタ４１上に表示させる。図６（ｃ）には、この映像再生処理（Ｓ３０３ａ）における表示画面の様子が示されている。なお、この図において、第１投稿映像、第２投稿映像（カメラ映像）は、図６（ａ）に示された状態のものとしている。

この映像再生処理では、撮影時（再生録画処理（Ｓ２００））とは、第１領域と第２領域の配置を換えると共に、各映像を再生録画処理時とは左右反転させた状態、すなわち、正像として表示させることとしている。第１領域と第２領域の配置を換えることで、撮影時に歌唱者同士が向かい合っていた場合には、その状態を維持させることが可能となる。再生録画処理時とは左右反転させることで、鏡像として表示させていた第２投稿映像については、左右反転のない正像として鑑賞することが可能となる。さらに、第１投稿映像についても、再生録画処理時に左右反転させた状態としておくことで、正像として鑑賞することが可能となる。

図３に戻り、ユーザーは、この視聴処理（Ｓ３００）に加え、記録した第２投稿映像、第２投稿音声を、第２投稿データとしてサーバにアップロードし、広く公開するアップロード処理（Ｓ１０７）を選択することが可能となっている（Ｓ１０６）。このアップロード処理にて公開された第２投稿データは、第１投稿データと組み合わせて視聴させること
ができると共に、さらに、第２投稿データを新たな第１投稿データとして利用することで、新たなコラボレーションを実現することも可能である。

図７には、アップロードする情報としての第２投稿データが示されている。この第２投稿データには、同期して記録された第２投稿映像（第２映像情報）と第２投稿音声（第２音声情報）が含まれている。さらに、楽曲識別子としての楽曲ＩＤ、第１投稿データを識別するための第１投稿ＩＤも含まれており、サーバ上において使用された第１投稿データとの対応付けが可能となっている。

以上、本実施形態では、撮影されているカメラ映像を鏡像としてモニタリングさせるとともに、第１投稿映像が表示される第１領域と、カメラ映像が表示される第２領域とを左右に隣接した状態で表示させることで、違和感のない表示、並びに、記録を実現することが可能となっている。

次に、図３における再生録画処理（Ｓ２００）と、視聴処理（Ｓ３００）の他の実施形態（実施例２、実施例３）について説明する。図８に示されるように第１投稿映像に映し出される歌唱者は、右を向いた状態（ａ−１）、左を向いた状態（ａ−２）のように撮影時の環境や状況によって変化する場合がある。さらには、１連の撮影中において、歌唱者の向いている方向が変化する場合も考えられる。これから説明する実施形態では、このように歌唱者の向いている方向が予測できない場合においても対応できるものである。

図９〜図１２は、実施例２について、再生録画処理（Ｓ２００）、視聴処理（Ｓ３００）、並びに画面表示の様子を説明する図である。図９において、楽曲再生（Ｓ２０２ｂ）、音声再生処理（Ｓ２０３ｂ）、記録処理（Ｓ２０４ｂ）は、最初の実施例と同じ処理であるため、ここではその説明を省略する。本実施形態では、映像再生処理において、第１投稿映像に対応付けられた左右どちらかの方向を検出し、検出した方向に基づいて、第１投稿映像を左右反転させて表示させるか、左右反転させないで表示させ、検出した方向が第２領域、すなわち、カメラ映像が表示される領域を向くようにしている。

Ｓ２０５ｂでは、第１投稿映像の方向が検出される。この処理では、画像認識処理を用い、眼、口など顔のパーツの位置を認識し、顔の輪郭に対する相対位置にて、顔が左右どちらの方向を向いているか検出することや、手、足などの位置関係に基づいて歌唱者の体躯が左右どちらの方向を向いているかを検出することが考えられる。第１投稿映像に対する画像認識処理は、コマンダにてリアルタイムに行うこと限らず、サーバ側で予め実行しておき、第１投稿映像にタグとして埋め込んでおいてもよい。また、画像認識処理ではなく、人が視聴し手作業で第１投稿映像にタグを埋め込むこととしてもよい。

第１投稿映像が左右どちらの向きであるかが検出され、左向き以外である場合には、Ｓ２０７ｂに示される映像再生処理が実行される。本実施形態では、第１投稿映像が表示される第１領域を画面右側に、カメラ映像が表示される第２領域を画面左側に表示している。さらに、第１投稿映像を左右反転させた状態で表示させることで、検出された第１投稿映像の方向が第２領域を向くようにしている。図１１（ｂ−１）には、この映像再生処理における画面の様子が示されている。このように、第１投稿映像の方向が第２領域を向くことで、第２領域にモニタリングされた歌唱者は、第１投稿映像の方向を向きやすくなり、互いに向き合った映像を作成することが可能となる。なお、第２領域に表示されるカメラ映像は、前述の実施形態と同様、左右反転した鏡像として表示させ、モニタリングする歌唱者の違和感を抑えている。

一方、Ｓ２０５ｂにて左向きであると検出された場合には、Ｓ２０６ｂに示される映像再生処理が実行される。ここでは、第１投稿映像を左右反転させない正像として表示させ
ることで、検出された第１投稿映像が第２領域を向くこととなる。図１１（ｂ−２）には、この映像再生処理における画面の様子が示されている。本実施形態では、演奏が所定秒数経過する毎（Ｓ２０９ｂ）に、第１投稿映像の方向検出（Ｓ２０５ｂ）を実行することで、再生途中で第１投稿映像の方向が変化した場合にも対応することが可能となっている。なお、Ｓ２０６ｂとＳ２０７ｂの映像再生処理を切り換える際には、フェード処理などの映像効果を付与することで自然な遷移を実現するとよい。

では、このような再生録画処理にて記録された第２投稿映像を再生させる視聴処理について説明する。図１０は、図９で説明した再生録画処理に対応する視聴処理のフロー図である。楽曲再生（Ｓ３０２ｂ）、音声再生処理（Ｓ３０３ｂ）については、最初の実施例と同じ処理であるため、ここではその説明を省略する。

Ｓ３０４ｂにて第１投稿映像の方向が検出され、左向き以外であることが検出された場合には、Ｓ３０６ｂの映像再生処理が実行される。ここでは、第１投稿映像を画面左側に左右反転のない正像として表示させ、第２投稿映像を画面右側に正像として表示させる。図１２（ｃ−１）には、この映像再生処理における画面の様子が示されている。一方、左向きであることが検出されたときには、Ｓ３０５ｂの映像再生処理が実行される。ここでは、図１２（ｃ−２）に示されるように、第１投稿映像を画面左側に左右反転して表示させ、第２投稿映像を画面右側に正像として表示させる。この視聴処理における第１投稿映像の方向検出も所定秒数経過（Ｓ３０８ｂ）毎に実行され、第１投稿映像の方向変化に追従することが可能となっている。なお、Ｓ３０５ｂとＳ３０６ｂの映像再生処理を切り換える際にも、フェード処理などの映像効果を付与することで自然な映像遷移とすることが好ましい。

これら視聴処理における映像再生処理（Ｓ３０５ｂ、３０６ｂ）を再生録画処理に対応付けて説明すると、第１領域と第２領域の左右の位置を、再生録画処理時と交換するとともに、第１投稿映像、第２投稿映像を、再生録画処理時の表示状態と左右反転させた状態で表示させること等価となっている。

以上、実施例２では、再生録画処理において、第１投稿映像の方向を検出し、検出した方向に応じて、第１投稿映像を左右反転させて表示させるか、左右反転させないで表示させ、第１投稿映像が向く方向に第２領域を設けることが可能となり、画面をモニタリングしながら歌唱する歌唱者に対する違和感を抑えることが可能となる。

この実施例２では、図１２（ｃ−２）に示されるように、最終的に視聴される映像において、第１投稿映像が左右反転された状態となってしまう場合がある。次に説明する実施例３では、検出した方向に基づいて第１領域と第２領域の配置を制御することで、最終的に視聴される映像が左右反転のない正像となるようにしている。

図１３〜図１６は、実施例３について、再生録画処理（Ｓ２００）、視聴処理（Ｓ３００）、並びに画面表示の様子を説明する図である。図１３において、楽曲再生（Ｓ２０２ｃ）、音声再生処理（Ｓ２０３ｃ）、記録処理（Ｓ２０４ｃ）は、最初の実施例と同じ処理であるため、ここではその説明を省略する。本実施形態では、映像再生処理において、第１投稿映像に対応付けられた左右どちらかの方向を検出し、検出した方向に基づいて、第１投稿映像が表示される第１領域と、カメラ映像が表示される第２領域の配置を制御し、検出した方向が第２領域、すなわち、カメラ映像が表示される領域を向くようにしている。

Ｓ２０５ｃでは、第１投稿映像の方向が検出される。この方向検出処理は、実施例２で説明した各種の手法にて実施することが可能である。第１投稿映像が左右どちらの向きで
あるかが検出され、左向き以外である場合には、Ｓ２０７ｃの映像再生処理が実行される。図１５（ｂ−１）には、この映像再生処理における表示画面の様子が示されている。図示されるように、第１投稿映像は左右反転させた状態で画面右側に、カメラ映像は左右反転させた状態で画面左側に表示される。このように、第１投稿映像が第２領域を向くことで、第２領域にモニタリングされた歌唱者は、第１投稿映像の方向を向きやすくなり、互いに向き合った映像を作成することが可能となる。

一方、Ｓ２０５ｃで第１投稿映像の方向が左向きであることが検出されたときには、Ｓ２０６ｃに示される映像再生処理が実行される。図１５（ｂ−２）には、この映像再生処理における表示画面の様子が示されている。図示されるように、第１投稿映像は左右反転させた状態で画面左側に、カメラ映像は左右反転させた状態で画面右側に表示される。本実施形態では、演奏が所定秒数経過する毎（Ｓ３０８ｂ）に、第１投稿映像の方向検出（Ｓ３０４ｂ）を実行することで、演奏の途中で第１投稿映像の方向が変化した場合にも追従させることが可能となっている。なお、Ｓ２０６ｃとＳ２０７ｃの映像再生処理を切り換える際には、フェード処理などの映像効果を付与することで自然な遷移を実現するとよい。

では、このような再生録画処理にて記録された第２投稿映像を再生させる視聴処理について説明する。図１４は、図１３で説明した再生録画処理に対応する視聴処理のフロー図である。楽曲再生（Ｓ３０２ｃ）、音声再生処理（Ｓ３０３ｃ）については、最初の実施例と同じ処理であるため、ここではその説明を省略する。

Ｓ３０４ｃにて第１投稿映像の方向が検出され、左向き以外であることが検出されたときには、Ｓ３０６ｃの映像再生処理が実行される。ここでは、第１投稿映像を画面左側に、第２投稿映像を画面右側に、何れも左右反転のない正像として表示させる。図１５（ｃ−１）には、この映像再生処理における画面の様子が示されている。一方、左向きであることが検出されたときには、Ｓ３０５ｃの映像再生処理が実行される。ここでは、図１５（ｃ−２）に示されるように、第１投稿映像を画面右側に、第２投稿映像を画面左側に、何れも左右反転のない正像として表示させる。この視聴処理における第１投稿映像の方向検出も所定秒数経過（Ｓ３０８ｃ）毎に実行され、第１投稿映像の方向変化に追従することが可能となっている。なお、Ｓ３０５ｃとＳ３０６ｃの映像再生処理を切り換える際にも、フェード処理や、第１領域と第２領域を交換するアニメーション処理などの映像効果を付与することで自然な映像遷移とすることが好ましい。

以上、実施例３では、再生録画処理において、第１投稿映像の方向を検出し、検出した方向に応じて第１領域と第２領域の位置を制御し、第１投稿映像が向く方向に第２領域を設けることが可能となり、画面をモニタリングしながら歌唱する歌唱者に対する違和感を抑えることが可能となる。さらに、視聴処理においても、第１投稿映像を常に左右反転のない正像として表示させることが可能となり、視聴時における違和感を抑えることも可能となる。

なお、本発明はこれらの実施形態のみに限られるものではなく、それぞれの実施形態の構成を適宜組み合わせて構成した実施形態も本発明の範疇となるものである。

１…リモコン装置、１１…表示部、１２…ビデオＲＡＭ、１３…映像制御部、１４…メモリ、１５…制御部、１６…無線ＬＡＮ通信部、１７…操作部、１８…操作処理部、１９…赤外線通信部、２…コマンダ（カラオケ装置）、２１…操作部、２２…操作処理部、２３…赤外線通信部、２４…インターフェイス部、２５…音声制御部、２６…ＭＩＤＩ音源、２７…メモリ、２８…ビデオＲＡＭ、２９…映像再生部、３０…制御部、３１…映像制御
部、３２…ハードディスク、４１…モニタ、４２…スピーカー、４３…マイクロホン、４４…カメラ、１００…ＬＡＮ、１１０…アクセスポイント、１２０…ルータ

Claims (7)

1. 映像再生処理と、音声再生処理と、記録処理とを同時に実行する制御手段を備え、
   前記映像再生処理は、表示手段の第１領域に、予め記録された第１映像情報を表示させるとともに、前記第１領域の左側または右側に位置する第２領域に、カメラから入力される第２映像情報を左右反転して表示させ、
   前記音声再生処理は、前記第１映像情報に同期して記録された第１音声情報と、マイクロホンから入力される第２音声情報を再生させ、
   前記記録処理は、前記第２映像情報と前記第２音声情報を、記録手段に記録することを特徴とする
   録画装置。
2. 前記映像再生処理は、前記第１映像情報を左右反転させて表示させることを特徴とする
   請求項１に記載の録画装置。
3. 前記映像再生処理は、前記第１映像情報に対応付けられた左右どちらかの方向を検出し、検出した方向が前記第２領域を向くように、前記第１映像情報を左右反転、あるいは、左右反転させないで表示させることを特徴とする
   請求項１または請求項２に記載の録画装置。
4. 前記映像再生処理は、前記第１映像情報に対応付けられた左右どちらかの方向を検出し、検出した方向に前記第２領域が位置するように、前記第１領域と前記第２領域を配置することを特徴とする
   請求項１または請求項２に記載の録画装置。
5. 前記制御手段は、前記映像再生処理における前記第１領域と前記第２領域の左右の位置を変更するとともに、前記第１映像情報と、前記記録手段に記録された前記第２映像情報を、前記映像再生処理の表示状態とは左右反転して再生させるとともに、前記第１音声情報と、前記記録手段に記録された前記第２音声情報を再生させる視聴処理を実行可能とする
   請求項１から請求項４の何れか１項に記載の録画装置。
6. 前記制御手段は、前記記録手段に記録された前記第２映像情報と前記第２音声情報を、通信手段にて送信させるアップロード処理を実行可能とする
   請求項１から請求項５の何れか１項に記載の録画装置。
7. 表示手段の第１領域に、予め記録された第１映像情報を表示させるとともに、前記第１領域の左側または右側に位置する第２領域に、カメラから入力される第２映像情報を左右反転して表示させる映像再生処理と、
   前記第１映像情報に同期して記録された第１音声情報と、マイクロホンから入力される第２音声情報を再生させる音声再生処理と、
   前記第２映像情報と前記第２音声情報を、記録手段に記録する記録処理とを、同時にコンピュータに実行させることを特徴とする
   録画プログラム。

Images