JP2010079102A

JP2010079102A - カラオケ装置

Info

Publication number: JP2010079102A
Application number: JP2008249265A
Authority: JP
Inventors: Toyoichi Sakai; 豊一坂井
Original assignee: Xing Inc
Current assignee: Xing Inc
Priority date: 2008-09-26
Filing date: 2008-09-26
Publication date: 2010-04-08

Abstract

【課題】取り込まれた映像の上下方向を取り違えることなく背景映像として用い得るカラオケ装置を提供する。
【解決手段】所定の撮像装置により撮影された映像に関して、予め定められた関係からその映像の要素を解析することでその映像の上下方向を判定する上下方向判定手段１００と、その上下方向判定手段１００により判定された上下方向に基づいて、演奏曲の出力に併行して上記映像を背景映像として出力させる演奏映像表示制御手段１０２とを、備えたものであることから、所定の撮像装置により撮影された映像を背景映像として用いる場合に、その映像の上下が逆さまになることを好適に防止することができる。
【選択図】図４

Description

本発明は、多数の演奏曲のうちから選択される所定の演奏曲を出力させると共に、その演奏曲の出力と併行して所定の歌詞文字映像及び背景映像を表示させるカラオケ装置に関し、特に、その背景映像表示機能の改良に関する。

多数の演奏曲のうちから選択される所定の演奏曲を出力させる音楽再生装置が知られている。例えば、カラオケボックス等で使用されるカラオケ装置がそれである。斯かるカラオケ装置によれば、予め記憶装置に記憶された多数のカラオケ演奏曲から選択された所定のカラオケ演奏曲の音楽情報を出力させると共に、そのカラオケ演奏曲の歌詞情報を含む映像をその出力に併行して画面に表示させることで、所望の歌のカラオケ演奏を楽しむことができる。

近年、所定の背景映像に歌詞文字映像（歌詞テロップ）を付加する態様のカラオケ装置が普及している。例えば、カラオケサービス提供会社のホストサーバと通信回線によって接続される通信カラオケ装置がその一例である。斯かる態様のカラオケ装置では、背景映像を複数種類の演奏曲に汎用できるため、各演奏曲にあつらえの映像を用意する必要がなく、比較的多数の曲を演奏できるという利点がある反面、複数の演奏曲で背景映像を使い回すことにより利用者を飽きさせる可能性があった。そこで、斯かる弊害を解消するための技術が提案されている。例えば、特許文献１に記載されたカラオケシステムがそれである。この技術によれば、所定の撮像装置により撮影された映像を背景映像として利用することで、飽きのこない演奏映像が実現できるとされている。

特開２００２−２９７１６７号公報

しかし、撮像装置により撮影された映像を前述したような従来の技術により背景映像として利用するに際して、例えば携帯電話機に備えられた撮像装置等により撮影された映像を取り込んだ場合、その映像の上下が逆さまに映ってしまうおそれがあった。すなわち、取り込まれた映像の上下方向を取り違えることなく背景映像として用い得るカラオケ装置は、未だ開発されていないのが現状である。

本発明は、以上の事情を背景として為されたものであり、その目的とするところは、取り込まれた映像の上下方向を取り違えることなく背景映像として用い得るカラオケ装置を提供することにある。

斯かる目的を達成するために、本発明の要旨とするところは、多数の演奏曲のうちから選択される所定の演奏曲を出力させると共に、その演奏曲の出力と併行して所定の歌詞文字映像及び背景映像を表示させるカラオケ装置であって、所定の撮像装置により撮影された映像に関して、予め定められた関係からその映像の要素を解析することでその映像の上下方向を判定する上下方向判定手段と、その上下方向判定手段により判定された上下方向に基づいて、前記演奏曲の出力に併行して前記映像を前記背景映像として出力させる演奏映像表示制御手段とを、備えたことを特徴とするものである。

このようにすれば、所定の撮像装置により撮影された映像に関して、予め定められた関係からその映像の要素を解析することでその映像の上下方向を判定する上下方向判定手段と、その上下方向判定手段により判定された上下方向に基づいて、前記演奏曲の出力に併行して前記映像を前記背景映像として出力させる演奏映像表示制御手段とを、備えたものであることから、所定の撮像装置により撮影された映像を背景映像として用いる場合に、その映像の上下が逆さまになることを好適に防止することができる。すなわち、取り込まれた映像の上下方向を取り違えることなく背景映像として用い得るカラオケ装置を提供することができる。

ここで、好適には、前記上下方向判定手段は、前記撮像装置により撮影された映像における人物の顔に相当する部分を検出すると共に、その部分における目及び口に相当する部分を解析することでその映像の上下方向を判定するものである。このようにすれば、前記撮像装置により撮影された、人物を含む映像の上下方向を実用的な態様で判定することができる。

また、好適には、前記上下方向判定手段は、前記撮像装置により撮影された映像を２値化すると共に複数の領域に分割し、各領域における濃淡の分布を解析することでその映像の上下方向を判定するものである。このようにすれば、前記撮像装置により撮影された、一定の方向からの光が当たっている映像の上下方向を実用的な態様で判定することができる。

また、好適には、前記撮像装置は、携帯電話機に備えられたものである。このようにすれば、携帯電話機により撮像された映像の上下方向を取り違えることなく背景映像として用いることができる。

以下、本発明の好適な実施例を図面に基づいて詳細に説明する。

図１は、本発明が好適に適用されるカラオケシステム１０を説明する概略図である。この図１に示すように、上記カラオケシステム１０では、カラオケボックス、スナック、旅館等の店舗１２における複数の個室１４ａ、１４ｂ、１４ｃ、・・・（以下、特に区別しない場合には単に個室１４と称する）にそれぞれ１台乃至は複数台ずつ（図１では１台ずつ）の本発明の一実施例であるカラオケ装置１６ａ、１６ｂ、１６ｃ、・・・（以下、特に区別しない場合には単にカラオケ装置１６と称する）が設置されている。これら複数のカラオケ装置１６は、ルータ２８を介して公衆電話回線等による通信回線１８に接続されており、同じくその通信回線１８に接続されたカラオケサービス提供会社のサーバ装置（センタ装置）２０との相互間でその通信回線１８を介して情報の通信が可能とされている。このサーバ装置２０は、カラオケ情報（楽曲データ）、背景映像情報、曲間情報等のデジタルコンテンツ（Digital Contents）の保管や入出力管理の基本的な制御を行うサーバであり、上記通信回線１８を介して上記カラオケ装置１６に定期的にコンテンツの配信を行うと共に、そのカラオケ装置１６からの要求に応じて所定の機能制御プログラムを送信するものである。また、上記カラオケシステム１０は、複数の電子早見本装置２２ａ、２２ｂ、２２ｃ、・・・（以下、特に区別しない場合には単に電子早見本装置２２と称する）を備えており、上記カラオケ装置１６の利用に際して、各利用者（グループ）毎に１台乃至数台ずつの電子早見本装置２２が貸与され、各個室１４において後述するように上記カラオケ装置１６の遠隔操作装置として用いられるようになっている。上記店舗１２内には上記複数のカラオケ装置１６を相互に接続するＬＡＮ２４が敷設されており、上記電子早見本装置２２からのカラオケ装置１６への入力は、所定のアクセスポイント２６及びＬＡＮ２４を介したＬＡＮ通信等により行われる。

図２は、上記カラオケ装置１６の構成を例示するブロック線図である。この図２に示すように、上記カラオケ装置１６は、ＣＲＴ（Cathode-ray Tube）やＴＦＴ（Thin Film Transistor Liquid Crystal）等の映像表示装置３０と、ＣＲＴコントローラ等の映像出力制御部３２と、映像情報デコーダ３４と、ビデオミキサ３６と、音源であるシンセサイザ３８と、音声入力装置であるマイクロフォン４０と、アンプミキサ４２と、スピーカ４４と、操作パネル４６と、その操作パネル４６等からの入力信号を処理する入出力インターフェイス４８と、中央演算処理装置であるＣＰＵ５０と、読出専用メモリであるＲＯＭ５２と、随時書込読出メモリであるＲＡＭ５４と、記憶装置であるハードディスク５６と、モデム５８と、ＬＡＮポート６０と、上記電子早見本装置２２やリモコン装置６４等の入力装置からのリモコン信号を受信するためのリモコン受信部６２とを、備えて構成されている。

前記映像出力制御部３２は、前記ＣＰＵ５０において生成された歌詞文字映像等の文字映像（テロップ）を出力する文字映像出力装置として機能する他、前記映像表示装置３０による種々の映像表示を制御する表示制御装置である。また、前記映像情報デコーダ３４は、利用者が歌詞を参照しながら歌を歌う際に前記ハードディスク５６に記憶された背景映像情報に基づいて所定の背景映像を再生（デコード）する背景映像再生装置である。この背景映像情報は、例えば、ＭＰＥＧ（Moving Picture Experts Group）形式のデータであり、そのＭＰＥＧデータに基づいて前記映像情報デコーダ３４により再生された背景映像は、前記ビデオミキサへ送られる。また、前記ビデオミキサ３６は、前記ＣＰＵ５０において生成され且つ前記映像出力制御部３２から出力される文字映像と、前記映像情報デコーダ３４により再生される背景映像とを合成して前記映像表示装置３０に表示させる映像合成装置である。

前記シンセサイザ３８は、前記ハードディスク５６から読み出されて送られて来るカラオケ演奏曲の演奏情報に基づいて楽器の演奏信号等の音楽信号を生成する音源である。この演奏情報は、例えば、ＭＩＤＩ（Musical Instrument Digital Interface）形式のデータであり、そのＭＩＤＩデータに基づいて前記シンセサイザ３８により生成された音楽信号は、アナログ信号に変換されて前記アンプミキサ４２へ送られる。そのアンプミキサ４２では、送られてきた音楽信号と前記マイクロフォン４０を介して入力される利用者の歌声とがミキシングされ、それらの信号が電気的に増幅されて前記スピーカ４４から出力される。

前記操作パネル４６は、前記カラオケ装置１６の利用者が歌いたいカラオケ演奏曲を選択したり、演奏曲の音程を調整したり、演奏と歌との音量バランスを調整したり、その他、エコー、音量、トーン等の各種調整を行うための操作ボタン（スイッチ）或いはつまみを備えた入力装置である。また、前記カラオケ装置１６には、前記操作パネル４６の一部機能を遠隔で実行するための入力装置として機能するリモコン装置６４が備えられており、前記リモコン受信部６２は、そのリモコン装置６４から送信されるリモコン信号を受信して前記ＣＰＵ５０へ供給する。また、前記カラオケ装置１６と電子早見本装置２２との対応付け（くくりつけ）処理も前記リモコン受信部６２を介して行われ、そのようにして前記カラオケ装置１６に対応付けられた電子早見本装置２２も同様に入力装置として機能する。また、後述するようにリモコン信号送信機能が備えられた携帯電話機６６も同様に前記カラオケ装置１６の入力装置として機能し、その携帯電話機６６から送信される信号が上記リモコン受信部６２を介して前記ＣＰＵ５０等に供給される。

前記ＣＰＵ５０は、前記ＲＡＭ５４の一時記憶機能を利用しつつ前記ＲＯＭ５２に予め記憶された所定のプログラムに基づいて電子情報を処理・制御する所謂マイクロコンピュータであり、前記電子早見本装置２２やリモコン装置６４等により所定のカラオケ演奏曲が選曲された場合、その選曲されたカラオケ演奏曲を前記ＲＡＭ５４に設けられた予約曲テーブルに登録したり、その予約曲テーブルの演奏順に従って前記ハードディスク５６から前記ＲＡＭ５４に選曲されたカラオケ演奏曲の演奏情報及び歌詞情報等を読み出したり、カラオケ演奏曲の演奏が進行するのに応じてそのＲＡＭ５４から前記シンセサイザ３８へ演奏情報を送信したり、歌詞情報に基づいて歌詞文字映像を生成して前記映像出力制御部３２へ送ったり、選曲時には曲名文字映像を生成して前記映像出力制御部３２へ送ったり、前記映像情報デコーダ３４を制御して所定の背景映像を再生させたり、カラオケ演奏が行われていない間すなわち曲間において、新譜情報、選曲ランキング、店舗広告等の曲間情報を出力させたり、前記通信回線１８を介した前記サーバ装置２０との間の情報通信制御等の基本的な制御に加えて、後述する背景映像設定制御及び演奏映像表示制御等を実行する。

前記モデム５８は、前記カラオケ装置１６を公衆電話回線等による通信回線１８に接続するための装置であり、前記ＣＰＵ５０から出力されるディジタル信号をアナログ信号に変換して前記通信回線１８に送り出すと共に、その通信回線１８を介して伝送されるアナログ信号をディジタル信号に変換して前記ＣＰＵ５０に供給する処理を行う。なお、前記店舗１２に備えられた複数のカラオケ装置１６のうち何れかのカラオケ装置１６が前記ルータ２８の機能を備えてマスターコマンダとして前記通信回線１８に接続される態様も考えられ、その場合、前記モデム５８はそのマスターコマンダとして機能するカラオケ装置１６には必要とされるが、そのマスターコマンダを介して前記サーバ装置２０との間で情報の通信を行う他のカラオケ装置１６には必ずしも設けられなくともよい。

前記ＬＡＮポート６０は、前記カラオケ装置１６をＬＡＮ２４を介して他のカラオケ装置１６や電子早見本装置２２等の他の機器に接続するための接続器であり、前記カラオケ装置１６は、そのようにＬＡＮ２４を介して接続されることで、他のカラオケ装置１６や電子早見本装置２２等の他の機器との間で情報の送受信が可能とされる。例えば、前記アクセスポイント２６を介して受信される前記電子早見本装置２２からの選曲入力を受け付けて前記ＲＡＭ５４に設けられた予約曲テーブルに記憶したり、そのアクセスポイント２６を介して前記カラオケ装置１６から電子早見本装置２２へ所定の情報を送信したりというように、電波を介して前記カラオケ装置１６と電子早見本装置２２との間における相互の情報のやりとりが実行される。また、斯かるＬＡＮ２４及びアクセスポイント２６を介して、前記複数の電子早見本装置２２相互間でも情報の通信が行われる。

前記ハードディスク５６には、カラオケ演奏曲を出力させるための多数のカラオケデータ（楽曲データ）を記憶するカラオケデータベースをはじめとする各種データベースが設けられている。カラオケボックス等の店舗にそれぞれ備えられた複数のカラオケ装置１６のうち所定のカラオケ装置１６例えば前記カラオケ装置１６ａは、前記モデム５８を介して前記通信回線１８に接続されており、前記複数のカラオケ装置１６によって常に新しい曲が演奏可能とされるように、随時新たな楽曲データ等が前記サーバ装置２０から前記通信回線１８を介して配信され、前記ハードディスク５６のカラオケデータベース等に記憶される。また、そのようにして前記サーバ装置２０から情報を取得したカラオケ装置１６ａとその他のカラオケ装置１６との間で前記ＬＡＮ２４を介した通信が行われることにより、各カラオケ装置１６のハードディスク５６に記憶される情報が共有され、上記カラオケデータベース等の内容が等価なものとされる。

図３は、前記携帯電話機６６の構成を例示する図である。この図３に示すように、前記携帯電話機６６は、中央演算処理装置であるＣＰＵ６８と、読出専用メモリであるＲＯＭ７０と、随時書込読出メモリであるＲＡＭ７２と、フラッシュＲＯＭ等の記憶部７４と、表示部７６と、操作部７８と、撮像部８０と、アンテナ８２と、送受信部８４と、モデム部８６と、音声コーディック部８８と、アナログフロントエンド９０と、スピーカ９２と、音声入力装置であるマイクロフォン９４と、前記カラオケ装置１６にリモコン信号（赤外線信号）を送信するための情報送信部としてのリモコン送信部９６とを、備えて構成されている。

上記ＣＰＵ６８は、随時書込読出メモリであるＲＡＭ７２の一時記憶機能を利用しつつ読出専用メモリであるＲＯＭ７０に予め記憶されたプログラムに従って信号処理を行う所謂マイクロコンピュータであり、所定の文字ボタン等を備えた操作部７８からの入力に従って文字入力が実行されるように制御したり、その操作部７８から入力された電話番号に従って通信或いは通話チャンネルを成立させると共に相互の通信或いは通話が可能となるように制御したり、その操作部７８から入力されたＵＲＬに従って所定のウェブサイトにアクセスしたり、メールの作成及び送受信を制御する等の基本的な制御を実行する。例えば、前記携帯電話機６６の通話状態においては、上記アンテナ８２を介して送受信部８４に受けた通話信号等がモデム部８６を介して音声コーディック部８８においてデジタルコード信号から音声信号に変換され、アナログフロントエンド９０によりスピーカ９２が駆動されて音声が出力される。同時に、上記マイクロフォン９４により音声から変換された音声信号が上記アナログフロントエンド９０を介して上記音声コーディック部８８に送られてそこでディジタル信号に変換され、上記モデム部８６、送受信部８４、及びアンテナ８２を介して送信される。また、通信状態において、上記ＣＰＵ６８は、上記操作部７８から入力された信号を通信先へ送信すると同時に、通信先から受信された信号を表示部７６に表示させる制御を行う。また、他の通信端末からの着信があったと判定される場合には、上記記憶部７４に予め記憶された着信メロディ情報を読み出し、その着信メロディ情報に基づいて図示しない音源部により所定のメロディ（呼出音）を発生させて前記スピーカ９２から出力させたり、呼出音非出力モードにおいては図示しないバイブレータを駆動させて振動を発生させたりする。また、前記ＣＰＵ６８にインストールされた所定のアプリケーションにより、前記リモコン送信部９６を介して前記カラオケ装置１６に対する選曲入力や後述する映像情報等のリモコン送信制御を行う。

前記携帯電話機６６に備えられた撮像部８０は、前記操作部７８による所定の操作に応じてレンズから取り込まれる像を撮影する撮像装置であり、電荷結合素子（Charge Coupled Device：ＣＣＤ）を備えたＣＣＤカメラ（デジタルカメラ）である。この撮像部８０により撮影された静止画乃至動画としての映像は、直接的に或いは図示しない所定のコンバータを介して前記携帯電話機６６のＣＰＵ６８の制御系に入力され、前記記憶部７４等に記憶されるようになっている。また、そのようにして前記記憶部７４に記憶された映像情報は、前記操作部７８による所定の操作に応じて前記リモコン送信部９６から送信され、前記リモコン受信部６２を介して前記カラオケ装置１６に入力されるようになっている。

図４は、前記カラオケ装置１６のＣＰＵ５０に備えられた制御機能の要部を説明する機能ブロック線図である。この図４に示す上下方向判定手段１００は、前記携帯電話機６６の撮像部８０により撮影された映像すなわち前記リモコン受信部６２を介して受信される映像情報に関して、予め定められた関係からその映像の要素を解析することでその映像の上下方向を判定する。ここでの上下方向とは、その映像を後述する演奏映像表示制御手段１０２により演奏曲の出力と併行して前記映像表示装置３０に表示される背景映像として用いる上での上下方向であり、例えばその映像中に人物の映像が含まれている場合には、その人物の頭部が上方、脚部が下方というような上下方向となる。なお、上述のように、判定の対象となる映像は動画である場合も考えられるが、斯かる場合にはその動画における所定のコマである静止画に基づいて斯かる判定を行うことが望ましい。また、誤判定の可能性を考え、所定の手動操作により映像の方向を変更できるようにしてもよい。以下、図５乃至図１２を参照して斯かる映像の上下方向の判定制御について説明する。

上記上下方向判定手段１００は、好適には、対象となる映像における人物の顔に相当する部分を検出すると共に、その部分における目及び口に相当する部分を解析することでその映像の上下方向を判定する。図５は、前記携帯電話機６６の撮像部８０により撮影され、前記リモコン受信部６２を介して受信された映像の一例を示す図であり、本来の上方をＡ、下方をＢでそれぞれ示している。この図５に示す映像に関して、その映像に含まれる人物の顔に相当する部分に基づく上下方向の判定を考えると、先ず、その対象となる映像を、所定の閾値により予め定められた所定数（種類）の色に色分けする所謂色分け処理（水彩化処理）が実行される。次に、そのように色分けされた映像における各色に塗り分けられた範囲（色のブロック）それぞれに関して、その範囲の重心が求められる。そして、その重心の相対位置関係から対象となる映像における人物の顔に相当する部分が検出される。例えば、図５に示す映像における目に相当する部分１０４及び口に相当する部分１０６は、上記色分け処理により図６に示すようにそれぞれ所定の色に塗り分けられた範囲１０４′、１０６′となる。更に、その色分け処理された映像における各範囲の重心が求められることで、上記目に相当する部分１０４及び口に相当する部分１０６それぞれの重心１０４″、１０６″が図７に示すように求められる。そして、これら目に相当する部分の重心１０４″及び口に相当する部分の重心１０６″の相対位置関係（距離は全体の大きさから規格化される）に基づいて対象となる映像の上下方向が判定され、図５に示す映像が反時計回りに９０°回転させられて図８に示すように本来の上下方向とされる。なお、図５に示す例では、目に相当する部分の代替として眼鏡に相当する部分に基づく上下判定を行ってもよい。

前記上下方向判定手段１００は、また好適には、対象となる映像を２値化すると共に複数の領域に分割し、各領域における濃淡の分布を解析することでその映像の上下方向を判定する。斯かる手法により、対象となる映像における光の照射方向（光源の方向）が判定され、好適にはその光の照射元の方向が上方向とされる。例えば、上述した図５に示す映像に関して、先ず、カラー映像から白黒映像（濃淡映像）への変換が行われる。例えば、ＲＧＢ値からＹＩＱ値への変換が行われ、そのうちのＹ値のみが用いられる。次に、そのようにして白黒映像に変換された映像がよく知られた２値化処理により２値化される。次に、図９に示すように、そのように２値化された映像がＭ×Ｎ（図９では６×６）の領域に分割され、各領域における濃淡の分布が解析される。このように複数の領域に分割して解析を行うのは、映像における所定範囲にたまたま暗い部分が偏在する場合の誤検出を抑制するためである。各領域における濃淡の分布の解析は、その領域における白ドットに対応する部分の重心を求めることにより行われる。例えば、図１０に示すような領域に関して、例えば左上を（１，１）とし、白ドットの座標の平均値を求めることでその領域における白ドットの重心を算出する。次に、図１１に示すように、各領域に関してその中心から白ドットの重心へベクトルが引かれる。このベクトルが各領域における光源の方向に対応する。次に、図１２に示すように、各領域におけるベクトルが合成された合成ベクトルＶが求められる。そして、その合成ベクトルＶが指向する方向が対象となる映像における上方向と判定され、図５に示す映像が反時計回りに９０°回転させられて図８に示すように本来の上下方向とされる。

図４に戻って、演奏映像表示制御手段１０２は、前記カラオケ装置１６による演奏曲の出力と併行してその演奏曲の歌詞文字映像及び背景映像を含む演奏映像を前記映像表示装置３０に表示させる制御を行う。すなわち、所定のカラオケデータに対応する演奏曲の出力に際して、前記映像出力制御部３２を介してそのカラオケデータに含まれる歌詞情報に基づく歌詞文字映像（歌詞テロップ）を生成すると共に色替表示させる。また、基本的には前記映像情報デコーダ３４を介して所定の映像データに基づく映像を再生させ、前記ビデオミキサ３６により上記歌詞文字映像の背面側レイヤに背景映像として合成する。そして、そのようにして合成された歌詞文字映像及び背景映像を含む演奏映像を前記映像表示装置３０に表示させる。

また、上記演奏映像表示制御手段１０２は、設定に応じて前記携帯電話機６６の撮像部８０により撮影された映像を上記背景映像として用いる。斯かる制御に際して、前記上下方向判定手段１００により判定された上下方向に基づいて（すなわち本来の上下方向となるように）その映像を上記歌詞文字映像の背面側レイヤに合成する。この映像表示処理制御は、好適には前記映像出力制御部３２によって行われるが、例えば所定の形式（ｍｐｅｇ等）の映像ファイルとして前記リモコン受信部６２により受信された映像に関して、上述のように前記上下方向判定手段１００により判定された上下方向に基づいて回転させた上で前記映像情報デコーダ３４により再生させ、前記ビデオミキサ３６において合成させて前記映像表示装置３０に表示させるものであってもよい。

図１３は、前記カラオケ装置１６のＣＰＵ５０による背景映像設定制御の要部を説明するフローチャートであり、所定の周期で繰り返し実行されるものである。

先ず、ステップ（以下、ステップを省略する）ＳＡ１において、前記リモコン受信部６２を介して前記携帯電話機６６からの映像情報が受信されたか否かが判断される。このＳＡ１の判断が否定される場合には、それをもって本ルーチンが終了させられるが、ＳＡ１の判断が肯定される場合には、前記上下方向判定手段１００の動作に対応するＳＡ２において、予め定められた関係からその映像の要素を解析することでその上下方向が判定される。次に、ＳＡ３において、ＳＡ２にて判定された上下方向に基づいて対象となる映像の方向が設定（変更）される。次に、ＳＡ４において、ＳＡ３にて設定された方向で対象となる映像が前記映像表示装置３０に表示されると共に、前記リモコン装置６４等を介して所定の方向転換操作が行われたか否かが判断される。このＳＡ４の判断が否定される場合には、ＳＡ６以下の処理が実行されるが、ＳＡ４の判断が肯定される場合には、ＳＡ５において、対象となる映像の方向が操作に応じて変更される。次に、ＳＡ６において、対象となる映像乃至その上下方向が背景映像に用いられる映像情報として前記ハードディスク５６等に記憶された後、本ルーチンが終了させられる。

図１４は、前記カラオケ装置１６のＣＰＵ５０による演奏映像表示制御の要部を説明するフローチャートであり、所定の周期で繰り返し実行されるものである。

先ず、ＳＢ１において、所定の演奏曲のカラオケ演奏が開始されるか否かが判断される。このＳＢ１の判断が否定される場合には、それをもって本ルーチンが終了させられるが、ＳＢ１の判断が肯定される場合には、ＳＢ２において、前記映像表示装置３０に演奏開始に係る演奏曲のタイトル画面が表示される。次に、ＳＢ３において、前記映像情報デコーダ３４等を介して背景映像の再生が開始される。ここで、前述した図１３の制御におけるＳＡ６において、前記携帯電話機６６の撮像部８０により撮影された映像が背景映像に用いられる映像として前記ハードディスク５６に記憶されている場合には、斯かる映像の再生が開始される。次に、ＳＢ４において、歌詞文字映像の表示切替タイミングであるか否かが判断される。このＳＢ４の判断が否定される場合には、ＳＢ６以下の処理が実行されるが、ＳＢ４の判断が肯定される場合には、ＳＢ５において、演奏に係る演奏曲の歌詞情報に基づいて歌詞文字映像の表示切替制御が行われる。次に、ＳＢ６において、演奏に係る演奏曲の歌詞情報に基づいて歌詞文字映像の色替表示制御が行われる。次に、ＳＢ７において、演奏に係る演奏曲のカラオケ演奏が終了されるか否かが判断される。このＳＢ７の判断が否定される場合には、ＳＢ４以下の処理が再び実行されるが、ＳＢ７の判断が肯定される場合には、ＳＢ８において、前記映像情報デコーダ３４等による背景映像の再生が停止させられた後、本ルーチンが終了させられる。以上の制御において、ＳＢ３乃至ＳＢ８が前記演奏映像表示制御手段１０２の動作に対応する。

このように、本実施例によれば、所定の撮像装置により撮影された映像に関して、予め定められた関係からその映像の要素を解析することでその映像の上下方向を判定する上下方向判定手段１００（ＳＡ２）と、その上下方向判定手段１００により判定された上下方向に基づいて、前記演奏曲の出力に併行して前記映像を前記背景映像として出力させる演奏映像表示制御手段１０２（ＳＢ３乃至ＳＢ８）とを、備えたものであることから、所定の撮像装置により撮影された映像を背景映像として用いる場合に、その映像の上下が逆さまになることを好適に防止することができる。すなわち、取り込まれた映像の上下方向を取り違えることなく背景映像として用い得るカラオケ装置１６を提供することができる。

また、前記上下方向判定手段１００は、前記撮像装置により撮影された映像における人物の顔に相当する部分を検出すると共に、その部分における目及び口に相当する部分１０４、１０６を解析することでその映像の上下方向を判定するものであるため、前記撮像装置により撮影された、人物を含む映像の上下方向を実用的な態様で判定することができる。

また、前記上下方向判定手段１００は、前記撮像装置により撮影された映像を２値化すると共に複数の領域に分割し、各領域における濃淡の分布を解析することでその映像の上下方向を判定するものであるため、前記撮像装置により撮影された、一定の方向からの光が当たっている映像の上下方向を実用的な態様で判定することができる。

また、前記撮像装置は、前記携帯電話機６６に備えられた撮像部８０であるため、その携帯電話機６６により撮像された映像の上下方向を取り違えることなく背景映像として用いることができる。

以上、本発明の好適な実施例を図面に基づいて詳細に説明したが、本発明はこれに限定されるものではなく、更に別の態様においても実施される。

例えば、前述の実施例では、前記携帯電話機６６に備えられた撮像部８０により撮影された映像を背景映像として用いるカラオケ装置１６について説明したが、本発明はこれに限定されるものではなく、例えば一般的なデジタルカメラにより撮影された映像を背景映像として用いるカラオケ装置にも、本発明は好適に適用される。

また、前述の実施例において、前記携帯電話機６６の撮像部８０により撮影された映像は、前記リモコン送信部９６からリモコン信号として前記カラオケ装置１６へ送信されるものであったが、例えば電子メールの添付ファイルとして前記通信回線１８を介して送信されるものであってもよく、或いは、ブルートゥースモジュール等を介して送信されるものであってもよい。すなわち、種々の通信手段が設計に応じて適宜用いられ得る。更には、前記カラオケ装置１６にＣＤ、ＤＶＤ、ＳＤカード等のメディアを読み取る装置を内蔵した構成において、そのメディアに記憶された映像を読み取って前記背景映像として用いる態様においても本発明は好適に適用される。

また、前述の実施例では特に言及していないが、前記上下方向判定手段１００は、前記撮像装置により撮影された映像における人物の顔に相当する部分を検出すると共に、その部分における目及び口に相当する部分を解析することでその映像の上下方向を判定する第１の判定制御と、その映像を２値化すると共に複数の領域に分割し、各領域における濃淡の分布を解析することでその映像の上下方向を判定する第２の判定制御とを併行して行い、それら２つの判定結果から総合的に対象となる映像の上下方向を判定するものであってもよい。

その他、一々例示はしないが、本発明はその趣旨を逸脱しない範囲内において種々の変更が加えられて実施されるものである。

本発明が好適に適用されるカラオケシステムを説明する概略図である。本発明の一実施例であるカラオケ装置の構成を例示するブロック線図である。図２に示すカラオケ装置の入力装置として用いられ得る、撮像部を備えた携帯電話機の構成を例示するブロック線図である。図２に示すカラオケ装置のＣＰＵに備えられた制御機能の要部を説明する機能ブロック線図である。図３に示す携帯電話機の撮像部により撮影され、図２に示すカラオケ装置のリモコン受信部を介して受信された映像の一例を示す図である。図５に示す映像における人物の顔に相当する部分を検出すると共に、その部分における目及び口に相当する部分を解析することでその映像の上下方向を判定する制御を説明する図であり、図５に示す映像を色分け処理した状態を示している。図５に示す映像における人物の顔に相当する部分を検出すると共に、その部分における目及び口に相当する部分を解析することでその映像の上下方向を判定する制御を説明する図であり、図６に示す色分け処理された映像における各範囲の重心を示している。図５に示す映像の上下方向が本来の方向となるように回転させた映像を示している。図５に示す映像を２値化すると共に複数の領域に分割し、各領域における濃淡の分布を解析することでその映像の上下方向を判定する制御を説明する図であり、図５に示す映像を複数の領域に分割した状態を示している。図９に示す複数の領域に分割された映像における所定の領域を例示する図である。図５に示す映像を２値化すると共に複数の領域に分割し、各領域における濃淡の分布を解析することでその映像の上下方向を判定する制御を説明する図であり、図９に示すように分割された各領域に関してその中心から白ドットの重心へベクトルが引かれた状態を示している。図５に示す映像を２値化すると共に複数の領域に分割し、各領域における濃淡の分布を解析することでその映像の上下方向を判定する制御を説明する図であり、図１１に示す各領域のベクトルが合成された合成ベクトルを示している。図２に示すカラオケ装置のＣＰＵによる背景映像設定制御の要部を説明するフローチャートである。図２に示すカラオケ装置のＣＰＵによる演奏映像表示制御の要部を説明するフローチャートである。

符号の説明

１６：カラオケ装置
６６：携帯電話機
８０：撮像部
１００：上下方向判定手段
１０２：演奏映像表示制御手段
１０４：目に相当する部分
１０６：口に相当する部分

Claims

多数の演奏曲のうちから選択される所定の演奏曲を出力させると共に、該演奏曲の出力と併行して所定の歌詞文字映像及び背景映像を表示させるカラオケ装置であって、
所定の撮像装置により撮影された映像に関して、予め定められた関係から該映像の要素を解析することで該映像の上下方向を判定する上下方向判定手段と、
該上下方向判定手段により判定された上下方向に基づいて、前記演奏曲の出力に併行して前記映像を前記背景映像として出力させる演奏映像表示制御手段と
を、備えたものであることを特徴とするカラオケ装置。
前記上下方向判定手段は、前記撮像装置により撮影された映像における人物の顔に相当する部分を検出すると共に、該部分における目及び口に相当する部分を解析することで該映像の上下方向を判定するものである請求項１に記載のカラオケ装置。
前記上下方向判定手段は、前記撮像装置により撮影された映像を２値化すると共に複数の領域に分割し、各領域における濃淡の分布を解析することで該映像の上下方向を判定するものである請求項１に記載のカラオケ装置。
前記撮像装置は、携帯電話機に備えられたものである請求項１から３の何れか１項に記載のカラオケ装置。