JP2013187841A - 電子機器及び出力制御方法並びにプログラム - Google Patents

Abstract

【課題】複数の音声付き動画を同時に出力する場合に、各動画と共に各音声の出力状態が適切となるように制御できるようにする。
【解決手段】各外部機器（選択機器）２の各々で同期して取得された音声付き動画を近距離無線通信を介して同時に受信取得する動作を開始し（図３のステップＡ６）、受信取得した各動画を個々の画面（分割画面）に割り当て配置して複数の動画を並列表示させる（ステップＡ７）。そして、各動画に対応する音声をその音量セット（Ｌ：左音量，Ｒ：右音量）にしたがって左スピーカ及び右スピーカからそれぞれ出力させる（ステップＡ８）。
【選択図】 図３

Description

本発明は、複数の音声付き動画を同時に出力可能な電子機器及び出力制御方法並びにプログラムに関する。

一般に、音声出力機能及び映像出力機能を備えた電子機器において、複数の音声付き動画を同時に再生する場合に、画面全体を動画の数に応じて分割して各動画を並列表示するようにすれば、ユーザにあっては各動画を同時に見ることが可能となるが、複数の音声をスピーカから同時に出力させると、それらが混合して聞き取り難くなる。このような場合、従来においては、メイン画面に分割画面を重ね合わせて複数の動画を同時に再生する場合、メイン画面に表示されている動画の音声と分割画面に表示されている動画の音声との音量比をユーザが任意に（分割画面の透明度に応じて）変更するようにした技術が提案されている（特許文献１参照）。

特開２００９−５５５４１号公報

しかしながら、特許文献１の技術にあっては、ユーザの注目度に応じて任意に（分割画面を透明化することにより）音量を調整することができるが、逆に、ユーザが指定しなければ（分割画面を透明化しなければ）、音量を調整することができなかった。このため、状況に適した音量を設定するのは難しかった。また、音量を下げるために分割画面を透明化すると、分割画面内の動画が見難くなってしまうという問題もあった。
ところで、例えば、音楽会などでステージ上の演奏風景（演奏者）を色々な角度から撮影・集音するために、撮像機能及び集音機能を備えた複数台の電子機器（外部機器）を演奏者の周辺にそれぞれ分散配置した状態において、この電子機器の各々で撮影・集音された音声付き動画を、その会場内などに設置されている他の電子機器でリアルタイムに受信して同時に再生するようにすれば、ステージ上の演奏風景を色々な角度から多角的に視聴することができると共に、臨場感を向上させることができるようになる。このような場合、動画に関しては、外部機器の台数に応じて画面全体を複数に分割して各動画を並列表示させるようにすればよいが、音声に関しては上述と同様に、状況に適した音量を設定するのが難しいという問題が起きる。

本発明の課題は、複数の音声付き動画を同時に出力する場合に、各動画と共に各音声の
出力状態が適切となるように制御できるようにすることである。

上述した課題を解決するために本発明の電子機器は、
音声出力機能及び映像出力機能を備えた電子機器であって、
複数の音声付き動画を取得する動画取得手段と、
前記動画取得手段によって取得された複数の動画を、異なる位置に設けられた複数の画面の各々に割り当て配置して並列表示させる表示制御手段と、
前記表示制御手段により前記各動画が並列表示されている状態においてその動画の各々に同期して対応する音声をそれぞれ出力させる場合に、前記各動画の表示位置に応じてその動画の各々に対応する音声の出力状態をそれぞれ制御する音声制御手段と、
を備えることを特徴とする電子機器である。

上述した課題を解決するために本発明の出力制御方法は、
複数の音声付き動画を取得するステップと、
前記取得された複数の動画を、異なる位置に設けられた複数の画面の各々に割り当て配置して並列表示するステップと、
前記各動画が並列表示されている状態においてその動画の各々に同期して対応する音声を出力させる場合に、前記各動画の表示位置に応じてその動画の各々に対応する音声の出力状態をそれぞれ制御するステップと、
を含むことを特徴とする出力制御方法である。

上述した課題を解決するために本発明のプログラムは、
コンピュータに対して、
複数の音声付き動画を取得する機能と、
前記取得された複数の動画を、異なる位置に設けられた複数の画面の各々に割り当て配置して並列表示する機能と、
前記各動画が並列表示されている状態においてその動画の各々に同期して対応する音声を出力させる場合に、前記各動画の表示位置に応じてその動画の各々に対応する音声の出力状態をそれぞれ制御する機能と、
を実現させるためのプログラムである。

本発明によれば、複数の音声付き動画を同時に出力する場合に、各動画と共に各音声の出力状態が適切となるように制御することができ、複数の音声付き動画の同時視聴が容易なものとなる。

電子機器として適用した携帯端末装置１において複数台の外部機器２の各々で同期して取得された音声付き動画をリアルタイムに受信して同時に再生する場合を説明するための図。 携帯端末装置１の基本的な構成を示したブロック図。 携帯端末装置１において、複数台の外部機器２の各々で同期して取得された音声付き動画をリアルタイムに受信して同時に再生するリアルタイム同時再生処理（本実施形態の特徴的な動作）を説明するためのフローチャート。 図３に続くリアルタイム同時再生処理を説明するためのフローチャート。 第２実施形態の携帯端末装置１において、複数の音声付き動画を同時に出力する同時再生処理を説明するためのフローチャート。 図５に続く同時再生処理を説明するためのフローチャート。

以下、本発明の実施の形態について、図面を参照して詳細に説明する。
（実施形態１）
先ず、図１〜図４を参照して本発明の第１実施形態を説明する。
本実施形態は、電子機器として携帯端末装置に適用した場合を例示したもので、図１は、この携帯端末装置において、複数台の外部機器（電子機器）の各々で同期して取得された音声付き動画をそれぞれリアルタイムに受信して同時に再生する場合を説明するための図である。

携帯端末装置１は、例えば、スマートフォンと呼ばれる多機能型携帯電話機であり、通話機能、電子メール機能、インターネット接続機能の基本機能のほか、近距離通信機能、集音機能、撮像機能、音声付き動画を再生する再生機能などを備えている。上述の近距離無線通信機能は、例えば、無線ＬＡＮ（Local Area Network）モジュールであり、他の複数台の外部機器（携帯端末装置）２との間で音声付き動画などのデータを送信及び受信する際に使用される通信機能である。なお、近距離無線通信機能としては無線ＬＡＮに限らないことは勿論である。

外部機器２は、少なくとも近距離通信機能、集音機能、撮像機能を備え、撮影・集音された音声付き動画を携帯端末装置１に近距離通信する携帯端末装置であり、本実施形態においては、携帯端末装置１と同種のスマートフォンに適用した場合を例示したもので、通話機能、電子メール機能、インターネット接続機能、近距離通信機能、集音機能、撮像機能、再生機能などを備えた構成となっている。なお、図１は、音楽会などでステージ上の演奏風景を色々な角度から撮影・集音するために、複数台（図示の例では４台）の外部機器２を音源（演奏者）の周囲に分散配置した状態を例示したもので、携帯端末装置１は、音楽会などの会場内部（例えば、客席）において、各外部機器２によって撮影・集音された音声付き動画をリアルタイムに受信して各動画及び音声を同時に再生出力するようにしている。なお、携帯端末装置１は、各外部機器２との間で近距離通信が可能な範囲内であれば、会場の外部であってもよい。

携帯端末装置１は、音声付き動画を再生する際に、外部機器２の数に応じて分割した個々の画面にその外部機器２から受信した動画を並列して配置表示するようにしている。図示の例は、長方体の筐体の向きを横長（横長画面）とした状態において、その横長画面をその中心を境に上下左右に四等分した場合で、その左上画面ＤＰ１、左下画面ＤＰ２、右上画面ＤＰ３、右下画面ＤＰ４には、外部機器２の配置位置に応じてその動画が並べて配置表示される。ここで、図中、左上配置の外部機器２をＡ、左下配置の外部機器２をＢ、右上配置の外部機器２をＣ、右下配置の外部機器２をＤとすると、左上画面ＤＰ１には、左上配置の外部機器Ａ、左下画面ＤＰ２には、左下配置の外部機器Ｂ、右上画面ＤＰ３には、右上配置の外部機器Ｃ、右下画面ＤＰ４には、右下配置の外部機器Ｄからの動画がそれぞれ割り当て配置される。

また、長方体の筐体の向きを横長（横長画面）とした状態において、その横長画面の左右両側には、２チャンネルのステレオ録音・再生が可能な内蔵ステレオ音響部（内蔵スピーカや内蔵マイク）ＳＴ１、ＳＴ２が配置されている。携帯端末装置１は、外部機器２から受信した動画を再生出力する際に、各動画の表示位置、つまり、左上画面ＤＰ１、左下画面ＤＰ２、右上画面ＤＰ３、右下画面ＤＰ４のうち、表示されている画面の位置に応じて当該各動画に対応する音声の出力音量をそれぞれ変更するようにしている。なお、各動画に対応する音声を内蔵ステレオ音響部ＳＴ１、ＳＴ２から出力する場合に限らず、ヘッドフォンＨＰなどの外付けステレオ音響部から出力するようにしてもよい。

図２は、携帯端末装置１の基本的な構成を示したブロック図である。
なお、外部機器２も携帯端末装置１と同様に構成されているので、その説明は省略するものとする。
ＣＰＵ１１は、二次電池（図示省略）を備えた電源部１２からの電力供給によって動作し、記憶部１３内の各種のプログラムに応じてこの携帯端末装置の全体動作を制御する中央演算処理装置である。記憶部１３には、プログラムメモリＭ１、ワークメモリＭ２などが設けられている。

プログラムメモリＭ１は、図３及び図４に示した動作手順に応じて本実施形態を実現するためのプログラムや各種のアプリケーションなどが格納されているほか、それに必要とする情報などが記憶されている。ワークメモリＭ２は、携帯端末装置が動作するために必要となる各種の情報（例えば、撮影された画像、フラグなど）を一時的に記憶するワーク領域である。なお、記憶部１３は、例えば、ＳＤカード、ＩＣカードなど、着脱自在な可搬型メモリ（記録メディア）を含む構成であってもよく、また、その一部が図示しない所定の外部サーバの領域を含むものであってもよい。

無線通信部１４は、音声通話機能、電子メール機能、インターネット接続機能時に使用される広域通信部であり、通話機能の動作時には音声処理部１５を介して通話用スピーカＳＰから音声出力させ、また、通話用マイクＭＣからの入力音声を音声信号処理部１５から取り込んでアンテナから発信出力させる。タッチ入力表示部１６は、表示部とタッチ入力部を有する構成で、高精細な表示部の前面にタッチ入力部を配置することによりソフトウェアキー（タッチキー）を割り当て配置してその機能名を表示したり、指などによるタッチ操作を感知してそのタッチ操作に応じたデータを入力したりするデバイスで、縦横比（横４：縦３）の異なる画面を有している。

撮像部１７は、図示省略したが、光学レンズからの被写体像が撮像素子（ＣＣＤやＣＭＯＳなど）に結像されることにより被写体を高精細に撮影可能なカメラ部を構成するもので、静止画像のほかに動画像の撮影も可能な構成となっている。この撮像素子によって光電変換された画像信号（アナログ値の信号）は、色分離やＲＧＢの色成分毎のゲイン調整などが行われた後、デジタル値のデータに変換される。そして、デジタル変換された画像データは、色補間処理（デモザイク処理）が施されてフルカラー表示される。近距離無線通信部１８は、無線ＬＡＮモジュールであり、複数台の外部機器２の各々で同期して取得された音声付き動画を同時に受信可能なマルチポートを有している。位置取得部１９は、ＧＰＳ（Global Positioning System）機能で、現在の位置情報を取得する。

動画処理部２０は、複数台の外部機器２の各々で同期して取得された音声付き動画をリアルタイムに同時に再生表示させる場合の再生処理を行うもので、受信した動画をＤ／Ａ変換してタッチ入力表示部１６に再生表示させるが、その際、図1に示すように分割した個々の画面に各動画を並列して配置表示させるようにしている。音声処理部２１は、複数チャンネル（左右２チャンネル）のステレオ録音・再生が可能なステレオ音響部を構成するもので、複数台の外部機器２の各々で同期して取得された音声データをＤ／Ａ変換して、当該装置本体（機器本体）の所定位置（左右の両側位置）に配設されている複数の音声出力部（左スピーカ２１ａ及び右スピーカ２１ｂ）に音声信号を与える。また、複数の音声入力部（左マイク２１ｃ及び右マイク２１ｄ）から入力された音声信号をＡ／Ｄ変換して、近距離無線通信部１８に音声データを与える。

次に、第１実施形態における携帯端末装置１の動作概念を図３及び図４に示すフローチャートを参照して説明する。ここで、これらのフローチャートに記述されている各機能は、読み取り可能なプログラムコードの形態で格納されており、このプログラムコードにしたがった動作が逐次実行される。また、ネットワークなどの伝送媒体を介して伝送されてきた上述のプログラムコードに従った動作を逐次実行することもできる。このことは後述する他の実施形態においても同様であり、記録媒体のほかに、伝送媒体を介して外部供給されたプログラム／データを利用して本実施形態特有の動作を実行することもできる。なお、図４及び図４は、携帯端末装置１の全体動作のうち、本実施形態の特徴部分の動作概要を示したフローチャートであり、この図３及び図４のフローから抜けた際には、全体動作のメインフロー（図示省略）に戻る。

図３及び図４は、携帯端末装置１において、複数台の外部機器２の各々で同期して取得された音声付き動画をリアルタイムに受信して同時に再生するリアルタイム同時再生処理（本実施形態の特徴的な動作）を説明するためのフローチャートであり、その再生指示操作に応じて実行開始される。
先ず、携帯端末装置１は、その周囲に存在している各外部機器２のうち、所定の複数台の外部機器２を選択してその位置情報（経緯度情報）を受信取得する（図３のステップＡ１）。

すなわち、近距離無線通信部１８によって通信可能な範囲内に存在している各外部機器２のうち、音声付き動画を提供可能な外部機器２であるかを問い合わせ、提供可能な外部機器２であれば、その機器識別情報と共にその位置情報を近距離無線通信部１８を介して受信取得する。なお、本実施形態においては、音声付き動画を提供可能な外部機器２として４台選択するようにしているが、２台や３台の外部機器２を選択するようにしてもよく、また、その台数をユーザ操作により任意に指定可能としてもよい。

次に、タッチ入力表示部１６の画面全体を分割する分割数をユーザ操作によって入力指定すると共に、この分割数によって分割される個々の画面（分割画面）の表示位置（個々の画面の配置位置）を指定する（ステップＡ２）。ここで、ＣＰＵ１１は、タッチ入力表示部１６の画面全体をユーザ指定された指定分割数に基づいて分割すると共に、分割した個々の画面（分割画面）を指定された表示位置に配置表示させる（ステップＡ３）。これによって、タッチ入力表示部１６の画面全体は、例えば、図１に示すようにユーザ指定に応じて左上画面ＤＰ１、左下画面ＤＰ２、右上画面ＤＰ３、右下画面ＤＰ４の個々の分割画面に分割配置される。

そして、上述した音声付き動画を提供可能な外部機器２の位置情報を参照して、画面分割数に対応する数の外部機器２であって、各分割画面の相対的な位置関係と同じ位置関係にある複数台の外部機器２を選択する（ステップＡ４）。例えば、図１の例では、各分割画面は、左上画面ＤＰ１、左下画面ＤＰ２、右上画面ＤＰ３、右下画面ＤＰ４の位置関係にあるので、相対的にそのような位置関係（左上配置、左下配置、右上配置、右下配置の関係）にある４台の外部機器２をそれらの位置情報を参照することによって選択する。次に、複数のスピーカ（左スピーカ２１ａ及び右スピーカ２１ｂ）の音量の組み合わせ（音量セット）を選択機器毎に決定する（ステップＡ５）。
なお、相対的な位置関係を特定する際には、左上、左下、右上、右下の位置関係を、左奥、左手前、右奥、右手前の位置関係に置き換えたり、その逆の置き換えを行って相対的な位置関係を特定したりするようにしてもよい。

すなわち、複数の音声の各々に対応するステレオ音声の位置が、分割画面の相対的な位置関係と同じになるような複数のスピーカ音量の組み合わせである音量セットを選択機器毎に決定する。すなわち、複数のスピーカ（左スピーカ２１ａ及び右スピーカ２１ｂ）から複数チャンネル（左右２チャンネル）のステレオ音声を出力させる場合に、左右チャンネルのステレオ音声の位置関係（前後左右関係）が分割画面の相対的な位置関係と同じになるように音量セットを決定する。
ことき、ステレオ音声が立体的なサラウンド音声である場合には、そのまま音声位置の前後関係が再現されるが、２次元的なステレオ音声の場合には、音量によって前後関係が再現されることになる（後ろにいくほど音量が小さくなる）。

例えば、図１の例において、左上画面ＤＰ１には、左上配置の外部機器Ａ、左下画面ＤＰ２には、左下配置の外部機器Ｂ、右上画面ＤＰ３には、右上配置の外部機器Ｃ、右下画面ＤＰ４には、右下配置の外部機器Ｄからの動画がそれぞれ割り当て配置されているので、左上画面ＤＰ１、つまり外部機器Ａの位置（他の機器との相対的な位置関係）を左奥とすると、携帯端末装置１の左スピーカ２１ａからの音量が右スピーカ２１ｂからの音声よりも大きく、かつ、他の機器との相対的な位置関係が左手前となる外部機器Ｂよりも左右スピーカ２１ａ、２１ｂからの音量が小さくなるように、外部機器Ａからの音声を左右スピーカ２１ａ、２１ｂからそれぞれ出力する場合の音量の組み合わせ（Ｌ：左音量，Ｒ：右音量）を音量セットとして決定する。
また、スピーカが、左右２つだけでなく、上下左右に４つ設けられている場合には、分割画面の左上、左下、右上、右下の位置関係を、置き換え無しで、そのままステレオ音声の左上、左下、右上、右下の位置関係に対応させることができる。

なお、音量セット（Ｌ：左音量，Ｒ：右音量）のＬ：左音量は、左スピーカ２１ａから出力される音量、Ｒ：右音量は、右スピーカ２１ｂから出力される音量を示している。また、（Ｌ：左音量，Ｒ：右音量）内の数値が大きいほど音量が大きいことを示しているが、音量の大小関係を示すものであれば、その数値は任意である。同様に、左下画面ＤＰ２、右上画面ＤＰ３、右下画面ＤＰ４の相対的な位置関係に応じて、外部機器Ｂの音量セット（Ｌ：左音量，Ｒ：右音量）、外部機器Ｃの音量セット（Ｌ：左音量，Ｒ：右音量）、外部機器Ｄの音量セット（Ｌ：左音量，Ｒ：右音量）をそれぞれ決定する。

このようにして選択機器毎に音量セットを決定した状態において、各外部機器（選択機器）２の各々で同期して取得された音声付き動画を近距離無線通信部１８を介して同時に受信取得する動作を開始する（ステップＡ６）。これによって各外部機器（選択機器）２から受信取得した各動画を個々の画面（分割画面）に割り当て配置して複数の動画を並列表示させる（ステップＡ７）。その際、各分割画面の相対的な位置（表示位置）と、各外部機器（選択機器）２が配置されている相対的な位置（配置位置）とは、同じ関係にあるので、各外部機器（選択機器）２から取得した動画を同じ位置関係にある分割画面に割り当て配置するようにしている。これによって左上画面ＤＰ１には、左上配置の外部機器Ａ、左下画面ＤＰ２には、左下配置の外部機器Ｂ、右上画面ＤＰ３には、右上配置の外部機器Ｃ、右下画面ＤＰ４には、右下配置の外部機器Ｄからの動画がそれぞれ割り当て表示されることになる。

このように各外部機器（Ａ、Ｂ、Ｃ、Ｄ）２から受信取得した各動画を並列表示させると、各動画に対応する音声をその音量セット（Ｌ：左音量，Ｒ：右音量）にしたがって左スピーカ２１ａ及び右スピーカ２１ｂからそれぞれ同時に出力させる（ステップＡ８）。例えば、図１に示すように各動画が並列表示されている状態において、外部機器Ａ・外部機器Ｂ・外部機器Ｃ・外部機器Ｄの音量セットがＡ=（Ｌ：１０，Ｒ：２）、Ｂ=（Ｌ：９０，Ｒ：３０）、Ｃ=（Ｌ：３０，Ｒ：９０）、Ｄ=（Ｌ：２，Ｒ：１０）であれば、左スピーカ２１ａからは、Ａ：１０、Ｂ：９０、Ｃ：３０、Ｄ：２の音量比で各音声が出力され、また、右スピーカ２１ｂからは、Ａ：２、Ｂ：３０、Ｃ：９０、Ｄ：１０の音量比で各音声が出力される。

次に、図４のステップＡ９に移り、集音・撮像している各外部機器２の配置状態が変更されたか、いずれかの外部機器２の位置が変化されたかを検出する。この場合、携帯端末装置１は、音声付き動画の同時再生中であっても、各外部機器２を定期的（例えば、１秒間隔）にアクセスしてその位置情報を受信取得し、前回の検出位置に対して変化しているかを調べることにより外部機器２毎にその位置の変化を検出するようにしている。ここで、全ての外部機器２の位置が変化していなければ（ステップＡ９でＮＯ）、画面の表示位置を変更する操作が行われたかを調べる（ステップＡ１０）。いま、表示位置が変更されなければ（ステップＡ１０でＮＯ）、リアルタイム同時再生処理の終了を指示する操作が行われたかを調べ（ステップＡ１１）、その終了操作が行われるまで、図４のステップＡ７に戻って、以下、上述の動作を繰り返す。

ここで、いずれかの外部機器２の配置状態が変更されてその位置の変化を検出すると（図５のステップＡ９でＹＥＳ）、後述する外部機器位置優先であることを条件に（ステップＡ１４でＹＥＳ）、外部機器２の新たな位置に基づいてその外部機器２の音量セットを更新する（ステップＡ１５）。また、表示位置が変更されると（ステップＡ１０でＹＥＳ）、後述する表示位置優先であることを条件に（ステップＡ１２でＹＥＳ）、外部機器２の新たな位置に基づいてその外部機器２の音量セットを更新する（ステップＡ１３）。なお、外部機器位置優先、表示位置優先は、音量セットの更新条件であり、外部機器２の位置が変化した際に更新するか、表示位置が変更された際に更新するかを示すもので、予めユーザ操作によって任意に指定されたものである。ここで、リアルタイム同時再生処理の終了操作が行われたときにき（ステップＡ１１でＹＥＳ）、図３及び図４のフローの終了となる。

以上のように、第１実施形態において携帯端末装置１は、複数の音声付き動画を取得して、この複数の動画を、異なる位置に設けられた複数の画面の各々に割り当て配置して並列表示させた状態において、動画の各々に同期して対応する音声をそれぞれ出力する場合に、各動画（画面）の表示位置に応じてその動画に対応する音声の出力状態をそれぞれ制御するようにしたので、複数の音声付き動画を同時に出力する場合に、各動画と共に各音声の出力状態が適切となるように制御することができる。すなわち、複数の音声付き動画を同時に出力する場合に、各動画が画面上のどこに表示されているかに応じて各動画に対する音声の出力状態を制御することができ、ユーザにあっては動画と音声との対応関係を直感的に把握することが可能となり、複数の音声付き動画の同時視聴が容易なものとなる。

携帯端末装置１は、音声付き動画を送信する送信機能を備えた複数台の外部機器２から音声付き動画を同時に受信取得するようにしたので、複数の音声付き動画を同時にリアルタイム視聴することが可能となる。例えば、音楽会などでステージ上の演奏風景を色々な角度から撮影・集音するために、撮像機能及び集音機能を備えた複数台の外部機器２が音源（演奏者）を中心として分散配置されている状態で、各２の各々で撮影・集音された音声付き動画をリアルタイムに受信して同時に出力することにより、ステージ上の演奏風景を色々な角度から多角的に視聴することができると共に、臨場感に富んだものとなる。

携帯端末装置１は、複数台の外部機器２の配置位置を取得し、この外部機器２の配置位置と各動画（画面）の表示位置との相関関係に応じて各音声の出力状態をそれぞれ制御するようにしたので、例えば、ステージ上の演奏風景を撮影・集音するために複数台の外部機器２が分散配置されている場合、その配置位置を考慮した音声制御が可能となり、動画と音声との対応関係が分かり易くなり、更に臨場感を向上させることができる。

携帯端末装置１は、複数の音声出力部（左スピーカ２１ａ及び右スピーカ２１ｂ）の配置位置と、複数台の外部機器２の配置位置と、各動画の表示位置に応じて各音声の出力状態をそれぞれ制御するようにしたので、例えば、ステージの右側に設置されている外部機器２から送信されてくるモノラル音声を、携帯端末装置１のステレオスピーカ２１ａ、２１ｂから再生する場合に、携帯端末装置１は、このモノラル音声を左右に振り分けると共に、右スピーカ２１ｂからの音量を左スピーカ２１ａよりも大きくして再生し、また、ステージの左側に設置されている外部機器２から送信されてくるモノラル音声を、携帯端末装置１のステレオスピーカ２１ａ、２１ｂから再生する場合に、携帯端末装置１は、このモノラル音声を左右に振り分けると共に、左スピーカ２１ａからの音量を右側よりも大きくして再生することができ、個々の外部機器２がモノラル音声を集音、送信する場合であっても、携帯端末装置１で再生される音声は臨場感のあるものとなる。

複数の音声出力部（左スピーカ２１ａ及び右スピーカ２１ｂ）から複数チャンネル（左右２チャンネル）のステレオ音声を出力させる場合に、この左右チャンネルのステレオ音声の位置関係（左右関係）が各動画（画面）の表示位置の相対的な位置関係となるようにそのステレオ音声の出力状態をそれぞれ制御するようにしたので、２チャンネルのステレオ音声によって動画と音声との対応関係がより分かり易くなると共に、更に臨場感が富んだものとなる。

携帯端末装置１は、ユーザ操作により画面分割数を指定すると共に、指定分割数に応じて分割される個々の画面を配置する表示位置をそれぞれ入力指定するようにしたので、画面レイアウトを外部機器２の配置位置に合わせたり、ユーザの好みに合わせたりすることができる。

携帯端末装置１は、各動画の表示位置に応じて各動画に対応する音声の出力音量をそれぞれ制御するようにしたので、ユーザにあっては複数の音声を音量差により聞き分けることができる。

なお、左スピーカ２１ａ及び右スピーカ２１ｂから左右２チャンネルのステレオ音声を出力させる場合に、左右チャンネルのステレオ音声の位置関係（左右関係）が複数台の外部機器２の配置位置と相関関係を有するようにそのステレオ音声の出力状態をそれぞれ制御するようにしてもよい。このようにしてステレオ音声の出力状態をそれぞれ制御するようにすれば、更に臨場感を向上させることができると共に、動画と音声との対応関係が分かり易くなる。

また、上述した第１実施形態においては、ユーザ操作により画面分割数を指定すると共に、指定分割数に応じて分割される個々の画面を配置する表示位置をそれぞれ入力指定するようにしたが、取得された動画の数に応じて画面全体を分割すると共に、分割した個々の画面に各動画を割り当て配置して並列表示させるようにしてもよい。これによって特別な操作を行うことなく、複数の動画を取得した際に、各動画を並列表示させることができる。

また、上述した第１実施形態においては、各外部機器２から受信取得した各動画を各外部機器２の配置位置に応じて個々の画面（分割画面）に割り当て配置するようにしたが、ユーザ操作によりどの画面に動画を配置するかを任意に入力指定するようにしてもよい。すなわち、複数の動画の各々と個々の画面との対応関係をユーザ操作により任意に入力指定するようにしてもよい。このように複数の動画と画面との対応関係を任意に入力指定するようにすれば、その指定された対応関係に基づいて、個々の画面に複数の動画を割り当て配置することができ、ユーザの意向に応じた並びとなる動画表示が可能となる。

また、上述した第１実施形態においては、１台の携帯端末装置の画面全体を複数に分割することにより、異なる位置に設けられた複数の画面を確保するようにしたが、複数のディスプレイ装置を接続して同時表示するマルチディスプレイ機能を備えたパーソナルコンピュータなどでは、画面を分割することなく、接続された各々のディスプレイ装置に各動画を割り当てるようにしてもよい。なお、このようなマルチディスプレイ機能を備えたパーソナルコンピュータでは、各ディスプレイの配置位置を予めユーザ操作などにより設定、認識させておくようにしてもよい。

また、上述した第１実施形態においては、音楽会などでステージ上の演奏風景を色々な角度から撮影・集音する複数台の外部機器２と、各外部機器２からの音声付き動画をリアルタイムに受信して同時に出力する携帯端末装置１とは、近距離通信が可能な範囲内にあることを条件としたが、この携帯端末装置１を単なる中継機として機能させ、移動体通信網やインターネットを介して遠方の電子機器（パーソナルコンピュータや携帯端末装置など）で複数の音声付き動画をリアルタイムに同時に出力させるようにしてもよい。

また、上述した第１実施形態においては、同じ音源を複数台の外部機器２で撮影・集音する場合を例示したが、複数台の外部機器２は、異なる音源を撮影・集音するようにしてもよい。この場合、携帯端末装置１は、複数台の外部機器２によって異なる音源が撮影・集音された複数の音声付き動画をリアルタイムに同時に出力させるようにしてもよい。

また、上述した第１実施形態においては、複数の音声付き動画をリアルタイムに同時に出力させる場合を例示したが、このようなリアルタイム再生に限らず、記録メディア内の複数の音声付き動画を同時に出力する場合であっても同様に適用可能であり、各動画（画面）の表示位置に応じてその動画に対応する音声の出力状態をそれぞれ制御するようにすればよい。

（第２実施形態）
以下、この発明の第２実施形態について図５及び図６を参照して説明する。
なお、第２実施形態においては、機器本体の所定位置に配設されている複数の音声出力部の配置位置と各動画（画面）の表示位置との相関関係に応じて各音声の出力状態をそれぞれ制御するようにしたものである。第１・第２実施形態において基本的あるいは名称的に同一のものは、同一符号を付して示し、その説明を省略すると共に、以下、第２実施形態の特徴部分を中心に説明するものとする。

図５及び図６は、第２実施形態において、複数の音声付き動画を同時に出力する同時再生処理を説明するためのフローチャートであり、その再生指示操作に応じて実行開始される。
先ず、携帯端末装置１は、タッチ入力表示部１６の全体画面を左右に２分割する（図５のステップＢ１）。なお、第２実施形態においては、説明を簡単にするために左スピーカ２１ａ、右スピーカ２１ｂの配置関係（左右関係）に対応して全体画面を左右に２分割した場合を例示して説明するものとする。このように画面全体を左右に２分割した各画面のうち、その右側の画面に表示される動画（右）と左側の画面に表示される動画（左）がユーザ操作により任意に選択されると、その動画と画面との対応関係を設定する処理を行う（ステップＢ２）。また、ユーザ操作により二つの動画（右）、（左）の音声を分離する度合い（Ａ）が１〜１００％の範囲内の数値で任意に入力指定されると、その度合い（Ａ）を設定する処理を行う（ステップＢ３）。

そして、動画（右）の音声は、ステレオ音声であるかを調べ（ステップＢ４）、モノラル音声であれば（ステップＢ４でＮＯ）、この動画（右）のモノラル音声を、同音量で左右のスピーカ２１ａ、２１ｂに分配する処理（ステップＢ５）を行った後、更に、この動画（右）のモノラル音声の音量を、左スピーカ２１ａでＡ％減少させ、右スピーカ２１ｂでＡ％増加させる調整処理を行う（ステップＢ６）。同様に、動画（左）の音声はステレオ音声であれば（ステップＢ９でＮＯ）、この動画（左）のモノラル音声を、同音量で左右のスピーカ２１ａ、２１ｂに分配する処理（ステップＢ１０）を行った後、更に、この動画（左）のモノラル音声の音量を、左スピーカ２１ａでＡ％増加させ、右スピーカ２１ｂでＡ％減少させる調整処理を行う（ステップＢ１１）。

そして、ステップＢ１４に移り、ユーザ操作により任意に選択された動画（右）を右側の画面に表示させ、動画（左）を左側の画面に表示させる処理を行った後、各動画の音声を、上述のように指定された音量で左右スピーカ２１ａ、２１ｂからそれぞれ出力させる（ステップＢ１５）。そして、同時再生処理の終了を指示する操作が行われたかを調べ（ステップＢ１６）、その終了操作が行われるまで、図５のステップＢ４に戻る。ここで、その終了操作が行われたときには（ステップＢ１６でＹＥＳ）、図５及び図６のフローから抜ける。

一方、動画（右）の音声がステレオ音声であれば（図５のステップＢ４でＹＥＳ）、動画（右）の右側（右チャンネル）音声の音量を、右スピーカ２１ｂでＡ％増加させ、左スピーカ２１ａでＡ％減少させる調整処理を行うと共に（ステップＢ７）、動画（右）の左側（左チャンネル）音声の音量を、右スピーカ２１ｂでＡ％増加させ、左スピーカ２１ａでＡ％減少させる調整処理を行う（ステップＢ８）。同様に、動画（左）の音声がステレオ音声であれば（図６のステップＢ９でＹＥＳ）、動画（左）の右側（右チャンネル）音声の音量を、右スピーカ２１ｂでＡ％減少させ、左スピーカ２１ａでＡ％増加させる調整処理を行うと共に（ステップＢ１２）、動画（左）の左側（左チャンネル）音声の音量を、右スピーカ２１ｂでＡ％減少させ、左スピーカ２１ａでＡ％増加させる調整処理を行う（ステップＢ１３）。

そして、ステップＢ１４に移り、動画（右）データを右側の画面に表示させ、動画（左）データを左側の画面に表示させる処理を行った後、各動画の音声を、上述のように指定された音量で左右スピーカ２１ａ、２１ｂからそれぞれ出力させる（ステップＢ１５）。そして、同時再生処理の終了を指示する操作が行われるまで（ステップＢ１６）、図５のステップＢ４に戻る。ここで、その終了操作が行われたときには（ステップＢ１６でＹＥＳ）、図５及び図６のフローから抜ける。

以上のように、第２実施形態において携帯端末装置１は、機器本体の所定位置に配設されている複数の音声出力部（左スピーカ２１ａ及び右スピーカ２１ｂ）の配置位置と各動画（画面）の表示位置との相関関係に応じて各音声の出力状態をそれぞれ制御するようにしたので、例えば、動画の表示位置が右側であれば、右スピーカ２１ｂからの音量を大きくし、動画の表示位置が左側であれば、左スピーカ２１ａからの音量を大きくすることができ、動画と音声との対応関係が分かり易くなるほか、臨場感に富んだものとなる。

この場合、例えば、このモノラル音声を左右スピーカ２１ａ、２１ｂに振り分けると共に、右スピーカ２１ｂからの音量を左スピーカ２１ａよりも大きくしたり、逆に、左スピーカ２１ａからの音量を右スピーカ２１ｂよりも大きくして再生したりすることにより、第１実施形態と同様に、モノラル音声であっても再生される音声は臨場感に富んだものとなる。また、左スピーカ２１ａ及び右スピーカ２１ｂから左右２チャンネルのステレオ音声を出力させる場合に、この左右チャンネルのステレオ音声の位置関係（左右関係）が各動画の表示位置と相関関係を有するようにそのステレオ音声の出力状態をそれぞれ制御するようにしたので、２チャンネルのステレオ音声によっても上述した第１実施形態と同様の効果を有するほか、更に、動画と音声との対応関係が分かり易くなると共に、臨場感が富んだものとなる。

上述した第２実施形態において、左スピーカ２１ａ、右スピーカ２１ｂの配置関係（左右関係）に対応して全体画面を左右に２分割した場合を示したが、二つのスピーカが上下関係で配置されている場合には、全体画面を上下に２分割するようにしてもよい。また、二つのスピーカが上下左右に配置されている場合には、全体画面を上下左右に４分割するようにしてもよい。また、分割画面の位置を動的に変化させるようにしてもよく、また、分割画面の個々が離れているほど、音声を分離する度合い（Ａ）を大きくするようにしてもよい。ステレオ音声は、２チャンネルに限らず、４チャンネルなどであってもよい。

また、上述した各実施形態においては、各動画の表示位置に応じて各動画に対応する音声の出力音量をそれぞれ制御するようにしたが、音量制御に限らず、例えば、低音や高音など音声の出力音質を制御するようにしてもよく、また、他の音を合成加工するようにしてもよい。また、出力音量及び出力音質を同時に制御するようにしてもよい。このように音声の出力音質を制御するようにすれば、複数の音声を同時に出力させてもユーザにあっては、音質によって各音声を聞き分けることができる。また、音声付き動画においてその動画は、３Ｄ（３次元）映像であってもよい。

また、上述した各実施形態においては、携帯端末装置１及び外部機器２として、スマートフォンについて適用した場合を例示したが、これに限らず、カメラ機能付きパーソナルコンピュータ・ＰＤＡ（個人向け携帯型情報通信機器）・デジタルカメラ・音楽プレイヤーなどに適用するようにしてもよい。

また、上述した各実施形態において示した“装置”や“部”とは、機能別に複数の筐体に分離されていてもよく、単一の筐体に限らない。また、上述したフローチャートに記述した各ステップは、時系列的な処理に限らず、複数のステップを並列的に処理したり、別個独立して処理したりするようにしてもよい。

以上、この発明の実施形態について説明したが、この発明は、これに限定されるものではなく、特許請求の範囲に記載された発明とその均等の範囲を含むものである。
以下、本願出願の特許請求の範囲に記載された発明を付記する。

（付記１）
請求項１に記載の発明は、
音声出力機能及び映像出力機能を備えた電子機器であって、
複数の音声付き動画を取得する動画取得手段と、
前記動画取得手段によって取得された複数の動画を、異なる位置に設けられた複数の画面の各々に割り当て配置して並列表示させる表示制御手段と、
前記表示制御手段により前記各動画が並列表示されている状態においてその動画の各々に同期して対応する音声を出力させる場合に、前記各動画の表示位置に応じてその動画の各々に対応する音声の出力状態をそれぞれ制御する音声制御手段と、
を備えることを特徴とする電子機器である。
（付記２）
請求項２に記載の発明は、請求項１に記載の電子機器において、
前記動画取得手段は、音声付き動画を送信する送信機能を備えた複数台の外部機器から前記音声付き動画を同時に受信取得する、
ようにしたことを特徴とする電子機器である。
（付記３）
請求項３に記載の発明は、請求項１あるいは請求項２に記載の電子機器において、
前記複数台の外部機器の配置位置を取得する位置取得手段を更に備え、
前記音声制御手段は、前記位置取得手段により取得した複数台の外部機器の配置位置と前記各動画の表示位置との相関関係に応じて各音声の出力状態をそれぞれ制御する、
ようにしたことを特徴とする電子機器である。
（付記４）
請求項４に記載の発明は、請求項３に記載の電子機器において、
前記音声制御手段は、機器本体の所定位置に配設されている複数の音声出力部の配置位置と、前記複数台の外部機器の配置位置と、前記各動画の表示位置に応じて各音声の出力状態をそれぞれ制御する、
ようにしたことを特徴とする電子機器である。
（付記５）
請求項５に記載の発明は、請求項３あるいは請求項４に記載の電子機器において、
前記音声は、複数チャンネルのステレオ音声であり、
機器本体の所定位置にそれぞれ設けられている複数の音声出力部から前記複数チャンネルのステレオ音声を出力させる場合に、前記音声制御手段は、前記複数チャンネルの音声の位置関係が前記複数台の外部機器の相対的な配置関係となるようにそのステレオ音声の出力状態をそれぞれ制御する、
ようにしたことを特徴とする電子機器である。
（付記６）
請求項６に記載の発明は、請求項１〜請求項５のいずれかに記載の電子機器において、
前記音声は、複数チャンネルのステレオ音声であり、
機器本体の所定位置にそれぞれ設けられている複数の音声出力部から前記複数チャンネルのステレオ音声を出力させる場合に、前記音声制御手段は、前記複数チャンネルの音声の位置関係が前記各動画の表示位置の相対的な位置関係となるようにそのステレオ音声の出力状態をそれぞれ制御する、
ようにしたことを特徴とする電子機器である。
（付記７）
請求項７に記載の発明は、請求項１〜請求項６のいずれかに記載の電子機器において、
前記音声制御手段は、機器本体の所定位置に配設されている複数の音声出力部の配置位置と前記各動画の表示位置との相関関係に応じて各音声の出力状態をそれぞれ制御する、
ようにしたことを特徴とする電子機器である。
（付記８）
請求項８に記載の発明は、請求項１〜請求項７のいずれかに記載の電子機器において、
前記表示制御手段は、前記動画取得手段によって取得された動画の数に応じて画面全体を分割すると共に、分割した個々の画面に前記各動画を割り当て配置して並列表示させる、
ようにしたことを特徴とする電子機器である。
（付記９）
請求項９に記載の発明は、請求項８に記載の電子機器において、
ユーザ操作により画面分割数を指定すると共に、前記指定分割数に応じて分割される個々の画面を配置する表示位置をそれぞれ入力指定する第１の指定手段を更に備え、
前記表示制御手段は、前記第１の指定手段によって入力指定された分割数に応じて画面全体を分割すると共に、前記指定された表示位置に個々の画面を配置する、
ようにしたことを特徴とする電子機器である。
（付記１０）
請求項１０に記載の発明は、請求項１〜請求項７のいずれかに記載の電子機器において、
前記表示制御手段は、各々が独立して任意の位置に設置可能な複数の表示装置の各々に前記各動画を割り当て配置して並列表示させる、
ようにしたことを特徴とする電子機器である。
（付記１１）
請求項１１に記載の発明は、請求項１〜請求項７のいずれかに記載の電子機器において、
前記複数の動画の各々と前記個々の画面との対応関係をユーザ操作により任意に入力指定する第２の指定手段を更に備え、
前記表示制御手段は、前記第２の指定手段により指定された対応関係に基づいて、前記個々の画面に前記複数の動画を割り当て配置する、
ようにしたことを特徴とする電子機器である。
（付記１２）
請求項１２に記載の発明は、請求項１〜請求項１１のいずれかに記載の電子機器において、
前記音声制御手段は、各動画の表示位置に応じて各動画に対応する音声の出力音量をそれぞれ制御する、
ようにしたことを特徴とする電子機器である。
（付記１３）
請求項１３に記載の発明は、請求項１〜請求項１２のいずれかに記載の電子機器において、
前記音声制御手段は、各動画の表示位置に応じて各動画に対応する音声の出力音質をそれぞれ制御する、
ようにしたことを特徴とする電子機器である。
（付記１４）
請求項１４に記載の発明は、
複数の音声付き動画を取得するステップと、
前記取得された動画の数に応じて画面全体を分割すると共に、分割した個々の画面に前記各動画を割り当て配置して並列表示するステップと、
前記各動画が並列表示されている状態においてその動画の各々に同期して対応する音声を出力させる場合に、前記各動画の表示位置に応じてその動画の各々に対応する音声の出力状態をそれぞれ制御するステップと、
を含むことを特徴とする出力制御方法である。
（付記１５）
請求項１５に記載の発明は、
コンピュータに対して、
複数の音声付き動画を取得する機能と、
前記取得された動画の数に応じて画面全体を分割すると共に、分割した個々の画面に前記各動画を割り当て配置して並列表示する機能と、
前記各動画が並列表示されている状態においてその動画の各々に同期して対応する音声を出力させる場合に、前記各動画の表示位置に応じてその動画の各々に対応する音声の出力状態をそれぞれ制御する機能と、
を実現させるためのプログラムである。

１ 携帯端末装置
２、Ａ、Ｂ、Ｃ、Ｄ 外部機器
１１ ＣＰＵ
１３ 記憶部
１６ タッチ入力表示部
１７ 撮像部
１８ 近距離無線通信部
１９ 位置取得部
２０ 動画処理部
２１ 音声処理部
２１ａ 左スピーカ
２１ｂ 右スピーカ
ＤＰ１ 左上画面
ＤＰ２ 左下画面
ＤＰ３ 右上画面
ＤＰ４ 右下画面

Claims (15)

1. 音声出力機能及び映像出力機能を備えた電子機器であって、
   複数の音声付き動画を取得する動画取得手段と、
   前記動画取得手段によって取得された複数の動画を、異なる位置に設けられた複数の画面の各々に割り当て配置して並列表示させる表示制御手段と、
   前記表示制御手段により前記各動画が並列表示されている状態においてその動画の各々に同期して対応する音声を出力させる場合に、前記各動画の表示位置に応じてその動画の各々に対応する音声の出力状態をそれぞれ制御する音声制御手段と、
   を備えることを特徴とする電子機器。
2. 前記動画取得手段は、音声付き動画を送信する送信機能を備えた複数台の外部機器から前記音声付き動画を同時に受信取得する、
   ようにしたことを特徴とする請求項１に記載の電子機器。
3. 前記複数台の外部機器の配置位置を取得する位置取得手段を更に備え、
   前記音声制御手段は、前記位置取得手段により取得した複数台の外部機器の配置位置と前記各動画の表示位置との相関関係に応じて各音声の出力状態をそれぞれ制御する、
   ようにしたことを特徴とする請求項１あるいは請求項２に記載の電子機器。
4. 前記音声制御手段は、機器本体の所定位置に配設されている複数の音声出力部の配置位置と、前記複数台の外部機器の配置位置と、前記各動画の表示位置に応じて各音声の出力状態をそれぞれ制御する、
   ようにしたことを特徴とする請求項３に記載の電子機器。
5. 前記音声は、複数チャンネルのステレオ音声であり、
   機器本体の所定位置にそれぞれ設けられている複数の音声出力部から前記複数チャンネルのステレオ音声を出力させる場合に、前記音声制御手段は、前記複数チャンネルの音声の位置関係が前記複数台の外部機器の相対的な配置関係となるようにそのステレオ音声の出力状態をそれぞれ制御する、
   ようにしたことを特徴とする請求項３あるいは請求項４に記載の電子機器。
6. 前記音声は、複数チャンネルのステレオ音声であり、
   機器本体の所定位置にそれぞれ設けられている複数の音声出力部から前記複数チャンネルのステレオ音声を出力させる場合に、前記音声制御手段は、前記複数チャンネルの音声の位置関係が前記各動画の表示位置の相対的な位置関係となるようにそのステレオ音声の出力状態をそれぞれ制御する、
   ようにしたことを特徴とする請求項１〜請求項５のいずれかに記載の電子機器。
7. 前記音声制御手段は、機器本体の所定位置に配設されている複数の音声出力部の配置位置と前記各動画の表示位置との相関関係に応じて各音声の出力状態をそれぞれ制御する、
   ようにしたことを特徴とする請求項１〜請求項６のいずれかに記載の電子機器。
8. 前記表示制御手段は、前記動画取得手段によって取得された動画の数に応じて画面全体を分割すると共に、分割した個々の画面に前記各動画を割り当て配置して並列表示させる、
   ようにしたことを特徴とする請求項１〜請求項７のいずれかに記載の電子機器。
9. ユーザ操作により画面分割数を指定すると共に、前記指定分割数に応じて分割される個々の画面を配置する表示位置をそれぞれ入力指定する第１の指定手段を更に備え、
   前記表示制御手段は、前記第１の指定手段によって入力指定された分割数に応じて画面全体を分割すると共に、前記指定された表示位置に個々の画面を配置する、
   ようにしたことを特徴とする請求項８に記載の電子機器。
10. 前記表示制御手段は、各々が独立して任意の位置に設置可能な複数の表示装置の各々に前記各動画を割り当て配置して並列表示させる、
    ようにしたことを特徴とする請求項１〜請求項７のいずれかに記載の電子機器。
11. 前記複数の動画の各々と前記個々の画面との対応関係をユーザ操作により任意に入力指定する第２の指定手段を更に備え、
    前記表示制御手段は、前記第２の指定手段により指定された対応関係に基づいて、前記個々の画面に前記複数の動画を割り当て配置する、
    ようにしたことを特徴とする請求項１〜請求項１０のいずれかに記載の電子機器。
12. 前記音声制御手段は、各動画の表示位置に応じて各動画に対応する音声の出力音量をそれぞれ制御する、
    ようにしたことを特徴とする請求項１〜請求項１１のいずれかに記載の電子機器。
13. 前記音声制御手段は、各動画の表示位置に応じて各動画に対応する音声の出力音質をそれぞれ制御する、
    ようにしたことを特徴とする請求項１〜請求項１２のいずれかに記載の電子機器。
14. 複数の音声付き動画を取得するステップと、
    前記取得された複数の動画を、異なる位置に設けられた複数の画面の各々に割り当て配置して並列表示するステップと、
    前記各動画が並列表示されている状態においてその動画の各々に同期して対応する音声を出力させる場合に、前記各動画の表示位置に応じてその動画の各々に対応する音声の出力状態をそれぞれ制御するステップと、
    を含むことを特徴とする出力制御方法。
15. コンピュータに対して、
    複数の音声付き動画を取得する機能と、
    前記取得された複数の動画を、異なる位置に設けられた複数の画面の各々に割り当て配置して並列表示する機能と、
    前記各動画が並列表示されている状態においてその動画の各々に同期して対応する音声を出力させる場合に、前記各動画の表示位置に応じてその動画の各々に対応する音声の出力状態をそれぞれ制御する機能と、
    を実現させるためのプログラム。

Images