JP2022061771A - 音像描画装置及び音像描画方法 - Google Patents

Abstract

【課題】評価者が知覚した音像を効率良く可視化する音像描画装置及び音像描画方法を提供する。【解決手段】音像描画システムにおいて、音像描画装置５０は、音声出力制御部５２１と、追跡部５２２と、画像表示制御部５２３と、格納部５２４とを有する。音声出力制御部５２１は、音響パラメータに従って音声出力装置２０に音声を出力させる。追跡部５２２は、ユーザの身体の動きを追跡する。画像表示制御部５２３は、追跡部５２２によって得られたユーザの身体の動きの軌跡を基に生成されたオブジェクトを、撮影された画像に合成して表示装置３０に表示させる。格納部５２４は、音響パラメータとオブジェクトを生成するための情報とを対応付けて記憶部５３に格納する。【選択図】図２

Description

本発明は、音像描画装置及び音像描画方法に関する。

従来、車両内において集音した音声データを基に音像を生成し、生成した音像を画像に重畳表示する方法が知られている（例えば、特許文献１又は２を参照）。また、音像の定位評価を行う際に、評価者が知覚した音像を俯瞰図及び正面図に手描きで描画する方法が知られている。

特開２０２０－１２７０４号公報 特開２００４－７７２７７号公報

しかしながら、従来の技術方法では、評価者が知覚した音像を効率良く可視化することができない場合がある。例えば、特許文献１及び２に記載の自動的に音像を描画する方法では、評価者が知覚する主観的な音像を可視化することはできない。また、俯瞰図及び正面図に手描きで描画する方法は評価者の作業負荷を増大させる。

本発明は、上記に鑑みてなされたものであって、評価者が知覚した音像を効率良く可視化することができる音像描画装置及び音像描画方法を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る音像描画装置は、音声出力制御部と、追跡部と、画像表示制御部と、格納部とを有する。音声出力制御部は、音響パラメータに従って音声出力装置に音声を出力させる。追跡部は、ユーザの身体の動きを追跡する。画像表示制御部は、追跡部によって得られたユーザの身体の動きの軌跡を基に生成されたオブジェクトを、撮影された画像に合成して表示装置に表示させる。格納部は、音響パラメータとオブジェクトを生成するための情報とを対応付けて記憶部に格納する。

本発明によれば、評価者が知覚した音像を効率良く可視化することができる。

図１は、実施形態に係る音像描画システムの構成を示す図である。 図２は、実施形態に係る音像描画装置の構成を示す機能ブロック図である。 図３は、オブジェクトの一例を示す図である。 図４は、オブジェクトの選択について説明する図である。 図５は、オブジェクトの変形について説明する図である。 図６は、オブジェクトの一例を示す図である。 図７は、オブジェクトの再現について説明する図である。 図８は、実施形態に係る音像描画装置が実行する処理の手順を示すフローチャートである。

以下、添付図面を参照して、本願の開示する音像描画装置及び音像描画方法の実施形態を詳細に説明する。なお、以下に示す実施形態により本発明が限定されるものではない。

まず、図１を用いて、実施形態に係る音像描画装置を含む音像描画システムについて説明する。図１は、実施形態に係る音像描画システムの構成を示す図である。

音質評価において、集計者は、評価者が描画した音像を集計し解析する。図１のユーザＵは評価者である。音像描画システム１は、評価者による音像の描画を支援することができる。なお、集計者及び評価者は、それぞれ解析者及び入力者と言い換えられてもよい。

図１に示すように、音像描画システム１は、車両１０、音声出力装置２０、表示装置３０、カメラ４０及び音像描画装置５０を有する。例えば、車両１０は自動車である。

音声出力装置２０は、例えば車両１０に備えられたスピーカである。また、表示装置３０は、例えばユーザＵによって装着されたＶＲ（Virtual Reality）ゴーグルである。

音像描画装置５０は、音像に関する画像を表示装置３０に表示させる。なお、表示装置３０、カメラ４０及び音像描画装置５０は１つの装置として一体化されていてもよい。

音像描画装置５０は、表示装置３０と分離された別の装置であってもよい。その場合、音像描画装置５０は、車両１０に搭載されたＥＣＵ（Electronic Control Unit）、又は車両１０との間でデータ通信が可能なサーバによって実現されてもよい。

実施形態に係る音像描画方法では、音像描画装置５０は、音響パラメータに従って音声出力装置２０に音声を出力させる。

実施形態に係る音像描画方法では、音像描画装置５０は、ユーザＵの身体の動きを追跡する。

実施形態に係る音像描画方法では、音像描画装置５０は、追跡して得られたユーザＵの身体の動きの軌跡を基に生成されたオブジェクトを、撮影された画像に合成して表示装置３０に表示させる。

実施形態に係る音像描画方法では、音像描画装置５０は、音響パラメータとオブジェクトを生成するための情報とを対応付けて記憶部に格納する。

このため、本実施形態によれば、評価者が知覚した音像を効率良く可視化することができる。

図２は、実施形態に係る音像描画装置の構成を示す機能ブロック図である。図２に示すように、音像描画装置５０は、ＩＦ部５１、制御部５２及び記憶部５３を有する。

ＩＦ部５１は、音像描画装置５０を他の装置と接続するためのインタフェースである。音像描画装置５０は、ＩＦ部５１を介して音声出力装置２０、表示装置３０及びカメラ４０と接続される。

音像描画装置５０の制御部５２及び記憶部５３は、例えばＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、フラッシュメモリ、入出力ポート等を有するコンピュータや各種の回路により実現される。

コンピュータのＣＰＵは、例えばＲＯＭに記憶されたプログラムを読み出して実行することによって、制御部５２の音声出力制御部５２１、追跡部５２２、画像表示制御部５２３及び格納部５２４として機能する。

また、記憶部５３は、ＲＡＭやフラッシュメモリに対応する。ＲＡＭやフラッシュメモリは、音響情報５３１、オブジェクト情報５３２及び各種プログラムの情報等を記憶することができる。

なお、音像描画装置５０は、有線や無線のネットワークで接続された他のコンピュータや可搬型記録媒体を介して上記したプログラムや各種情報を取得することとしてもよい。

音声出力制御部５２１は、音響パラメータに従って音声出力装置２０に音声を出力させる。例えば、音声出力制御部５２１は、車両１０内に備えられた音声出力装置２０から、音響パラメータに従って音声を出力させる。

音響情報５３１は、音響パラメータを含む。音声出力制御部５２１は、音響情報５３１から取得した音響パラメータを基に音声を出力させる。

音響パラメータは、音声の波形を再現するためのパラメータであってもよいし、あらかじめ作成された音声ファイルであってもよい。

追跡部５２２は、ユーザＵの身体の動きを追跡する。例えば、追跡部５２２は、カメラ４０から入力された画像を基にユーザＵの手のひら等の部位を認識し、認識した部位の位置を随時計算することで当該部位を追跡する。

表示装置３０、カメラ４０及び追跡部５２２は、モーショントラッキング及び水平面の検出等が可能なＡＲ（Augmented Reality）機器を実現することができる。

画像表示制御部５２３は、追跡部５２２によって得られたユーザＵの身体の動きの軌跡を基に生成されたオブジェクトを、撮影された画像に合成して表示装置３０に表示させる。

ここで、ユーザＵは、音声を聴くことによって知覚した音場を、身体の動きによって表現するものとする。このとき、ユーザＵによって表現された音場を、音像描画装置５０がオブジェクトとして描画したものを音像と呼ぶ。

例えば、画像表示制御部５２３は、追跡部５２２によって得られたユーザＵの身体の動きの軌跡を基に生成された３次元オブジェクトを、撮影された画像を背景とする仮想的な空間に描画する。これにより、ユーザＵは音像を直感的に確認することができる。

図３は、オブジェクトの一例を示す図である。図３の画面は、画像表示制御部５２３が表示装置３０に表示させている画面の一例である。

図３の画面の背景は、カメラ４０によって撮影された画像である。このように、画像表示制御部５２３は、オブジェクトを、ユーザＵの視界を模した画像に重畳させて、ユーザＵが装着しているゴーグル型の表示装置３０に表示させる。

画像表示制御部５２３は、画面にオブジェクト３０１を表示させる。オブジェクト３０１は、３次元オブジェクトである。そのため、光源及びカメラ４０の撮影位置等に応じた光沢及び影を表現することができる。

例えば、画像表示制御部５２３は、追跡部５２２によって得られたユーザＵの手のひらの軌跡で囲まれる空間と一致するオブジェクトを生成する。また、画像表示制御部５２３は、軌跡を基に球、楕円体、直方体等のオブジェクトを生成してもよい。

格納部５２４は、音響パラメータとオブジェクトを生成するための情報とを対応付けて記憶部５３に格納する。例えば、格納部５２４は、オブジェクト３０１の重心、奥行き、高さ等の特徴量をオブジェクト情報５３２として記憶部５３に格納する。

また、格納部５２４は、第１の画像に示されるマーカ１１とオブジェクトとの位置関係を記憶部５３に格納する。図３の例では、マーカ１１は車両１０のピラー部分に印字されているが、他の位置に印字されていてもよい。

図４は、オブジェクトの選択について説明する図である。ユーザＵが生成済みのオブジェクトに対して所定の操作を行った場合、画像表示制御部５２３は、当該オブジェクトを選択状態にする。

例えば、図４のオブジェクト３０１に対し、追跡部５２２によって得られた軌跡から、一定時間手のひらをかざす、素早くなでる、一定回数タップする等のジェスチャが検知された場合、画像表示制御部５２３はオブジェクト３０１を選択状態にする。

画像表示制御部５２３は、追跡部５２２によって得られたユーザＵの身体の動きに従って、３次元オブジェクトを移動、拡縮又は変形させる。例えば、画像表示制御部５２３は、選択状態になったオブジェクトを、ユーザＵの身体の動きに応じて変形させることができる。

このように、ユーザＵは直感的な操作によって音像の変形等を行うことができる。

図５は、オブジェクトの変形について説明する図である。例えば、オブジェクト３０１が楕円体である場合、ユーザＵが楕円体の長軸を圧縮するような動きをした場合、画像表示制御部５２３は、オブジェクト３０１を長軸方向に縮小する。

その他にも、画像表示制御部５２３は、ユーザＵのつまむ、押す、引く、切る、つぶす、のばす、握る等の動作を検知してオブジェクト３０１を変形させることができる。

画像表示制御部５２３は、図６のように、複数のオブジェクトを表示させることができる。図６は、オブジェクトの一例を示す図である。

また、画像表示制御部５２３は、音響パラメータに基づく音場を構成する要素のそれぞれに対応付けられたオブジェクトを描画する。

例えば、画像表示制御部５２３は、ユーザＵによって表現された音場であって、帯域ごと（高域、中域、低域）に表現された音場のそれぞれを、個別のオブジェクトとして描画する。これにより、多様な音像の表現が可能になる。

また、音声が楽曲を再生するものである場合、画像表示制御部５２３は、パートごと又は楽器ごとにオブジェクトを描画してもよい。

例えば、図６のオブジェクト３０２、オブジェクト３０３及びオブジェクト３０４は、それぞれ種類が異なる音源の音声を基にユーザＵが生成したものであってもよい。

また、画像表示制御部５２３は、図６に示す複数のオブジェクトのうち、ユーザＵによって選択されたオブジェクトを表示し、選択されていないオブジェクトを非表示にしてもよい。

音像描画装置５０は、記憶部５３に格納されたオブジェクトを異なる日時及び場所で再現することができる。これにより、評価者以外のユーザＵが、評価者が知覚した音場を追体験することができる。

例えば、画像表示制御部５２３は、記憶部５３に格納されたオブジェクトを生成するための情報を基に生成したオブジェクトを、撮影された画像である第１の画像と異なる第２の画像に合成して表示させる。図７は、オブジェクトの再現について説明する図である。

図７は、車両１０内で生成されたオブジェクトを、オフィス内で再現した場合の例である。図７に示すように、オフィス内の所定の場所に、マーカ１１と同等の視覚的特徴を持つマーカ１１ａが印字されている。

図６の背景の画像は第１の画像の一例である。また、図７の背景の画像は第２の画像の一例である。

図７のオブジェクト３０２ａ、オブジェクト３０３ａ及びオブジェクト３０４ａとマーカ１１ａとの位置関係は、図６のオブジェクト３０２、オブジェクト３０３及びオブジェクト３０４とマーカ１１との位置関係と同等である。

このように、音像描画装置５０によれば、保存されたオブジェクトを、別の場所で再現することができるため、集計者は任意の場所で集計及び解析を行うことができる。

また、画像表示制御部５２３は、第２の画像に示されるマーカと第２の画像に表示されるオブジェクトの位置関係が、記憶部５３に記憶された位置関係と同じになるように、オブジェクトを第２の画像に合成して表示させる。

これにより、位置関係を正確に再現することができる。

なお、保存されたオブジェクトの再現は、ＶＲゴーグルに限らず、パーソナルコンピュータ、スマートフォン、タブレット端末等の３次元オブジェクトを描画する機能を備えた任意の装置上で行われてもよい。

図８を用いて、実施形態に係る音像描画装置５０において実行される処理の手順について説明する。図８は、実施形態に係る音像描画装置が実行する処理の手順を示すフローチャートである。

図８に示すように、まず、音像描画装置５０は、音響パラメータに従って音声出力装置２０から音声を出力させる（ステップＳ１０１）。また、音像描画装置５０は、カメラ４０によって撮影された画像からユーザＵの身体の動きを追跡する（ステップＳ１０２）。

ここで、音像描画装置５０は、ユーザＵの身体の動きがオブジェクトを生成するための生成動作であるか否かを確認する（ステップＳ１０３）。

ユーザＵの身体の動きが生成動作でない場合（ステップＳ１０３：Ｎｏ）、音像描画装置５０はステップＳ１０５へ進む。

一方、ユーザＵの身体の動きが生成動作である場合（ステップＳ１０３：Ｙｅｓ）、音像描画装置５０は、身体の動きの軌跡を基にオブジェクトを生成し（ステップＳ１０４）、ステップＳ１０５へ進む。

次に、音像描画装置５０は、ユーザＵの身体の動きがオブジェクトを選択するための選択動作であるか否かを確認する（ステップＳ１０５）。

ユーザＵの身体の動きが選択動作でない場合（ステップＳ１０５：Ｎｏ）、音像描画装置５０はステップＳ１０７へ進む。

一方、ユーザＵの身体の動きが選択動作である場合（ステップＳ１０５：Ｙｅｓ）、音像描画装置５０は、オブジェクトを選択し（ステップＳ１０６）、ステップＳ１０７へ進む。

さらに、音像描画装置５０は、ユーザの身体の動きがオブジェクトを変形させるための変形動作であるか否かを確認する（ステップＳ１０７）。

ユーザＵの身体の動きが変形動作でない場合（ステップＳ１０７：Ｎｏ）、音像描画装置５０はステップＳ１０９へ進む。

一方、ユーザＵの身体の動きが変形動作である場合（ステップＳ１０７：Ｙｅｓ）、音像描画装置５０は、選択済みのオブジェクトを変形させ（ステップＳ１０８）、ステップＳ１０９へ進む。

例えば、オブジェクトの生成動作、選択動作及び変形動作は、それぞれ図３、図４及び図５で説明した動作に対応するものである。

そして、音像描画装置５０は、オブジェクトを描画する（ステップＳ１０９）。このとき、音像描画装置５０は、オブジェクトの生成、選択又は変形の結果を描画するオブジェクトに反映させる。

ここで、ユーザＵの作業が終了される場合（ステップＳ１１０：Ｙｅｓ）、音像描画装置５０は、音響パラメータとオブジェクトの情報を対応付けて保存する（ステップＳ１１１）。

一方、ユーザＵの作業が終了されない場合（ステップＳ１１０：Ｎｏ）、音像描画装置５０は、ステップＳ１０１に戻り処理を繰り返す。

このように、音像描画装置５０は、オブジェクトの生成、選択及び変形と、オブジェクトの描画とを繰り返すことにより、リアルタイムにオブジェクトを変化させて表示させることができる。このため、ユーザＵは直感的な評価及び入力を行うことができる。

音像描画装置５０によれば、特に２次元の紙面上に音像を描画する場合と比べて、評価者の思考を遮られることなく音像を生成することができる。

なお、音像描画装置５０は、作業が終了されるか否かを、ユーザＵによる明示的な終了操作、及び時間経過等の条件により判定することができる。

上述してきたように、実施形態に係る音像描画装置５０は、音声出力制御部５２１と、追跡部５２２と、画像表示制御部５２３と、格納部５２４とを有する。音声出力制御部５２１は、音響パラメータに従って音声出力装置２０に音声を出力させる。追跡部５２２は、ユーザＵの身体の動きを追跡する。画像表示制御部５２３は、追跡部５２２によって得られたユーザＵの身体の動きの軌跡を基に生成されたオブジェクトを、撮影された画像に合成して表示装置３０に表示させる。格納部５２４は、音響パラメータとオブジェクトを生成するための情報とを対応付けて記憶部５３に格納する。

このように、音像描画装置５０によれば、評価者は、自分が感じる音像の位置及び形状を、空間中で身体の動きで示すという直感的かつ簡単な動作により可視化することができる。さらに、音像描画装置５０によれば、音響パラメータと音像を表すオブジェクトの３次元の情報が対応付けられて記憶される。このため、本実施形態によれば、評価者が知覚した音像を効率良く可視化することができる。さらに、その結果、評価者及び集計者による音質評価の作業効率が向上する。

また、ゴーグル型の表示装置を利用することにより、ユーザＵは、実空間を見ながらより正確に音場を表現することが可能になる。

さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細及び代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲及びその均等物によって定義される総括的な発明の概念の精神又は範囲から逸脱することなく、様々な変更が可能である。

Ｕ ユーザ
１ 音像描画システム
１０ 車両
１１、１１ａ マーカ
２０ 音声出力装置
３０ 表示装置
４０ カメラ
５０ 音像描画装置
５１ ＩＦ部
５２ 制御部
５３ 記憶部
３０１、３０２、３０３、３０４、３０２ａ、３０３ａ、３０４ａ オブジェクト
５２１ 音声出力制御部
５２２ 追跡部
５２３ 画像表示制御部
５２４ 格納部
５３１ 音響情報
５３２ オブジェクト情報

Claims (8)

1. 音響パラメータに従って音声出力装置に音声を出力させる音声出力制御部と、
   ユーザの身体の動きを追跡する追跡部と、
   前記追跡部によって得られた前記ユーザの身体の動きの軌跡を基に生成されたオブジェクトを、撮影された画像に合成して表示装置に表示させる画像表示制御部と、
   前記音響パラメータと前記オブジェクトを生成するための情報とを対応付けて記憶部に格納する格納部と、
   を有することを特徴とする音像描画装置。
2. 前記画像表示制御部は、前記追跡部によって得られた前記ユーザの身体の動きの軌跡を基に生成された３次元オブジェクトを、撮影された画像を背景とする仮想的な空間に描画することを特徴とする請求項１に記載の音像描画装置。
3. 前記画像表示制御部は、前記追跡部によって得られた前記ユーザの身体の動きに従って、前記３次元オブジェクトを移動、拡縮又は変形させることを特徴とする請求項２に記載の音像描画装置。
4. 前記画像表示制御部は、前記音響パラメータに基づく音場を構成する要素のそれぞれに対応付けられたオブジェクトを描画することを特徴とする請求項２に記載の音像描画装置。
5. 前記画像表示制御部は、前記記憶部に格納された前記オブジェクトを生成するための情報を基に生成したオブジェクトを、前記撮影された画像である第１の画像と異なる第２の画像に合成して表示させることを特徴とする請求項１に記載の音像描画装置。
6. 前記格納部は、前記第１の画像に示されるマーカと前記オブジェクトとの位置関係を前記記憶部に格納し、
   前記画像表示制御部は、前記第２の画像に示されるマーカと前記第２の画像に表示される前記オブジェクトの位置関係が、前記記憶部に記憶された位置関係と同じになるように、前記オブジェクトを前記第２の画像に合成して表示させることを特徴とする請求項５に記載の音像描画装置。
7. 前記音声出力制御部は、車両内に備えられた音声出力装置から、前記音響パラメータに従って音声を出力させ、
   前記画像表示制御部は、前記オブジェクトを、前記ユーザの視界を模した画像に重畳させて、前記ユーザが装着しているゴーグル型の表示装置に表示させることを特徴とする請求項１に記載の音像描画装置。
8. 音像描画装置によって実行される音像描画方法であって、
   音響パラメータに従って音声出力装置に音声を出力させる音声出力制御工程と、
   ユーザの身体の動きを追跡する追跡工程と、
   前記追跡工程によって得られた前記ユーザの身体の動きの軌跡を基に生成されたオブジェクトを、撮影された画像に合成して表示装置に表示させる画像表示制御工程と、
   前記音響パラメータと前記オブジェクトを生成するための情報とを対応付けて記憶部に格納する格納工程と、
   を含むことを特徴とする音像描画方法。

Images