JP2018110366A

JP2018110366A - ３ｄサウンド映像音響機器

Info

Publication number: JP2018110366A
Application number: JP2017008965A
Authority: JP
Inventors: 伊藤　和幸; Kazuyuki Ito; 和幸伊藤; 佳代子伊藤; Kayoko Ito; 久知竹内; Hisatomo Takeuchi
Original assignee: Individual
Current assignee: Individual
Priority date: 2017-01-04
Filing date: 2017-01-04
Publication date: 2018-07-12

Abstract

【課題】ＶＲ、ＡＲ、ＭＲ、全方位３６０°映像、３Ｄ映像で使用する３Ｄ映像音響が、ステレオスピーカー、ヘッドホン、イヤホンで視聴時、頭の位置の変化や体の移動により、映像と音声の位置ずれが生じさせない３Ｄ音声生成を行う。【解決手段】聴取位置の正面を０°とし全方位３６０°を６分割し、それぞれの方位０３に向けたモノラルマイクの音声をマルチチャンネル録音して６方位チャンネル信号として出力し、頭部伝達関数をそれぞれの６音声チャンネル信号に掛け合わせる。６出力チャンネルを２出力チャンネル（ステレオ）３Ｄ音声に変換出力するエンコードシステムを構成し、この３Ｄ音声を視聴するときに、視聴者の頭が向く正面に近い方位位置の音声をセンターチャンネルとして使用し、視聴者の動きを視聴者の持つ映像音響機器の位置情報センサーを使用して方位移動距離を算出してステレオ３Ｄ音声を補正する。【選択図】図３

Description

本発明は、全方位３６０°の音声をマルチチャンネル録音し、このマルチ音声チャンネルを２出力チャンネル（ステレオ）３Ｄ音声に変換出力するエンコードシステムを構成し、このステレオ３Ｄ音声を視聴するときに、視聴者の頭、体の動きに追従するように、ステレオ３Ｄ音声を補正して出力して、これを視聴することを可能とするステレオ３Ｄ音声信号処理機能を備える映像音響機器に関するものである。

従来、複数の入力チャンネルを５．０チャンネルシステムまたは５．１チャンネルシステムのみに、構成することを特徴とするオーディオ信号をレンダリングする方法が知られている（特許文献１参照）。

従来、遠隔地の様々な場所の現在の状況を空間に配置された複数のマイクロホンアレイを用いて空間内の分割された全エリアのエリア音を収音して、立体音響を再生する収音再生システムが知られている（特許文献２参照）。

スピーカーから聴取者の両耳間までの空間の伝達特性の逆特性を近似する補正特性を有する補正回路を用いて、聴取者の聴取位置において、音像の定位情報の再現性を向上させる方法が知られている（特許文献３参照）。

ビデオ分析を利用してユーザーの頭部の位置および向きを判断する処理を行い、ヘッドホンに提供する音響を、頭部の向きに応じた立体音響効果を生じさせるよう調節する、オーディオストリームのレイテンシを調節する手段を有する方法が知られている（特許文献４参照）。

従来、３次元映像信号から３次元映像の奥行きベクトル、動きベクトルを検出し、この複数の周波数成分から対応する周波数成分の音声の出所を特定する音声出所特定することを特徴とする立体音響生成装置が知られている（特許文献５参照）。

特開２０１６−１２９４２４特開２０１６−０２５４６９特開２０１５−１５４３５０特開２０１６−１０５６４１特開２０１２−１５１６６３

３６０°全方位視聴可能なＶＲ、ＡＲ、ＭＲ機器を使用しヘッドホンで視聴した場合、ヘッドホンから聞こえるサウンドソースの位置と動きの方向があらかじめ固定されているため、視聴者が顔の向きを変える、視聴者が移動することで映像とサウンドの位置と動きがずれてしまうという課題がある。

２つのスピーカーを使ったステレオ再生もしくはステレオヘッドホン再生環境で、頭部伝達関数を利用しても実用上なかなか実現できていなかった「はっきりした定位と高音質と固定されたリスニングポジションからの開放」を実現した立体音響空間を作り出すことがむずかしいという課題がある。

トランスオーラル方式で実現しづらかったリスナー近くまでの音の張り出し感の実現が困難という課題がある。

ＴＶ、ラジオ放送等の電波放送、インターネットを利用したリアルタイムストリーミングとダウンロードでも立体音響効果を損ねることなく伝送することがむずかしいという課題がある。

５．１ｃｈサラウンドスピーカーシステムではスピーカーのある場所だけが音が大きくなりスピーカー間が小さくなる音圧の不均一性（へこみ）が解決できない課題がある。

また５．１ｃｈサラウンドスピーカーシステムでは水平方向の音の移動だけだったものを、既存の５．１ｃｈサラウンドスピーカーシステムのままで音に高さおよび頭上での音の動きの表現を加えることができていない課題がある。

高品位の音の定位感、分離感、輪郭感を得るためには、高価なオーディオ機器が必要という課題がある。

本発明の３Ｄ音声生成理論の頭部伝達関数フィルタ回路を通しステレオヘッドホンでの３Ｄ音声生成を実現させる。

３Ｄ音声を、スピーカー再生によるクロストークを解決する回路を通すことで２つのスピーカーを使ったステレオ再生でも立体音響空間を再現する。

リスナー近くまでの音の張り出し感については、本発明の回路、頭部伝達関数を組み込んだマルチ音声チャンネルトランスオーラル方式を採用することにより、立体音響空間をさらに感じられるようにする。

マルチチャンネルサラウンド（５．０ｃｈ、５．１ｃｈ、６．０ｃｈ、６．１ｃｈ、７．０ｃｈ、７．１ｃｈ、９．０ｃｈ、９．１ｃｈ、またはそれらに体を直接振動させるトラックを加えた）の２ｃｈもしくは４ｃｈにステレオファイル形式で３Ｄサウンドシステムで生成した音声ファイルをリアルタイムもしくは固定デジタルファイルとして組み込み、または音に動きを付け加えることで、既存のマルチチャンネルサラウンドスピーカーシステムのままで音に高さおよび頭上での音の動きの表現を加えることができるようにする。

高品位の音の定位感、分離感、輪郭感を音源自体に備えるという、高価な高級オーディオでしか得られなかった高品位再生環境を音源コンテンツ自体にもたせ、「立体感」という従来のステレオ音源の常識を超えた音響特性で普段使いの再生機器を使った環境の中で、より高品質、高品位なステレオ再生を達成させる。

２次元的に２つのスピーカー間で定位していた音源を前後左右上下に３次元的に拡張し配置することにより、一つ一つの音源間の定位の距離を前後左右上下方向に広く持たせることが可能となり、個別の音源の定位感と分離感に余裕を持ち輪郭感をより向上させた立体音響空間が構築でき、結果的に従来のステレオ音源より高音質、高品位に感じ取ることができるようになる。

６ｃｈのマイクを使って音源を収録することにより、３６０°全方位映像コンテンツ（ＶＲ映像）でユーザーの視点に対応した音の定位を実現させる。

５．１ｃｈ、６．１ｃｈ、７．１ｃｈで音源に定位情報と、動き情報を与えられた音声シグナルを２出力チャンネル（ステレオ）３Ｄ音声に変換し出力する装置に入力し処理することにより、３Ｄサウンド化されたステレオ音声を出力することを可能とする。

頭部伝達関数とトランスオーラルシステムを組み合わせて３Ｄサウンドファイルを生成する２出力チャンネル（ステレオ）３Ｄ音声に変換し出力するシステムを実現する。

頭部伝達関数を組み込んだマルチ音声チャンネルトランスオーラル方式を採用することで、ヘッドホンには頭部伝達関数が作用し、その音声情報をスピーカーから出力する場合には独自のクロストーク解消回路が作用することで、一つの３Ｄ化されたサウンドファイルでヘッドホン、スピーカー兼用のサウンドファイルを生成する。

通常はリスナーから見て手前位置にスピーカーを左右に広げて設置しますが、広げる間隔による中央付近の音のへこみが生じない。

既存の汎用レコーディングソフトアプリケーションを使っても２出力チャンネル（ステレオ）３Ｄ音声の３Ｄポジションを設定できる。

既存の汎用レコーディングソフトアプリケーションを使って３Ｄポジション設定することで、３Ｄサウンド処理したい音源数とトラック数を、使用する汎用レコーディングソフトアプリケーションが処理可能な音源数とトラック数の限界まで増やすことができる。

サラウンド等にあるＭｉｘＭｏｎｏ状態での逆位相成分による音の消失を解決でき、音が消えたり音量レベルが極端に下がったりすることがない。

従来、スピーカーはトランスオーラル方式、ヘッドホンはバイノーラル方式に立脚した技術であって、それぞれを相容れないものと考えられていたが、同一の立体音響コンテンツで双方での利用を可能とし、スピーカー、ヘッドホン共に３Ｄサウンド効果を実現することができる。

４．０ｃｈか５．１ｃｈか６．１ｃｈか７．１ｃｈまたはそれ以上のいずれかのマルチ音声入力と２ｃｈステレオ音声入力を同時に３Ｄサウンド処理が可能で、それぞれを別々の系統にステレオ出力することを可能とする。

ドラマ、映画などのＭＡミックス作業において、セリフや効果音などのマルチ音声と音楽トラックなどの２ｃｈステレオ音声を同時に３Ｄサウンド処理できることで、全体のバランスを直接試聴確認しながらのミックス作業が可能となり、ミックス作業時間の短縮に寄与すると共に、ミックスの仕上がりの３Ｄサウンド効果のクオリティを格段に向上させることができるようになる。

リスニングポイントについて、トランスオーラル方式においては聴取者の位置や方向がシビアになるという欠点を解決でき、左右のスピーカー間内であれば、スピーカーからの距離やリスニングポジションにかかわらず、３Ｄサウンド効果を得ることを可能とする。

映像、音声の収録と位置情報を同期させ記録するフローチャート。記録した映像、音声を視聴者の位置情報に同期させて再生するフローチャート）。視聴者の動きと３Ｄ音声出力方向の関連図。収録された映像、音声の方向に同期した位置情報データを組込んで記録する実施形態図。位置情報データを組込んだ映像と音声を視聴者の位置情報データと同期させ３Ｄ音声映像として出力する実施形態図。マルチチャンネル音声とステレオチャンネル音声を、個別かつ同時にステレオ３Ｄ音声変換処理をして、それぞれ別な２出力チャンネル（ステレオ）３Ｄ音声として出力、記録する実施形態図。３Ｄ音声変換出力部を使って、音楽のミックスダウンや映像のＭＡミックスをステレオ３Ｄ音声変換処理して出力し、記録する実施形態図。

本発明における字句の解釈は次のとおりである。

「レンダリング」とは、データ記述言語やデータ構造で記述された抽象的で高次の情報から、コンピュータのプログラムを用いて画像・映像・音声などを生成することをいう。

「３Ｄ」とは、Ｘ軸、Ｙ軸、Ｚ軸の３つの次元がある立体空間、立体物形状として描くための仮想３次元空間をいう。

「３Ｄ映像」とは、自然視に近い映像を実現し３次元映像、３Ｄ立体視ともいう。

「３Ｄ音響」とは、立体感、方向感のある音響であり、立体音響、３次元音響、３Ｄサウンド、３Ｄオーディオ、３次元オーディオなどともいう。

「３Ｄ音声」とは、３Ｄ音響特性を持つ音源をいう。

「ステレオ録音再生」とは、すくなくとも２個のマイクロフォン、２チャンネルの録音再生システム、２個のスピーカーを使用して再生する。ドルビーデジタルによって代表されるサラウンド方式においては３個以上のスピーカーを使用する技術をいう。

「バイノーラル録音再生」とは、耳に入ってきたときの音の状態をそっくりそのまま録音し、そっくりそのまま再生するという原理のもと、人の頭を模したダミーヘッドで録音し、それをヘッドホンで聞く技術をいう。

「トランスオーラルシステム」とは、バイノーラル録音された音を、ステレオスピー力ーで再生するために用いる技術で、ステレオスピー力ーで発生する、左からでた音が右耳にも、右からの音が左耳にも入ってしまう現象「クロストーク」によりバイノーラル再生が成り立たないため、ステレオスピーカー再生時に発生するクロストークを解消するシステムをいう。

「ミキシング」とは、多チャンネルの音源をもとに、音声調整卓（ミキサー）とその周辺機器を用いて音声トラックの音量バランス、音色、定位（モノラル出力の場合を除く）などを調整して、モノラル、２チャンネルステレオ、３チャンネル以上の多チャンネルステレオ出力音源を作り出す作業をいい、ミックスともいう。また多チャンネル音源をそれより少ない数のモノラル、２チャンネルステレオ等にまとめる作業であることから、ミックスダウンともいう。

「ＭＡ」とは、「ＭｕｌｔｉＡｕｄｉｏ」の略語で、映画、ドラマ、ＴＶ番組コンテンツ等の音声トラック制作において使用される複数のセリフ、効果音、音楽等の多チャンネルの音声素材を指し、これら音声素材を使ってミキシングする作業を「ＭＡ」、「ＭＡミックス」、「ＭＡミキシング」という。

「適応フィルタ処理」とは、トランスオーラルシステムのクロストークをできるだけ少なくする処理で、聴く人の耳元にマイクを設置し、最初にスピーカーから出す音と耳元のマイクから録音された音との差をとり、その差を最小にして、人の動きに等に追従できるように、フィルタの係数を更新していく処理をいう。

「アンビソニックス技術」とは、音波の方向感も再現する再生技術をいう。

「頭部伝達関数（ＨＲＴＦ）」とは、様々な角度・高さの音源から左右の耳までの音の伝わり方特性を表したもので、ＨＲＴＦ関数として、あらかじめ測定しておき、シミュレーションによりバイノーラル信号を生成する時に演算処理に使用し、測定したＨＲＴＦの伝達関数の係数列はインパルス波形を音源とした場合の左右の耳に到達する音響波形となり、左右のＨＲＴＦ間にみられる時間差（ＩＴＤ）と振幅差（ＩＩＤ）という、人間が実環境の中で音源の方向知覚を得る主要な手がかりとして利用される係数列である。

「ＶＲ」とは、コンピュータ上に仮想環境を作り出し、あたかもそこにいるかの様な感覚を体験できる技術で、「仮想現実」ともいう。

「ＡＲ」とは、現実空間にＣＧなどで作られた付加情報を表示させ、現実世界を拡張する技術のことをいう。

「ＭＲ」とは、複合現実と呼ばれ、ＣＧなどで作られた人口的な仮想世界に現実世界の情報を取り込み、現実世界と仮想世界を融合させた世界をつくる技術をいう。

「映像音響機器」とは、スマートホン、ＰＣ、タブレット、テレビ受像機、ムービーカメラ、デジタルカメラ、小型マイク、ＶＲ機器、ＡＲ機器、テレビ会議機器、オーディオ機器、映像音声記録媒体、ヘッドホン、イヤホン、スピーカー、ハンドマイク、電話機、プロジェクターをいう。

「電子情報処理機器」とは、インターネットに接続して映像・音声・データを受信して記憶保存し送信する機器をいう。

図１は、映像、音声の収録と位置情報を同期させ映像ファイルとして記録する筋書きの実施形態を示している。

図２は、記録された映像ファイルを再生し、視聴者の頭の向きと体の動きに同期し映像と音声の方向が追従する筋書きの実施形態を示している。

図３は、映像ファイル再生時における音声の位置と視聴者の頭の向きおよび体の動きとの関連を示している。

図４は、収録された映像、音声に同期した位置情報データを映像データおよび音声データに組み込んだ映像ファイルと音声ファイルを生成し、内部または外部記憶装置に記録する実施形態を示している。

図５は、内部または外部記憶装置に記録された位置情報データを持った映像ファイルと音声ファイルを、視聴者の頭の方向と動きに同期させて再生し、且つ音声ファイルは頭部伝達関数（ＨＲＴＦ）をそれぞれの６音声チャンネル信号に掛け合わせて畳み込みを行ったあとマルチ音声チャンネル入力トランスオーラルシステムでステレオ３Ｄ音声に変換し出力する実施形態を示している。

図６は、３Ｄ音声変換出力部が、マルチチャンネルの３Ｄ音声出力処理系統と別に、ステレオチャンネル音声をマルチチャンネル音声に解析・分解し再びマルチチャンネル入力音声として２出力チャンネル（ステレオ）３Ｄ音声に変換出力して、同時に内部または外部記憶装置にデジタル音声ファイルまたはアナログ音声ファイルとして記録する実施形態を示している。

図７は、３Ｄ音声変換出力部を使って、音楽のミックスダウンや映像のＭＡミックス時に、マルチチャンネル音声入力信号をステレオ３Ｄ音声に変換し出力して、同時に内部または外部記憶装置にデジタル音声ファイルまたはアナログ音声ファイルとして記録する実施形態を示している。

特に奥行感、動的視聴の立体感を要求される産業への利用が可能となる。

ＩｏＴ分野への利用可能性。

国内旅行者、インバウンド用ガイドとして都市内徒歩交通結節拠点への３Ｄ映像サウンドによるディスプレイ、ステレオスピーカー、情報処理機器を組み込んだ道標、さまざまなギミックも組込んだ忍者灯篭等設置への利用。

３ＤステレオスピーカーおよびＶＲ、ＡＲ用３Ｄステレオヘッドホン、３Ｄステレオイヤホンへの利用。

ライブ、フラッシュモブ用３Ｄサウンドを組込んで、タップし演奏、振って演奏できるスマホ楽器への利用。

ＶＲ、ＡＲ、高画質映像、地方創生、アブリ、コンテンツ分野への利用可能性。

映像コンテンツへ３Ｄサウンド、ステレオサウンド、５．１ｃｈサラウンドを組み込んで、用途に応じて選択して視聴への利用。

手がふさがる車いす、ベービーカーの介護者向けのスマートホン徒歩ナビへの３Ｄサウンド・ナビゲーションへの利用。

ウェラブル徒歩ナビガイド向けのスマートホン徒歩ナビへの３Ｄサウンド・ナビゲーションへの利用。

視覚障害者向けの３Ｄサウンド・リズムナビゲーションへの利用。

全方位３６０°映像よりさらに見やすく、イベント等に向いていて、臨場感を演出できる電車車窓等よりの前後左右４画面動画と音源３Ｄサウンドへの利用。

３Ｄと２Ｄ映像の切り替えと３Ｄサウンドを組合わせることで、自宅、会社にいても街歩き支援のガイドができ、出歩く機会を増やすことによる地域振興への利用。

シェアリングエコノミー分野への利用可能性。

会社内の空き室、貸しビルの空き室を利用し、勤労者が創造的な仕事ができる創造空間を作り、この空間で使用するバックグラウンドミュージック、ＴＶ会議への３Ｄサウンドへの利用。

ヘルスケア分野へ応用への利用可能性。

認知症未病対策として手書入力、表示、３Ｄサウンド読上げで会話を行い、位相関係を揺さぶることで聴覚刺激を与え、認知症リハビリ（音楽療法）への利用。

病院診察での難聴症状のある患者さんのための、無線オーディオアダプター、コンデンサーマイク、貸出し、販売向け３Ｄイヤホンへの利用。

Ｓ０１３Ｄムービーカメラで撮影処理
Ｓ０２映像、音声、位置情報を同期させて記録処理
Ｓ０３ＨＲＴＦを畳み込み音声を３Ｄ変換処理
Ｓ０４映像と３Ｄ音声ファイル同期再生処理
Ｓ０５映像と音声を視聴方向に追従処理
０１動画、静止画記憶装置
０２音声、位置情報記憶装置
０３６チャンネルの方位
０４頭を右方向へ移動
０５体を後方に移動
０６頭を右方向へ移動した時の正面方向
０７動画、静止画データ入力
０８音声データ入力
０９映像、位置情報組込みコンポーネント
０１０映像、音声収録位置情報センサー
０１１音声位置情報組込みコンポーネント
０１２位置情報組込み済映像データ
０１３内部又は外部記憶媒体
０１４位置情報組込み済音声データ
０１５映像データ出力
０１６音声データ出力
０１７再生部へ
０１８映像データ
０１９音声データ
０２０映像方向同期コンポーネント
０２１視聴者位置情報センサー
０２２音声方向同期コンポーネント
０２３位置情報データ
０２４ミキサー
０２５内部又は外部記憶媒体
０２６ＨＲＴＦフィルタ内蔵マルチ音声チャンネル入力トランスオーラルシステムコンポーネント
０２７Ｌｃｈ出力
０２８Ｒｃｈ出力
０２９マルチチャンネル音源
０３０２Ｃｈステレオ音源
０３１ＨＲＴＦフィルタ内蔵マルチ音声チャンネル入力トランスオーラルシステムコンポーネント（Ａ）
０３２マルチチャンネル音源化変換コンポ―ネント
０３３ＨＲＴＦフィルタ内蔵マルチ音声チャンネル入力トランスオーラルシステムコンポーネント（Ｂ）
０３４内部又は外部記憶媒体
０３５Ｌｃｈ出力（Ａ）
０３６Ｒｃｈ出力（Ａ）
０３７Ｌｃｈ出力（Ｂ）
０３８Ｒｃｈ出力（Ｂ）
０３９マルチチャンネル音源
０４０ＨＲＴＦフィルタ内蔵マルチ音声チャンネル入力トランスオーラルシステムコンポーネント
０４１内部又は外部記憶媒体
０４２Ｌｃｈ出力
０４３Ｒｃｈ出力
０４４マルチチャンネルサラウンドミックス音声出力
０４５ステレオ３Ｄ音声に変換された音声出力

Claims

オーディオ信号をレンダリングする方式において、聴取者の正面を０°とし全方位３６０°を６分割し、６方位それぞれにモノラルマイクを向け、それぞれの方位の音声をマルチチャンネル録音して、６方位出力チャンネル信号として出力する段階で、頭部伝達関数をそれぞれの６音声チャンネル信号に掛け合わせる畳み込みを行い、６出力チャンネルを２出力チャンネル（ステレオ）３Ｄ音声に変換出力するエンコードシステムを構成することを特徴とし、６出力チャンネルは、頭の向きが０°の場合センターチャンネルは０°、左チャンネルは３００°、右チャンネルは６０°、左サラウンドチャンネルは２４０°、右サラウンドチャンネルは１２０°、センターサラウンドチャンネルは１８０°に相応し、頭の向きが６０°の場合は、６０°をセンターチャンネルとし、それぞれのチャンネルは６０°ずつ右回転方向に移動する。他１２０°、１８０°、２４０°、３００°が頭の向きに正対した場合もすべてのチャンネルが同様に移動する。例えば頭の向きが０°と６０°の間にあり、６０°に近い時は６０°の音源をセンターチャンネルとして使用する。これによりステレオヘッドホン装着時でも視聴者の頭の向きと体の動きに合わせ動画・静止画像の画面の動きと音声の位置および動きは、ずれることなく常に同期し、さらにステレオ３Ｄ音声に変換出力された音声と相まって、視聴者はシミュレーションされた３次元映像視聴と３次元試聴経験を同時に享受できる機能を提供する映像音響機器。
この映像音響機器は、動画および静止画像を３６０°ＶＲ映像として録画すると同時に、全方位３６０°を６分割し、６方位それぞれにモノラルマイクを向け、それぞれの方位の音声をマルチチャンネル録音する機能と、動画および静止画像を３６０°ＶＲ映像として映像出力するとともに６出力チャンネルを２出力チャンネル（ステレオ）３Ｄ音声に変換し音声出力する機能を有する。事前に録画・録音する者により決定された方向を録画カメラの正面すなわち録画される映像の正面および音声の０°として、全方位３６０°を６分割した６０°角の６方位それぞれにモノラルマイクを向け、収録する３６０°ＶＲ動画および静止画像に対し加速度センサーとジャイロセンサーと地磁気センサーを用いて方向を固定化し、それぞれのモノラルマイク位置を特定させたデータを録画・録音された映像データおよび音声データとして内部記憶装置または外部記憶装置に記録し、且つ記録しながらでも視聴者の頭の向きと体の動きに合わせた映像出力とステレオ３Ｄ音声変換出力をする。映像出力および音声出力は、独立した映像ファイルもしくは音声ファイルとしてもデジタル、アナログいずれの記録方式や規格で出力させることが可能である請求項１記載の映像音響機器。
ステレオ３Ｄ音声に変換出力された音声ファイルは、そのファイルのみで２出力チャンネル（ステレオ）スピーカー、ステレオヘッドホンおよびステレオイヤホンいずれにも適応可能なものである請求項１記載の映像音響機器。
加速度センサーとジャイロセンサーと地磁気センサーを用いて視聴の頭の位置の変化および体の移動を感知し、そのデータを２出力チャンネル（ステレオ）３Ｄ音声変換出力に反映させることで、視聴者がより臨場感を享受できる請求項１記載の映像音響機器。＜ｂｒ＞
２出力チャンネル（ステレオ）３Ｄ音声変換出力機能部分は、その機能だけを持つ独立した録音機器または音声再生機器、あるいはその両方の機能を合わせ持つ録音再生機器にすることが可能であり、音声再生時に、頭部伝達関数をそれぞれの６音声チャンネル信号に掛け合わせて畳み込みを行い、６出力チャンネルを２出力チャンネル（ステレオ）３Ｄ音声に変換出力する。この音声機能は入力音声チャンネル数に限定されることなく、６出力チャンネルを２出力チャンネル（ステレオ）３Ｄ音声に変換出力するマルチチャンネルシステムと同様の方法を利用して、３チャンネル、４チャンネル、４．１チャンネル、５．１チャンネル、６．１チャンネル、７．１チャンネル、９．１チャンネル、１１．１チャンネルといったマルチ音源チャンネルに対応させることで、２出力チャンネル（ステレオ）再生環境におけるシミュレーションされた３次元試聴経験を聴取者に提供し享受させることができる請求項１記載の映像音響機器。
２出力チャンネル（ステレオ）３Ｄ音声変換出力機能部分は、マルチチャンネル音声入力のステレオ３Ｄ音声変換出力処理系統と別に、ステレオチャンネル音声をマルチチャンネル音声に解析・分解し再びマルチチャンネル入力音声として２出力チャンネル（ステレオ）３Ｄ音声変換出力する、もうひとつの別系統の３Ｄ音声変換出力機能を同時に持つことができる。ステレオチャンネル音声をマルチチャンネル音声に解析・分解する場合、例えば６．１チャンネル音声に解析・分解し６．１チャンネル入力音声としてステレオ３Ｄ音声変換出力し、この場合解析・分解チャンネル数は特に限定されず、ステレオ３Ｄ音声出力はステレオ３Ｄ音声ファイルとして内部記憶装置または外部記憶装置に記録する請求項１記載の映像音響機器。
２出力チャンネル（ステレオ）３Ｄ音声変換出力機能部分のマルチチャンネル音声入力部は、マルチチャンネルサラウンドにミックスされたＤＶＤ、ブルーレイなどの多チャンネルサラウンド音声を入力しステレオ３Ｄ音声に変換出力することが可能で、２チャンネルステレオ音声で視聴者に提供される映画、ドラマ、テレビ番組などのあらゆる視聴用コンテンツのＭＡミックス作業や音楽ミックス作業をＭＡミキシングの要領でマルチチャンネルサラウンドミックスして作られるマルチチャンネル音声出力信号をステレオ３Ｄ音声変換出力機能部分に入力してステレオ３Ｄ音声に変換出力し視聴者に提供することで、視聴者はシミュレーションされた３次元試聴経験を、ＤＶＤ、ブルーレイ、ＣＤ等のパッケージやインターネット等を利用したストリーミング配信やダウンロード配信などを問わず、あらゆるメディアを通じて享受することが可能で、またデジタル、アナログなどの規格を問わずに利用できる請求項１記載の映像音響機器。
２出力チャンネル（ステレオ）音声をマルチチャンネル音声に解析・分解し再びマルチチャンネル入力音声として２出力チャンネル（ステレオ）３Ｄ音声変換出力する機能を使用して、２出力チャンネル（ステレオ）音声として既に固定化されているステレオマスター音源をステレオ３Ｄ音声に変換することにより、３Ｄリマスタリング音声データとして再構築して内部記憶装置または外部記憶装置に記録し、ＤＶＤ、ブルーレイ、ＣＤ等のパッケージ化、インターネットを利用したデータ配信・ストリーミング配信、ＴＶ放送等のあらゆる伝達手段を使い、２出力チャンネル（ステレオ）再生環境におけるシミュレーションされた３次元試聴経験を聴取者に提供し享受させることができる請求項１記載の映像音響機器。
インターネットを利用したＷｉ−Ｆｉ、モバイル通信、デジタル機器用近距離無線通信、無線通信によって外部の電子情報処理機器に送受信して映像・音声入力と映像・３Ｄ音声外部出力をする請求項１記載の映像音響機器。