JP2013243626A - 信号処理装置、信号処理方法、およびプログラム - Google Patents

信号処理装置、信号処理方法、およびプログラム Download PDF

Info

Publication number
JP2013243626A
JP2013243626A JP2012117091A JP2012117091A JP2013243626A JP 2013243626 A JP2013243626 A JP 2013243626A JP 2012117091 A JP2012117091 A JP 2012117091A JP 2012117091 A JP2012117091 A JP 2012117091A JP 2013243626 A JP2013243626 A JP 2013243626A
Authority
JP
Japan
Prior art keywords
unit
time
parallax
mode value
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012117091A
Other languages
English (en)
Inventor
Yuji Tsuchida
祐司 土田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2012117091A priority Critical patent/JP2013243626A/ja
Priority to CN2013101819186A priority patent/CN103428625A/zh
Priority to US13/895,437 priority patent/US20130314497A1/en
Publication of JP2013243626A publication Critical patent/JP2013243626A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/60—Receiver circuitry for the reception of television signals according to analogue transmission standards for the sound signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/05—Generation or adaptation of centre channel in multi-channel audio systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/307—Frequency adjustment, e.g. tone control

Abstract

【課題】映像の奥行き感と音声の奥行き感とを効果的に連動させることができるようにする。
【解決手段】音声制御用奥行き情報抽出部は、シーン構造変化検出部からのシーンチェンジの尤度情報、奥行き情報信頼性判定部からの奥行き情報の信頼性情報、および音響制御効果評価部からの映像と音声の連動効果の評価値情報に基づいて、奥行き情報生成部からの奥行き情報より音声制御に適した奥行き情報成分を抽出する。音声制御信号生成部は、音声制御用奥行き情報抽出部からの奥行き情報成分に基づいて、音声制御部の制御方法と、前段からの入力音声信号に適応した制御パラメータを生成する。本開示は、例えば、３Ｄ映像の映像信号に連動させるように、その映像信号に対応する音声信号を処理する信号処理装置に適用することができる。
【選択図】図１

Description

本開示は、信号処理装置、信号処理方法、およびプログラムに関し、特に、映像の奥行き感と音声の奥行き感とを効果的に連動させることができるようにした信号処理装置、信号処理方法、およびプログラムに関する。
実写による映画やドラマの撮影においては、セリフの明瞭度を上げるためや、多国語への音声の吹き替えを可能とするため、次のようなことが行われている。すなわち、セリフの収録の際、撮影に使用されるカメラのレンズ付近ではなく、演者の近傍にマイクロホンを配置し、セリフのみを選択的に収録することが行われている。
また、特に野外撮影の場合には、周辺環境音やマイクロホンの風による吹かれの影響を避けるため、セリフのみ、スタジオでアフターレコーディングされることも多い。
このような制作方法をとる場合、原理的に映像の距離感とセリフの距離感とは一致しないことが多い。また、アニメーション作品においては、そもそも映像の制作とセリフの収録は別々に行われるため、映像の距離感とセリフの距離感とは一致しないことが多い。
上記のような制作過程を経て制作される映像作品は、従来の２Ｄ作品ではそれほど違和感がなくても、３Ｄ作品となった場合には、映像の奥行き表現が加わるため、映像の距離感と音声の距離感との不一致が強調され、３Ｄ映像体験の臨場感を損ねてしまっていた。
これに対して、３Ｄ映像の奥行き情報を利用して音場の制御を行い、映像と音声との奥行き表現を連動させることが提案されている（特許文献１参照）。この提案においては、３Ｄ映像よりステレオマッチングなどの手法で映像の奥行き情報を求めたり、映像に付加された奥行き情報を抽出したりすることで、映像の奥行き情報を求め、求めた情報を基に、音声制御信号を生成して音声の制御が行われている。
特開２０１１−２１６９６３号公報
しかしながら、特許文献１に記載のように、映像の奥行き情報から音声の制御情報を生成して、映像の奥行き感と音声の奥行き感を連動させる処理を行おうとする場合、例えば、シーンチェンジにより奥行き構造が変化する場合や、コントラストの低いシーンなどにおいてステレオマッチングにより奥行き情報の取得を行う場合などには、必ずしもその制御結果がよい効果を生むとは言えないことがあった。
本開示は、このような状況に鑑みてなされたものであり、映像の奥行き感と音声の奥行き感とを効果的に連動させることができるものである。
本開示の一側面の信号処理装置は、動画像情報に関連する視差について、最頻値を算出する視差最頻値算出部と、前記視差最頻値算出部により算出された最頻値の時間方向の変化から前後感の知覚の連動に適する時間区間を抽出する時間区間抽出部と、前記時間区間抽出部により抽出された時間区間において前記動画像情報に関連する音情報の奥行感を制御する音声制御信号を生成する制御信号生成部とを備える。
前記時間区間抽出部は、前記動画像情報と、前記視差最頻値算出部により算出された最頻値に基づいて、前記動画像のシーン構造の変化を検出し、変化が検出された時間区間を排除するシーン構造変化検出部を含むことができる。
前記シーン構造変化検出部は、前記視差最頻値算出部により算出された最頻値を時間微分する時間微分部と、前記時間微分部により時間微分された最頻値に対して、非線形変換を行う非線形変換部とを備え、前記制御信号生成部は、前記非線形変換部により非線形変換が行われた最頻値に対して、時間積分を行う時間積分部を備えることができる。
前記シーン構造変化検出部は、前記視差最頻値算出部により算出された最頻値の絶対値の大きさに応じて、前記時間積分部により行われる時間積分の初期化を行う初期化判定部をさらに備えることができる。
前記時間区間抽出部は、前記動画像情報と、前記視差最頻値算出部により算出された最頻値に基づいて、前記最頻値の信頼性を評価し、信頼性の低い最頻値の時間区間を排除するの最頻値信頼性判定部を含むことができる。
前記最頻値信頼性判定部は、前記視差最頻値算出部により算出された最頻値を時間微分する時間微分部と、前記時間微分部により時間微分された最頻値に対して、非線形変換を行う非線形変換部とを備え、前記制御信号生成部は、前記非線形変換部により非線形変換が行われた最頻値に対して、時間積分を行う時間積分部を備えることができる。
前記視差について、最大値を算出する視差最大値算出部と、前記視差について、最小値を算出する視差最小値算出部とをさらに備え、前記最頻値信頼性判定部は、前記視差最大値算出部により算出された最大値と前記視差最小値算出部により算出された最小値の差の大きさ、前記最大値の時間変化、および前記最小値の時間変化の少なくとも１つに応じて、前記時間積分部により行われる時間積分の初期化を行う初期化判定部をさらに備えることができる。
前記初期化判定部は、前記視差最頻値算出部により算出された最頻値の絶対値の大きさに応じて、前記時間積分部により行われる時間積分の初期化を行うことができる。
前記時間区間抽出部は、前記動画像情報に関連する音情報と、前記視差最頻値算出部により算出された最頻値に基づいて、前記動画像情報により前記音情報の制御を行った場合の効果を評価し、前記音声制御信号を変化させる音声制御効果評価部を含むことができる。
前記音声制御効果評価部は、前記視差最頻値算出部により算出された最頻値を時間微分する時間微分部と、前記時間微分部により時間微分された最頻値に対して、非線形変換を行う非線形変換部とを備え、前記制御信号生成部は、前記非線形変換部により非線形変換が行われた最頻値に対して、時間積分を行う時間積分部を備えることができる。
前記音声制御効果評価部は、前記視差最頻値算出部により算出された最頻値と、前記最頻値の時間平均値との差分に応じて、前記時間積分部により行われる時間積分の初期化を行う初期化判定部をさらに備えることができる。
前記初期化判定部は、前記視差最頻値算出部により算出された最頻値の絶対値の大きさに応じて、前記時間積分部により行われる時間積分の初期化を行うことができる。
本開示の一側面の信号処理方法は、信号処理装置が、動画像情報に関連する視差について、最頻値を算出し、算出された最頻値の時間方向の変化から前後感の知覚の連動に適する時間区間を抽出し、抽出された時間区間において前記動画像情報に関連する音情報の奥行感を制御する音声制御信号を生成する。
本開示の一側面のプログラムは、動画像情報に関連する視差について、最頻値を算出する視差最頻値算出部と、前記視差最頻値算出部により算出された最頻値の時間方向の変化から前後感の知覚の連動に適する時間区間を抽出する時間区間抽出部と、前記時間区間抽出部により抽出された時間区間において前記動画像情報に関連する音情報の奥行感を制御する音声制御信号を生成する制御信号生成部としてコンピュータを機能させる。
本開示の他の側面の信号処理装置は、動画像情報に関連する視差について、最頻値を算出する視差最頻値算出部と、前記視差最頻値算出部により算出された最頻値を時間微分する時間微分部と、前記時間微分部により時間微分された最頻値に対して、非線形変換を行う非線形変換部と、前記非線形変換部により非線形変換が行われた最頻値を時間積分する時間積分部とを備える。
本開示の一側面においては、動画像情報に関連する視差について、最頻値が算出される。そして、算出された最頻値の時間方向の変化から前後感の知覚の連動に適する時間区間が抽出され、抽出された時間区間において前記動画像情報に関連する音情報の奥行感を制御する音声制御信号が生成される。
本開示の他の側面においては、動画像情報に関連する視差について、最頻値が算出される。そして、算出された最頻値が時間微分され、時間微分された最頻値に対して、非線形変換が行われ、非線形変換が行われた最頻値が時間積分される。
本開示によれば、映像の奥行き感と音声の奥行き感とを連動させることができる。特に、映像の奥行き感と音声の奥行き感とを効果的に連動させることができる。
本技術を適用した信号処理装置の構成例を示すブロック図である。 信号処理装置の信号処理を説明するフローチャートである。 信号処理部の具体的な構成例を示すブロック図である。 視差の度数分布の例を示す図である。 非線形変換特性の例を示す図である。 シーンチェンジが発生した場合の視差の最頻値、最大値、最小値の時間変化の例を示す図である。 図６の視差の最頻値を時間微分した例を示す図である。 図７の時間微分された視差の最頻値を非線形変換した例を示す図である。 図８の非線形変換された視差の最頻値を時間積分した例を示す図である。 映像コントラストが低い場合の視差の度数分布の例を示す図である。 図１０の視差の最頻値、最大値、最小値の時間変化の例を示す図である。 図１１の視差の最頻値を時間微分した例を示す図である。 図１２の時間微分された視差の最頻値を非線形変換した例を示す図である。 図１３の非線形変換された視差の最頻値を時間積分した例を示す図である。 ２つのオブジェクトが全画面中に占める面積比がほぼ同等となる場合の視差の度数分布の例を示す図である。 図１５の視差の最頻値、最大値、最小値の時間変化の例を示す図である。 図１６の視差の最頻値を時間微分した例を示す図である。 図１７の時間微分された視差の最頻値を非線形変換した例を示す図である。 図１８の非線形変換された視差の最頻値を時間積分した例を示す図である。 主要な被写体が奥から手前方向に移動するシーンにおける視差の最頻値、最大値、最小値の時間変化の例を示す図である。 図２０の視差の最頻値を時間微分した例を示す図である。 図２１の時間微分された視差の最頻値を非線形変換した例を示す図である。 図２２の非線形変換された視差の最頻値を時間積分した例を示す図である。 非線形変換特性の他の例を示す図である。 音声制御部の具体的な構成例を示すブロック図である。 周波数特性の例を示す図である。 直接音の音圧ゲインを説明する図である。 音圧ゲインの特性の例を示す図である。 一次反射音の遅延時間の特性の例を示す図である。 一次反射音の音圧比特性の一例を示す図である コンピュータの構成例を示すブロック図である。
以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（信号処理装置）
２．第２の実施の形態（コンピュータ）
＜１．第１の実施の形態＞
[本技術の概要]
上述したように、特許文献１においては、３Ｄ映像の奥行き情報を利用して音場の制御を行い、映像と音声との奥行き表現を連動させることが提案されていた。この提案においては、３Ｄ映像よりステレオマッチングなどの手法で映像の奥行き情報を求めたり、映像に付加された奥行き情報を抽出したりすることで、映像の奥行き情報を求め、求めた情報を基に、音声制御信号を生成して音声の制御が行われている。
しかしながら、特許文献１に記載のように、映像の奥行き情報から音声の制御情報を生成して、映像の奥行き感と音声の奥行き感を連動させる処理を行おうとすると、以下のような場合において、必ずしもその制御結果がよい効果を生むとは言えないことがあった。
１つ目は、シーンチェンジにより画面全体の奥行き構造が変化する場合である。シーン毎の奥行き構造に至るまで映像制作者が注意をはらって３Ｄ映像制作を行うことは稀であり、シーンチェンジによる奥行き情報の変化は、殆どの場合、制作者の意図していないものである。そのため、このような奥行き情報の変化を用いて音声の制御を行うと、思わぬ不自然な結果を生じることがあった。
２つ目は、３Ｄ映像からステレオマッチングを用いて映像の奥行き情報を得ようとする場合である。ステレオマッチングの特性として、映像コントラストの低いシーンなどでは、正確に奥行き情報を求めることが難しくなり、奥行きの解析結果が不定になったり、不安定な挙動を示すようになる。そのため、このような奥行き情報を用いて音声の制御を行うと、音声の制御が不安定になってしまうことがあった。
３つ目は、複数の異なる奥行き情報を持つ主要なオブジェクトにより構成されるシーンについて奥行き情報を得ようとする場合である。例えば、「人物」と「背景」のように２つの主要なオブジェクトから構成されるシーンなどでは、画面全体の奥行きの分布としては大きな２つの偏りを持つこととなる。このようなとき、どちらが主要なオブジェクトであるかは、全画面中に占める面積や、奥行きの前後関係、それぞれのオブジェクトの輝度関係などの情報を頼りに類推することになる。しかしながら、いずれの方法を用いても、どちらが主要なオブジェクトであるかを確実に判定することは難しいケースでは、間違ったオブジェクトの奥行き情報を基に音声制御がなされてしまう恐れがあった。
４つ目は、映像に奥行き情報の速い時間変化があった場合である。このような奥行き情報の速い時間変化に音声を連動させようとすると、音声制御の追従が間に合わず意図した効果が得られないばかりか、追従に時間差を生じてしまい、音声の制御に不自然さを生じてしまう恐れがあった。
なお、これらに対して、奥行き情報を精度よく検出するために、未来の映像フレームの奥行き情報を多く参照するように構成すると、その分、最終的な音声の制御に遅延が生じるため、相対的に映像も遅延させる必要があった。この場合、多くの画像遅延用メモリが必要となり、コスト高になってしまっていた。
そこで、本技術においては、３Ｄ作品における映像の距離感と音声の距離感の不一致を、３Ｄ映像の奥行き情報を用いて音声の奥行き感を調整することで抑制する。さらに、本技術においては、その際に、上述した映像と音声の連動に適さない情報を排除することで、良好な映像と音声の連動効果を得ることができる。
[信号処理装置の構成]
図１は、本技術を適用した信号処理装置の構成例を示す図である。
信号処理装置１０１は、例えば、３Ｄ映像の映像信号とその映像信号に対応する音声信号を入力し、入力した映像信号を用いて音声制御信号を生成し、生成した音声制御信号に基づいて、入力した音声信号に対して制御を行い、制御された音声信号を出力する。これにより、映像の奥行き感と音声の奥行き感とを連動させることができる。図１の例において、信号処理装置１０１は、信号処理部１１１および音声制御部１１２を含むように構成される。
信号処理部１１１は、奥行き情報生成部１２１、シーン構造変化検出部１２２、奥行き情報信頼性判定部１２３、音響制御効果評価部１２４、音声制御用奥行き情報抽出部１２５、および音声制御信号生成部１２６を含むように構成されている。
図示せぬ前段からの入力映像信号は、奥行き情報生成部１２１、シーン構造変化検出部１２２、および奥行き情報信頼性判定部１２３に供給される。前段からの入力音声信号は、音響制御効果評価部１２４、および音声制御信号生成部１２６に供給される。
奥行き情報生成部１２１は、入力映像信号から奥行き情報を生成する。奥行き情報の生成は、入力映像信号に付加された奥行き情報を抽出したり、左右の映像に対してステレオマッチング処理することにより求められる。奥行き情報生成部１２１は、生成した奥行き情報を、シーン構造変化検出部１２２、奥行き情報信頼性判定部１２３、音響制御効果評価部１２４、および音声制御用奥行き情報抽出部１２５に供給する。
シーン構造変化検出部１２２は、入力映像信号と奥行き情報とから、映像信号の時間変化の大きさや、奥行き構造の時間変化の大きさを検出し、最終的にシーンチェンジの尤度情報を生成する。シーン構造変化検出部１２２は、生成した尤度情報を、音声制御用奥行き情報抽出部１２５に供給する。
奥行き情報信頼性判定部１２３は、入力映像信号と奥行き情報とから、奥行き情報の信頼性を生成する。奥行き情報の信頼性は、例えば、奥行き情報の分布形状の特徴、または、映像信号に含まれる空間周波数成分やコントラストを評価することで求められる。奥行き情報信頼性判定部１２３は、生成した信頼性の情報を、音声制御用奥行き情報抽出部１２５に供給する。
音響制御効果評価部１２４は、入力音声信号と奥行き情報とから、奥行き情報を音響制御に用いることで得られる映像と音声の連動効果の評価値を生成する。例えば、事前（設計段階）に、奥行き情報生成部１２１から出力される奥行き情報を、直接、音声制御信号生成部１２６に入力することで生成される音声信号を用い、音声制御部１１２において音声制御を行った際の結果が評価される。映像と音声の連動効果の評価値は、その事前に評価された結果に基づいて出力される。音響制御効果評価部１２４は、生成した映像と音声の連動効果の評価値の情報を、音声制御用奥行き情報抽出部１２５に供給する。
音声制御用奥行き情報抽出部１２５は、供給されたシーンチェンジの尤度情報、奥行き情報の信頼性情報、および映像と音声の連動効果の評価値情報に基づいて、奥行き情報生成部１２１からの奥行き情報より音声制御に適した時間空間の奥行き情報成分を抽出する。音声制御用奥行き情報抽出部１２５は、抽出した時間空間の奥行き成分情報を、音声制御信号生成部１２６に供給する。すなわち、音声制御用奥行き情報抽出部１２５は、音声制御に適さない時間空間の奥行き情報成分を排除する。
音声制御信号生成部１２６は、音声制御用奥行き情報抽出部１２５からの時間空間の奥行き情報成分に基づいて、音声制御部１１２の制御方法と、前段からの入力音声信号に適応した制御パラメータを生成する。音声制御信号生成部１２６は、生成した制御パラメータを、音声制御部１１２に供給する。
ここで、奥行き情報として、図２以降では視差が用いられる。すなわち、音声制御用奥行き情報抽出部１２５は、奥行き情報生成部１２１からの奥行き情報より求められる視差の最頻値の時間方向の変化から前後感の知覚（視覚と聴覚）の連動に適する時間区間を抽出する。そして、音声制御信号生成部１２６は、音声制御用奥行き情報抽出部１２５により抽出された時間区間において前記動画像情報に関連する音情報の奥行感を制御する音声制御信号を生成する。
音声制御部１１２は、音声制御信号生成部１２６からの制御パラメータに基づいて、前段の入力音声信号に対して、映像信号に連動した音声の奥行き感の調整処理を行い、調整処理を行った出力音声信号を生成する。音声制御部１１２は、生成した出力音声信号を、図示せぬ後段に出力する。
[信号処理装置の動作]
次に、図２のフローチャートを参照して、信号処理装置１０１の信号処理について説明する。
前段からの入力映像信号は、奥行き情報生成部１２１、シーン構造変化検出部１２２、および奥行き情報信頼性判定部１２３に供給される。前段からの入力音声信号は、音響制御効果評価部１２４、および音声制御信号生成部１２６に供給される。
ステップＳ１１１において、奥行き情報生成部１２１は、前段からの入力映像信号から奥行き情報を生成する。奥行き情報生成部１２１は、生成した奥行き情報を、シーン構造変化検出部１２２、奥行き情報信頼性判定部１２３、音響制御効果評価部１２４、および音声制御用奥行き情報抽出部１２５に供給する。
ステップＳ１１２において、シーン構造変化検出部１２２は、前段からの入力映像信号と、奥行き情報生成部１２１からの奥行き情報とから、映像信号の時間変化の大きさや奥行き構造の時間変化の大きさを検出し、最終的に、シーンチェンジの尤度情報を生成する。シーン構造変化検出部１２２は、生成した尤度情報を、音声制御用奥行き情報抽出部１２５に供給する。
ステップＳ１１３において、奥行き情報信頼性判定部１２３は、前段からの入力映像信号と、奥行き情報生成部１２１からの奥行き情報とから、奥行き情報の信頼性を生成する。奥行き情報信頼性判定部１２３は、生成した信頼性の情報を、音声制御用奥行き情報抽出部１２５に供給する。
ステップＳ１１４において、音響制御効果評価部１２４は、前段からの入力音声信号と、奥行き情報生成部１２１からの奥行き情報とから、奥行き情報を音響制御に用いることで得られる映像と音声の連動効果の評価値を生成する。音響制御効果評価部１２４は、生成した映像と音声の連動効果の評価値の情報を、音声制御用奥行き情報抽出部１２５に供給する。
ステップＳ１１５において、音声制御用奥行き情報抽出部１２５は、奥行き情報生成部１２１からの奥行き情報より音声制御に適した時間空間の奥行き情報成分を抽出する。この抽出処理は、シーン構造変化検出部１２２からのシーンチェンジの尤度情報、奥行き情報信頼性判定部１２３からの奥行き情報の信頼性情報、および音響制御効果評価部１２４からの映像と音声の連動効果の評価値情報に基づいて行われる。すなわち、音声制御に適さない時間空間の奥行き情報成分は、音声制御用奥行き情報抽出部１２５において排除される。音声制御用奥行き情報抽出部１２５は、抽出した時間空間の奥行き成分情報を、音声制御信号生成部１２６に供給する。
ステップＳ１１６において、音声制御信号生成部１２６は、音声制御用奥行き情報抽出部１２５からの時間空間の奥行き情報成分に基づいて、音声制御部１１２の制御方法と、前段からの入力音声信号に適応した制御パラメータを生成する。音声制御信号生成部１２６は、生成した制御パラメータを、音声制御部１１２に供給する。
ステップＳ１１７において、音声制御部１１２は、音声制御信号生成部１２６からの制御パラメータに基づいて、前段の入力音声信号に対して、映像信号に連動した音声の奥行き感の調整処理を行い、調整処理を行った出力音声信号を生成する。音声制御部１１２は、生成した出力音声信号を、図示せぬ後段に出力する。
以上のように、信号処理装置１０１において、シーンチェンジの尤度情報、奥行き情報の信頼性情報、および映像と音声の連動効果の評価値情報などに基づいて、音声制御に適さない時間空間の奥行き情報成分が排除される。したがって、音声制御に適した時間空間の奥行き情報成分のみに音声制御が行われるので、３Ｄ作品における映像の距離感と音声の距離感の不一致を、３Ｄ映像の奥行き情報を用いて音声の奥行き感を調整することで抑制することができる。
[信号処理部の具体的構成例]
次に、図３を参照して、図１の信号処理部１１１を実現する具体的な構成例について説明する。図３は、信号処理部１１１の一実施の形態を示している。なお、図３以降、奥行き情報として左眼用画像と右眼用画像とで対応する画素の水平距離を用い、これを「視差」と称して説明していく。
信号処理部１１１は、例えば、ステレオマッチング部１５１、最頻値生成処理部１５２、指標算出処理部１５３、および初期化判定部１５４を含むように構成されている。
ステレオマッチング部１５１は、奥行き情報を求め、求めた奥行き情報を、最頻値生成処理部１５２、および指標算出処理部１５３に出力する。
最頻値生成処理部１５２は、ステレオマッチング部１５１からの奥行き情報から、視差の最頻値を求め、微分、非線形変換、および、初期化判定部１５４からの初期化信号に応じた積分を施し、最終的に、音声制御信号として、音声制御部１１２に出力する。
最頻値生成処理部１５２は、視差最頻値検出部１６１、時間微分器１６２、非線形変換器１６３、および間積分器１６４を含むように構成されている。
視差最頻値検出部１６１は、ステレオマッチング部１５１からの奥行き情報の中で、最も頻度の高い視差の最頻値を検出し、検出した視差の最頻値を、時間微分器１６２に出力する。この視差の最頻値は、指標算出処理部１５３の時間平均化部１７１および減算部１７２にも出力される。
映像コンテンツにおいては、画面上で最も大きな面積を占めるオブジェクトが音声のセンタチャンネルの主要な音源である場合が多いことから、視差の最頻値にセンタチャンネルの音源の奥行き位置の情報が含まれていると考えることができる。
時間微分器１６２は、視差最頻値検出部１６１からの視差の最頻値を時間微分し、視差の最頻値の時間微分値を求め、求めた視差の最頻値の時間微分値を、非線形変換器１６３に出力する。この視差の最頻値の時間微分値は、後述する指標の１つである指標Ｔとして、初期化判定部１５４にも供給される。
非線形変換器１６３は、時間微分器１６２からの視差の最頻値の時間微分値に対して非線形変換を行い、非線形変換された視差の最頻値の時間微分値を、時間積分器１６４に出力する。
時間積分器１６４は、非線形変換器１６３からの非線形変換された視差の最頻値の時間微分値を、初期化判定部１５４からの初期化信号で初期化された積分器で時間積分することにより、最適化された視差の最頻値を、音声制御信号として、音声制御部１１２に出力する。
指標算出処理部１５３は、ステレオマッチング部１５１からの奥行き情報や、視差最頻値検出部１６１からの視差の最頻値を用いて、時間積分器１６４の初期化信号を生成するための指標を算出する処理を行い、算出した指標を、初期化判定部１５４に出力する。
指標算出処理部１５３は、時間平均化部１７１、減算部１７２、視差最小値検出部１７３、視差最大値検出部１７４、減算部１７５、時間微分器１７６、および時間微分器１７７を含むように構成されている。
時間平均化部１７１は、視差最頻値検出部１６１からの視差の最頻値を時間平均し、最頻値の時間平均値を、減算部１７２に出力する。減算部１７２は、視差最頻値検出部１６１からの視差の最頻値から、最頻値の時間平均値を減じた値を、指標Ｐとして、初期化判定部１５４に出力する。
視差最小値検出部１７３は、ステレオマッチング部１５１からの奥行き情報から、視差の最小値を検出し、検出した視差の最小値を、減算部１７５および時間微分器１７６に出力する。視差最大値検出部１７４は、ステレオマッチング部１５１からの奥行き情報から、視差の最大値を検出し、検出した視差の最大値を、減算部１７５および時間微分器１７７に出力する。
減算部１７５は、視差最小値検出部１７３からの視差の最小値と視差最大値検出部１７４からの視差の最大値との差分を、指標Ｑとして、初期化判定部１５４に出力する。
時間微分器１７６は、視差最小値検出部１７３からの視差の最小値を時間微分して、最小値の時間微分値を、指標Ｒとして、初期化判定部１５４に出力する。時間微分器１７７は、視差最大値検出部１７４からの視差の最大値を時間微分して、最大値の時間微分値を、指標Ｓとして、初期化判定部１５４に出力する。
初期化判定部１５４は、指標算出処理部１５３からの複数の指標のうち少なくとも１つに基づいて、時間積分器１６４を初期化する初期化信号を、時間積分器１６４に出力する。
[奥行き情報の例]
ステレオマッチング部１５１は、前段から入力された左眼用画像と右眼用画像とから、画素単位、または、複数の画素を１ブロックとするブロック単位の視差を求める。
ここで、ステレオマッチング処理には様々な方式が提案されており、この方式の違いにより、求まる視差の粒度や、視差の出現頻度に相当する値の意味合いに違いはある。しかしながら、本実施の形態のステレオマッチング部１５１においては、最終的に、図４に示すように、全画面中の視差の度数分布に集約した結果が、奥行き情報として出力される。
図４の例においては、横軸が視差（正方向が手前）で、縦軸が全画面中の頻度である度数分布に、視差の最頻値２００Ａ、視差の最大値２０１Ａ、および視差の最小値２０２Ａが示されている。
なお、後述するが、ステレオマッチング部１５１以降においては、度数分布に集約した結果のうち、これらの視差の最頻値２００Ａ、視差の最大値２０１Ａ、および視差の最小値２０２Ａのみが用いられ、頻度情報が使用されない。したがって、仮に頻度の値が全画面中に占める面積比に対して線形性がなくてもよく、すなわち、使用されるのは、最頻値、最大値、および最小値だけであり、縦軸の情報が用いられないので、単調性があればよい。
また、視差の度数分布の対象範囲は、全画面でなくてもよく、例えば、画面の中央部の主要な部分に限定したものであってもよい。
このような構成をとることにより、本実施の形態においては、ステレオマッチング方式への依存性は少ない。
[非線形変換の具体例]
次に、非線形変換器１６３における非線形変換の目的を具体的に説明する。非線形変換部１６３においては、例えば、図５に示されるように、入力の絶対値が、ある閾値ｔｈよりも大きいものに対しては、その出力を０にする、非線形変換特性が用いられるものとする。
図６は、第１番目の例として、シーンチェンジが発生した場合の視差の最頻値２００Ｂ、視差の最大値２０１Ｂ、および視差の最小値２０２Ｂの時間変化の例を示す図である。縦軸は視差（正方向が手前）を示し、横軸は時刻を示している。
図６の例においては、時刻ｔ１、時刻ｔ２、時刻ｔ３でそれぞれシーンチェンジが発生し、そのたびに、画面全体の奥行き構造が変化している。このように、シーンチェンジによる奥行き構造の変化があった場合、視差の最頻値２００Ｂに不連続な変化が生じる。
この視差の最頻値２００Ｂが時間微分器１６２により時間微分されると、例えば、図７に示されるような信号が得られる。縦軸は時間微分値を示し、横軸は時刻を示している。
図７の例においては、シーンチェンジの度に、ｔｈ以上の視差の時間微分値の絶対値が発生している。
一般的に、シーンチェンジが発生した場合、例えば、図７に示されるように、視差の時間微分値の絶対値が適切に設定された閾値ｔｈに比べ大きな値をとる場合が多い。したがって、非線形変換器１６３において、上述した図５に示した特性の非線形変換を行うことにより、図８に示されるように、視差の最頻値の時間微分値から、シーンチェンジの影響をほぼ除去することができる。
図８の例においては、縦軸が非線形変換された時間微分値を示し、横軸が時刻を示しており、非線形変換された時間微分値はすべて０を示している。
そして、この非線形変換された視差の最頻値の時間微分値を時間積分器１６４にて時間積分することにより、図９に示されるように、シーンチェンジの影響がほぼ除去された視差の最頻値を得ることができる。すなわち、シーンチェンジは、意図的な奥行き変化でない場合が多く、音声制御に適さないから除去されることにより、最適な音声制御を行うことができる。
図９の例においては、縦軸が時間積分値を示し、横軸が時刻を示しており、時間積分値はすべて０を示している。
なお、上述したシーンチェンジの影響を除去する第１番目の例は、図１のシーン構造変化検出部１２２および音声制御用奥行き情報抽出部１２５による処理に相当する。すなわち、この場合、シーン構造変化検出部１２２および音声制御用奥行き情報抽出部１２５は、時間微分器１６２および非線形変換器１６３に対応する。そして、音声制御信号生成部１２６が、時間積分器１６４に対応する。
図１０は、第２番目の例として、映像コントラストが低い場合の視差の度数分布を示す図である。図１０の例においては、横軸が視差（正方向が手前）で、縦軸が全画面中の頻度である度数分布に、視差の最頻値２１０Ａ、視差の最大値２１１Ａ、および視差の最小値２１２Ａが示されている。
また、図１１は、この場合の視差の最頻値２１０Ｂ、視差の最大値２１１Ｂ、および視差の最小値２１２Ｂの時間変化の例を示す図である。縦軸は視差（正方向が手前）を示し、横軸は時刻を示している。
図１０および図１１の例においては、時刻ｔ１乃至時刻ｔ２において、映像コントラストの低いシーンとなっている例が示されている。ステレオマッチングの特性上、コントラストの低いシーンにおいては、図１０に示されるように、度数分布が平坦となり、かつ、視差の最大値２１１Ａと視差の最小値２１２Ａとの差が大きくなり、視差の度数分布を正確に求めることが困難となる。
また、図１１の時刻ｔ１乃至時刻ｔ２に示されるように、視差の最頻値２１０Ｂの時間変化が不安定となる。
この視差の最頻値２１０Ｂが時間微分器１６２により時間微分されると、例えば、図１２に示されるような信号が得られる。縦軸は時間微分値を示し、横軸は時刻を示している。
一般的に、映像コントラストの低いシーンにおいては、上述の理由により、例えば、図１２に示されるように、視差の時間微分値の絶対値か適切に設定された閾値ｔｈに比べ大きな値をとる場合が多い。したがって、非線形変換器１６３において、上述した図５に示した特性の非線形変換を行うことにより、図１３に示されるように、視差の最頻値の時間微分値から、映像コントラストが低い場合の視差の不安定性をほぼ除去することができる。
図１３の例においては、縦軸が非線形変換された時間微分値を示し、横軸が時刻を示しており、非線形変換された時間微分値は、時刻ｔ１乃至時刻ｔ２におけるある時刻のみｔｈ以下の値（＞０）を示しているが、その他は０を示している。
そして、この非線形変換された視差の最頻値の時間微分値が時間積分器１６４にて時間積分される。これにより、図１４に示されるような映像コントラストが低いシーンなど、視差の信頼性が低い場合の視差の不安定性の影響がほぼ除去された視差の最頻値を得ることができる。さらに、この場合、指標Ｑ乃至指標Ｔのうち少なくとも１つの指標をもちいて時間積分器１６４を初期化することにより、より精度よく映像コントラストが低い場合の視差の不安定性を除去することができる。なお、指標の詳細については後述される。
図１４の例においては、縦軸が時間積分値を示し、横軸が時刻を示しており、時間積分値は、時刻ｔ１乃至時刻ｔ２におけるある時刻より手前は０を示し、ある時刻からある値（＞０）を示している。
なお、上述した映像コントラストが低いなど、視差の信頼性が低い場合の第２番目の例は、図１の奥行き情報信頼性判定部１２３および音声制御用奥行き情報抽出部１２５による処理に相当する。すなわち、この場合、奥行き情報信頼性判定部１２３および音声制御用奥行き情報抽出部１２５は、時間微分器１６２および非線形変換器１６３に対応する。そして、音声制御信号生成部１２６が、時間積分器１６４に対応する。
図１５は、第３番目の例として、２つのオブジェクトが全画面中に占める面積比がほぼ同等となる場合の視差の度数分布を示す図である。図１５の例においては、横軸が視差（正方向が手前）で、縦軸が全画面中の頻度である度数分布に、視差の最頻値２２０Ａ１および２２０Ａ２、視差の最大値２２１Ａ、および視差の最小値２２２Ａが示されている。
このような場合、２つのオブジェクトの面積関係では、どちらが主要なオブジェクトであるかを判断することが困難なことが多いため、音声の制御信号を生成するために用いる視差情報としては信頼性が低い。
一般的に、このような２つのオブジェクトは、「人物」と「背景」のように、奥行きとして大きな差があることが多いため、２つの視差の最頻値２２０Ａ１と最頻値２２０Ａ２の差は、大きな値をとることが多い。
図１６に、この場合の視差の最頻値２２０Ｂ、視差の最大値２２１Ｂ、および視差の最小値２２２Ｂの時間変化の例を示す図である。縦軸は視差（正方向が手前）を示し、横軸は時刻を示している。
この例においては、時刻ｔ１乃至時刻ｔ２において、２つのオブジェクトが全画面中に占める面積比がほぼ同等となり、これにノイズや検出誤差などの影響が加わることで、視差の最頻値２２０Ｂが２つの視差の値をランダムにとっている。
この視差の最頻値２２０Ｂが時間微分器１６２により時間微分されると、例えば、図１７に示されるような信号が得られる。縦軸は時間微分値を示し、横軸は時刻を示している。
上述したように２つのオブジェクトの視差の差は大きい場合が多いことから、視差の時間微分値の絶対値が、適切に設定された閾値ｔｈに比べ大きな値をとることが多くなる。したがって、非線形変換器１６３において、上述した図５に示した特性の非線形変換を行うことにより、図１８に示されるように、視差の最頻値の時間微分値から、２つのオブジェクトが全画面中に占める割合がほぼ同等となる場合の視差の不安定性をほぼ除去することができる。
図１８の例においては、縦軸が非線形変換された時間微分値を示し、横軸が時刻を示しており、非線形変換された時間微分値はすべて０を示している。
そして、この非線形変換された視差の最頻値の時間微分値が時間積分器１６４にて時間積分される。これにより、図１９に示されるような２つのオブジェクトが全画面中に占める割合がほぼ同等となる場合の視差の不安定性の影響がほぼ除去された視差の最頻値を得ることができる。
図１９の例においては、縦軸が時間積分値を示し、横軸が時刻を示しており、時間積分値はすべて０を示している。
なお、上述した２つのオブジェクトが全画面中に占める割合がほぼ同等となるなど、視差の信頼性が低い場合の第３番目の例は、上述した第２番目の例と同様に、図１の奥行き情報信頼性判定部１２３および音声制御用奥行き情報抽出部１２５による処理に相当する。すなわち、この場合、奥行き情報信頼性判定部１２３および音声制御用奥行き情報抽出部１２５は、時間微分器１６２および非線形変換器１６３に対応する。そして、音声制御信号生成部１２６が、時間積分器１６４に対応する。
図２０は、第４番目の例として、主要な被写体が奥から手前方向に移動するシーンにおける視差の最頻値２３０Ｂ、視差の最大値２３１Ｂ、および視差の最小値２３２Ｂの時間変化の例を示す図である。縦軸は視差（正方向が手前）を示し、横軸は時刻を示している。
図２０の例においては、時刻ｔ１乃至ｔ２において、主要なオブジェクトが奥から手前にかけて移動することにより、視差の最頻値２３０Ｂが徐々に大きくなる方向に変化している。
この視差の最頻値２３０Ｂが時間微分器１６２により時間微分されると、例えば、図２１に示されるような信号が得られる。縦軸は時間微分値を示し、横軸は時刻を示している。
図２１の例の時刻ｔ１乃至ｔ２においては、時刻ｔ１でｔｈ以上の視差の時間微分値の絶対値が発生し、その後、ｔｈより小さな値（＞０）の視差の時間微分値の絶対値が多く発生している。
主要な被写体の前後の動きは、上述した第１乃至第３番目の例と異なり、視差の時間微分値の絶対値が適切に設定された閾値ｔｈに比べ小さな値（＞０）をとることが多い。したがって、非線形変換器１６３において、上述した図５に示した特性の非線形変換を行うことにより、図２２に示されるように、非線形変換された時間微分値に反映させることができる。
図２２の例においては、縦軸が非線形変換された時間微分値を示し、横軸が時刻を示しており、非線形変換された時間微分値は、時刻ｔ１乃至ｔ２において、ｔｈ以下の値（＞０）をいくつか示している。
また、この閾値ｔｈを適切に設定することにより、時間変動が速い奥行き変化など音声制御の追従が困難である場合などを除外することができるので、音声の制御に不自然さを生じてしまうことを回避することができる。
そして、この非線形変換された視差の最頻値の時間微分値を時間積分器１６４にて時間積分することにより、図２３に示されるように、主要な被写体が奥から手前方向に移動するシーンにおける視差の最頻値を得ることができる。
図２３の例においては、縦軸が時間積分値を示し、横軸が時刻を示しており、時間積分値は、時刻ｔ１までは０であるが、時刻ｔ１乃至時刻ｔ２においては、徐々に大きな値（＞０）を示している。
なお、上述した第４番目の例は、図１の音響制御効果評価部１２４および音声制御用奥行き情報抽出部１２５による処理に相当する。すなわち、この場合、音響制御効果評価部１２４および音声制御用奥行き情報抽出部１２５は、時間微分器１６２および非線形変換器１６３に対応する。そして、音声制御信号生成部１２６が、時間積分器１６４に対応する。
以上のように、非線形変換特性における閾値ｔｈを適切に設定することにより、上述した第１番目乃至第３番目の場合などの影響を除去することができる。そして、第４番目の場合のように、主要な被写体であり、かつ、最適な制御結果の得られる奥行き方向の動作のみを時間微分値に反映させることができる。
これらの第１番目乃至第３番目の場合とは、上述したように、シーンチェンジが発生した場合、映像コントラストが低く視差の信頼性が低い場合、主要なオブジェクトの判別が困難である複数のオブジェクトが存在する場合である。
なお、上記説明においては、図５の非線形変形特性を用いる例を説明したが、それに代えて、図２４に示される非線形変形特性を用いてもよい。
図２４の例においては、入力が０乃至閾値ｔｈ以外の値に対しては、出力を０にする非線形変形特性が示されている。このような特性を用いると、視差が減少する方向に変化した場合には、非線形変換器１６３からの出力である非線形変換された視差の最頻値の時間微分値が０となり、主要被写体が奥側に移動するような時に対して時間積分器１６４からの音声制御信号が０となる。すなわち、視差に対する音声制御の連動方向を、３Ｄ映像が飛び出す方向のみに限定するような制御が可能となる。
以上のように、非線形変形特性を任意に設定することにより、主要な被写体の動きに対して生成される音声制御信号の特性を変化させることができる。
［指標Ｐ乃至Ｓの算出例］
次に、再度、図３を参照して、指標算出処理部１５３の処理について、指標Ｐ乃至Ｔの順に具体的に説明する。
まず、第１の指標として、減算部１７２から初期化判定部１５４に入力される指標Ｐについて説明する。減算部１７２により、視差最頻値検出部１６１からの視差の最頻値から、最頻値の時間平均値を減じた値が、指標Ｐとして、初期化判定部１５４に出力される。
この最頻値の時間平均値は、３Ｄ映像を制作する際の奥行きの標準的な位置を表しており、多くの場合、実画面か、それよりもやや奥側に設定されることが多い。最頻値がこの値に近い値をとる場合、３Ｄ映像の制作者は、主要なオブジェクトを標準的な奥行きに設定していることになり、３Ｄ映像における飛び出し効果や引っ込み効果を意図していない可能性が高い。そのため、指標Ｐ（すなわち、減算部１７２により演算される最頻値より平均値を減じた値）は、値が０に近い場合、時間積分器１６４を初期化し、音声制御信号を０とすべきであるという指標となり得る。
次に、第２の指標として、減算部１７５から初期化判定部１５４に入力される指標Ｑについて説明する。
減算部１７５により、視差最小値検出部１７３からの視差の最小値と視差最大値検出部１７４からの視差の最大値との差分が、指標Ｑとして、初期化判定部１５４に出力される。
視差の最小値と視差の最大値との差分値は、値が大きいほどシーンの奥行き構造の前後幅が広いことを示している。通常の３Ｄ映像においては、この差分値を一定範囲に収めることで、全画面が融像可能な映像としているが、ステレオマッチングが難しい映像などで視差の検出結果が正しく求まらない場合などにおいては、異常に大きな値をとる。
したがって、差分の値が一定値以上の場合には、視差が正確に求まっていない可能性が高いため、指標Ｑ（すなわち、最大値と最小値の差分）は、値が異常に大きい場合、時間積分器１６４を初期化し、音声制御信号を０とすべきであるという指標となり得る。
さらに、第３の指標として、時間微分器１７６から初期化判定部１５４に入力される指標Ｒおよび時間微分器１７７から初期化判定部１５４に入力される指標Ｓについて説明する。
視差最小値検出部１７３により検出された視差の最小値と、視差最大値検出部１７４により検出された視差の最大値は、時間微分器１７６および時間微分器１７７により時間微分され、それぞれ、最小値の時間微分値と最大値の時間微分値が求められる。
最小値の時間微分値と最大値の時間微分値は、図１１と図１２とを参照して上述したように、値が閾値ｔｈに比べ大きな値をとる場合に、映像コントラストが低くステレオマッチング処理による視差の検出結果が困難である可能性が高い。したがって、最小値の時間微分値と最大値の時間微分値は、時間積分器１６４を初期化し、音声制御信号を０とすべきであるという指標となり得る。
最後に、第４の指標として、時間微分器１６２から初期化判定部１５４に入力される指標Ｔについて説明する。
上述したように、時間微分器１６２および非線形変換器１６３の作用により、視差からシーンチェンジの影響、映像コントラストが低い場合、および複数のオブジェクトが全画面中に占める割合がほぼ同等となる場合の視差の不安定性の影響を除去することができる。
このとき同時に、時間積分器１６４を初期化しておくことにより、次に主要な被写体が奥行き方向に移動するシーンが検出され、再び時間積分が開始されるシーンに遷移した際の音声制御信号の初期値が０とされるので、適正な音声制御を行うことができる。
そのため、時間微分器１６２からの微分値の絶対値が閾値ｔｈ、もしくは、別途任意に設定された下限の閾値ｔｈＬまたは上限の閾値ｔｈＨを超えた場合に、時間積分器１６４を初期化し、音声制御信号を０とすべきであるという指標となり得る。
初期化判定部１５４は、これら４種類５つの指標Ｐ乃至Ｔを用いて、時間積分器１６４を初期化するか否かを判定し、初期化すると判定した場合、初期化信号を生成し、時間積分器１６４に出力する。
本実施の形態においては、視差の時間微分値を用いることから、ステレオマッチング部１５１から奥行き情報として視差情報が入力されてから、時間積分器１６４により音声制御信号が出力されるまで、最低１映像フレームの遅延が生じるものとなっている。
もし、システム上、１映像フレーム以上の遅延が許容される場合には、ステレオマッチングで得られた視差情報に、適切なノイズ除去フィルタ処理を施すことで、ステレオマッチングの検出誤差の軽減が可能となる余地が生じることは言うまでもない。適切なノイズ除去フィルタとは、例えば、移動平均フィルタやメディアンフィルタなどである。
なお、初期化判定部１５４に入力される指標として、４種類５つの指標Ｐ乃至Ｔを用いたが、これら以外にも、放送チャンネルや入力ソースの切り替え情報や、映像のフレーム間差分を用いたシーンチェンジ検出の結果など、外部からの情報を用いるようにしてもよい。
また、上記説明においては、左眼用画像と右眼用画像からステレオマッチング処理により、視差の度数分布を求め、その中の視差の最頻値、視差の最大値、および視差の最小値を用いる例を説明したが、これに限定されない。例えば、映像に、視差の最頻値、最大値、最小値に変換できるような情報が付加されている場合には、それを用いるようにしてよいことは言うまでもない。
[音声制御部の処理例]
次に、上述したように生成された音声制御信号を用いて、音声信号を制御する処理について説明する。
音声の制御を行う場合、主となる制御対象は、例えば、5.1chのサラウンド信号においては、センタチャンネルが最も適している。これは、演者のセリフはセンタチャンネルに割り当てられることが多く、さらに、画面内に映像として映し出されている被写体の発生する効果音もセンタチャンネルに割り当てられることが多いため、映像から検出された奥行き情報と紐付けしやすいためである。
また、音声の距離感を制御することができるとされる音響パラメータとしては、音量、周波数特性、直接音に対する初期反射音の相対的な音量、および遅延時間などがあげられる（小宮山 摂、立体映像用の音響再生方式、日本音響学会誌６６巻１２号(2010)、pp.610-615参照）。
そこで、以下では、生成された音声制御信号を用いて、センタチャンネルの上記音響パラメータを制御する方法について説明する。なお、生成された音声制御信号においては、基の情報としては、視差であるが、音声制御に不要な成分が取り除かれているため、映像の奥行きとの関連は失われている。
また、説明の便宜上、音声制御信号の単位として特定の視聴条件における視差の値（単位は１画素）を使用する。例えば、音声制御信号が０であれば、ディスプレイ面（実画面）上に音声が知覚され、音声制御信号が正の値であれば、飛び出し方向に音声が知覚され、音声制御信号が負の値であれば、引っ込み方向に音声が知覚されるように制御されることを示している。
[音声制御部の構成例]
図２５は、音声制御部の構成例を示す図である。
音声制御部１１２は、例えば、一次反射音音圧変換器３０１、遅延時間変換器３０２、直接音音圧変換器３０３、周波数特性変換器３０４、フィルタ部３０５、乗算器３０６、遅延処理部３０７、乗算器３０８、および加算器３０９を含むように構成されている。
時間積分器１１４からの音声制御信号は、一次反射音音圧変換器３０１、遅延時間変換器３０２、直接音音圧変換器３０３、および周波数特性変換器３０４に入力される。この音声制御信号は、上述したようにして最適化された視差の最頻値である。
周波数特性変換器３０４は、時間積分器１１４からの音声制御信号を、周波数特性パラメータに変換し、変換した周波数特性パラメータをフィルタ部３０５に出力する。
周波数特性は、例として、図２６に示すような特性を持ち、音声制御信号（すなわち、視差の値）が小さいほど、換言するに、音源距離が遠くなるほど空気吸収による高域の減衰が多くなる現象を再現している。
フィルタ部３０５は、前段からのセンタチャンネル入力に対して、フィルタ処理を行い、フィルタ処理後の信号を、乗算器３０６に出力する。なお、ここでは、センタチャンネル入力に対して、フィルタ部３０５の係数を周波数パラメータにより変更することで、距離感の制御が行われる。
直接音音圧変換器３０３は、時間積分器１１４からの音声制御信号を、直接音の音圧ゲインに変換し、変換した直接音の音圧ゲインを、乗算器３０６に出力する。
直接音の音圧ゲインは、例として、図２７に示す模式図のように、視差ｙに対して、３Ｄ映像が知覚される奥行きｚを、視差ｙ＝０の場合、ｚの値に対する相対値として計算した値が使用され、図２８に示されるような特性となる。もちろん、これは、一例であって、適切な効果が得られるように、音圧ゲインの特性を任意に設定することも可能である。
乗算器３０６は、フィルタ部３０５によりフィルタリングされた信号に対して、直接音音圧変換器３０３からの音圧ゲインを乗算することで、距離感の制御を行う。乗算器３０６からの信号は、遅延処理部３０７および加算部３０９に出力される。
遅延時間変換器３０２は、時間積分器１１４からの音声制御信号を、一次反射音の遅延時間に変換し、変換した一次反射音の遅延時間を、遅延処理部３０７に出力する。
一次反射音の遅延時間は、例として、図２９に示されるような特性を有する。この特性は、単一反射音の時間遅れと、知覚される音像距離の知見の１つに基づくものであるが、これも一例であって特性を任意に設定してもよい（T.Gotoh,Y,kimura,A.Kurahashi anf A.Yamada:A consideration of distance percention in binaural hearing J.Aoustic Society Japan(E),33,pp667-671参照）。
遅延処理部３０７は、遅延時間変換器３０２により変換された一次反射音の遅延時間を用いて、乗算器３０６からの信号の遅延処理を行い、遅延処理後の信号を、乗算器３０８に出力する。
一次反射音音圧変換器３０１は、時間積分器１１４からの音声制御信号を、直接音に対する一次反射音の音圧比に変換し、変換した直接音に対する一次反射音の音圧比を、乗算器３０８に出力する。
図３０は、一次反射音の音圧比特性の一例を示す図である。これも一例であって、特性は任意に設定されてもよい。
乗算器３０８は、遅延処理部３０７からの遅延処理後の信号に、直接音に対する一次反射音の音圧比を乗算し、その乗算結果を、加算部３０９に出力する。
加算部３０９は、乗算器３０６により距離感が制御された信号と、乗算器３０８により遅延処理後の信号に、直接音に対する一次反射音の音圧比が乗算された信号とを加算し、加算結果を、センタチャンネル出力として、後段の図示せぬスピーカなどに出力する。
以上のように、本技術によれば、３Ｄ作品における映像の距離感と音声の距離感の不一致を、３Ｄ映像の奥行き情報を用いて音声の奥行き感を調整することで抑制することができる。
その際、以下の映像と音声とを連動されることに適さない情報を排除し、かつ、低い処理遅延時間により、画像遅延用メモリのコストを増大させることなく、良好な映像と音声の連動効果を得ることができる。
連動に適さない情報、すなわち、奥行き情報に含まれる、シーンチェンジなどによる奥行き構造の変化、ステレオマッチングの不安定な挙動、複数の異なる奥行き情報を持ち被写体により構成されるシーンにおける主要なオブジェクトの誤判断などが排除される。
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
＜２．第２の実施の形態＞
[コンピュータの構成例]
図３１は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示している。
コンピュータ５００において、CPU（Central Processing Unit）５０１，ROM（Read Only Memory）５０２，RAM（Random Access Memory）５０３は、バス５０４により相互に接続されている。
バス５０４には、さらに、入出力インタフェース５０５が接続されている。入出力インタフェース５０５には、入力部５０６、出力部５０７、記憶部５０８、通信部５０９、及びドライブ５１０が接続されている。
入力部５０６は、キーボード、マウス、マイクロホンなどよりなる。出力部５０７は、ディスプレイ、スピーカなどよりなる。記憶部５０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部５０９は、ネットワークインタフェースなどよりなる。ドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア５１１を駆動する。
以上のように構成されるコンピュータでは、CPU５０１が、例えば、記憶部５０８に記憶されているプログラムを、入出力インタフェース５０５及びバス５０４を介して、RAM５０３にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ（CPU５０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア５１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
コンピュータでは、プログラムは、リムーバブルメディア５１１をドライブ５１０に装着することにより、入出力インタフェース５０５を介して、記憶部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記憶部５０８にインストールすることができる。その他、プログラムは、ROM５０２や記憶部５０８に、あらかじめインストールしておくことができる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
なお、本明細書において、上述した一連の処理を記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、本開示における実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。つまり、本技術は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有するであれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例また修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
なお、本技術は以下のような構成も取ることができる。
（１） 動画像情報に関連する視差について、最頻値を算出する視差最頻値算出部と、
前記視差最頻値算出部により算出された最頻値の時間方向の変化から前後感の知覚の連動に適する時間区間を抽出する時間区間抽出部と、
前記時間区間抽出部により抽出された時間区間において前記動画像情報に関連する音情報の奥行感を制御する音声制御信号を生成する制御信号生成部と
を備える信号処理装置。
（２） 前記時間区間抽出部は、前記動画像情報と、前記視差最頻値算出部により算出された最頻値に基づいて、前記動画像のシーン構造の変化を検出し、変化が検出された時間区間を排除するシーン構造変化検出部を含む
前記（１）に記載の信号処理装置。
（３） 前記シーン構造変化検出部は、前記視差最頻値算出部により算出された最頻値を時間微分する時間微分部と、
前記時間微分部により時間微分された最頻値に対して、非線形変換を行う非線形変換部とを備え、
前記制御信号生成部は、前記非線形変換部により非線形変換が行われた最頻値に対して、時間積分を行う時間積分部を備える
前記（２）に記載の信号処理装置。
（４） 前記シーン構造変化検出部は、前記視差最頻値算出部により算出された最頻値の絶対値の大きさに応じて、前記時間積分部により行われる時間積分の初期化を行う初期化判定部をさらに備える
前記（３）に記載の信号処理装置。
（５） 前記時間区間抽出部は、前記動画像情報と、前記視差最頻値算出部により算出された最頻値に基づいて、前記最頻値の信頼性を評価し、信頼性の低い最頻値の時間区間を排除するの最頻値信頼性判定部を含む
前記（１）または（２）に記載の信号処理装置。
（６） 前記最頻値信頼性判定部は、前記視差最頻値算出部により算出された最頻値を時間微分する時間微分部と、
前記時間微分部により時間微分された最頻値に対して、非線形変換を行う非線形変換部とを備え、
前記制御信号生成部は、前記非線形変換部により非線形変換が行われた最頻値に対して、時間積分を行う時間積分部を備える
前記（５）に記載の信号処理装置。
（７） 前記視差について、最大値を算出する視差最大値算出部と、
前記視差について、最小値を算出する視差最小値算出部と
をさらに備え、
前記最頻値信頼性判定部は、前記視差最大値算出部により算出された最大値と前記視差最小値算出部により算出された最小値の差の大きさ、前記最大値の時間変化、および前記最小値の時間変化の少なくとも１つに応じて、前記時間積分部により行われる時間積分の初期化を行う初期化判定部をさらに備える
前記（６）に記載の信号処理装置。
（８） 前記初期化判定部は、前記視差最頻値算出部により算出された最頻値の絶対値の大きさに応じて、前記時間積分部により行われる時間積分の初期化を行う
前記（７）に記載の信号処理装置。
（９） 前記時間区間抽出部は、前記動画像情報に関連する音情報と、前記視差最頻値算出部により算出された最頻値に基づいて、前記動画像情報により前記音情報の制御を行った場合の効果を評価し、前記音声制御信号を変化させる音声制御効果評価部を含む
前記（１）、（２）、または（５）に記載の信号処理装置。
（１０） 前記音声制御効果評価部は、前記視差最頻値算出部により算出された最頻値を時間微分する時間微分部と、
前記時間微分部により時間微分された最頻値に対して、非線形変換を行う非線形変換部とを備え、
前記制御信号生成部は、前記非線形変換部により非線形変換が行われた最頻値に対して、時間積分を行う時間積分部を備える
前記（９）に記載の信号処理装置。
（１１） 前記音声制御効果評価部は、前記視差最頻値算出部により算出された最頻値と、前記最頻値の時間平均値との差分に応じて、前記時間積分部により行われる時間積分の初期化を行う初期化判定部をさらに備える
前記（１０）に記載の信号処理装置。
（１２） 前記初期化判定部は、前記視差最頻値算出部により算出された最頻値の絶対値の大きさに応じて、前記時間積分部により行われる時間積分の初期化を行う
前記（１１）に記載の信号処理装置。
（１３） 信号処理装置が、
動画像情報に関連する視差について、最頻値を算出し、
算出された最頻値の時間方向の変化から前後感の知覚の連動に適する時間区間を抽出し、
抽出された時間区間において前記動画像情報に関連する音情報の奥行感を制御する音声制御信号を生成する
信号処理方法。
（１４） 動画像情報に関連する視差について、最頻値を算出する視差最頻値算出部と、
前記視差最頻値算出部により算出された最頻値の時間方向の変化から前後感の知覚の連動に適する時間区間を抽出する時間区間抽出部と、
前記時間区間抽出部により抽出された時間区間において前記動画像情報に関連する音情報の奥行感を制御する音声制御信号を生成する制御信号生成部と
してコンピュータを機能させるプログラム。
１０１ 信号処理装置， １１１ 信号処理部， １１２ 音声制御部， １２１ 奥行き情報生成部， １２２ シーン構造変化検出部， １２３ 奥行き情報信頼性判定部， １２４ 音響制御効果評価部， １２５ 音声制御用奥行き情報抽出部， １２６ 音声制御信号生成部， １５１ ステレオマッチング部， １５２ 最頻値生成処理部， １５３ 指標算出処理部， １５４ 初期化判定部， １６１ 視差最頻値検出部， １６２ 時間微分器， １６３ 非線形変換器， １６４ 時間積分器， １７１ 時間平均化部， １７２ 減算器， １７３ 視差最小値検出部， １７４ 視差最大値検出部， １７５ 減算器， １７６ 時間微分器， １７７ 時間微分器， ３０１ 一次反射音音圧変換器， ３０２ 遅延時間変換器， ３０３ 直接音音圧変換器， ３０４ 周波数特性変換器， ３０５ フィルタ部， ３０６ 乗算器， ３０７ 遅延処理部， ３０８ 乗算器， ３０９ 加算器

Claims (15)

  1. 動画像情報に関連する視差について、最頻値を算出する視差最頻値算出部と、
    前記視差最頻値算出部により算出された最頻値の時間方向の変化から前後感の知覚の連動に適する時間区間を抽出する時間区間抽出部と、
    前記時間区間抽出部により抽出された時間区間において前記動画像情報に関連する音情報の奥行感を制御する音声制御信号を生成する制御信号生成部と
    を備える信号処理装置。
  2. 前記時間区間抽出部は、前記動画像情報と、前記視差最頻値算出部により算出された最頻値に基づいて、前記動画像のシーン構造の変化を検出し、変化が検出された時間区間を排除するシーン構造変化検出部を含む
    請求項１に記載の信号処理装置。
  3. 前記シーン構造変化検出部は、前記視差最頻値算出部により算出された最頻値を時間微分する時間微分部と、
    前記時間微分部により時間微分された最頻値に対して、非線形変換を行う非線形変換部とを備え、
    前記制御信号生成部は、前記非線形変換部により非線形変換が行われた最頻値に対して、時間積分を行う時間積分部を備える
    請求項２に記載の信号処理装置。
  4. 前記シーン構造変化検出部は、前記視差最頻値算出部により算出された最頻値の絶対値の大きさに応じて、前記時間積分部により行われる時間積分の初期化を行う初期化判定部をさらに備える
    請求項３に記載の信号処理装置。
  5. 前記時間区間抽出部は、前記動画像情報と、前記視差最頻値算出部により算出された最頻値に基づいて、前記最頻値の信頼性を評価し、信頼性の低い最頻値の時間区間を排除するの最頻値信頼性判定部を含む
    請求項１に記載の信号処理装置。
  6. 前記最頻値信頼性判定部は、前記視差最頻値算出部により算出された最頻値を時間微分する時間微分部と、
    前記時間微分部により時間微分された最頻値に対して、非線形変換を行う非線形変換部とを備え、
    前記制御信号生成部は、前記非線形変換部により非線形変換が行われた最頻値に対して、時間積分を行う時間積分部を備える
    請求項５に記載の信号処理装置。
  7. 前記視差について、最大値を算出する視差最大値算出部と、
    前記視差について、最小値を算出する視差最小値算出部と
    をさらに備え、
    前記最頻値信頼性判定部は、前記視差最大値算出部により算出された最大値と前記視差最小値算出部により算出された最小値の差の大きさ、前記最大値の時間変化、および前記最小値の時間変化の少なくとも１つに応じて、前記時間積分部により行われる時間積分の初期化を行う初期化判定部をさらに備える
    請求項６に記載の信号処理装置。
  8. 前記初期化判定部は、前記視差最頻値算出部により算出された最頻値の絶対値の大きさに応じて、前記時間積分部により行われる時間積分の初期化を行う
    請求項７に記載の信号処理装置。
  9. 前記時間区間抽出部は、前記動画像情報に関連する音情報と、前記視差最頻値算出部により算出された最頻値に基づいて、前記動画像情報により前記音情報の制御を行った場合の効果を評価し、前記音声制御信号を変化させる音声制御効果評価部を含む
    請求項１に記載の信号処理装置。
  10. 前記音声制御効果評価部は、前記視差最頻値算出部により算出された最頻値を時間微分する時間微分部と、
    前記時間微分部により時間微分された最頻値に対して、非線形変換を行う非線形変換部とを備え、
    前記制御信号生成部は、前記非線形変換部により非線形変換が行われた最頻値に対して、時間積分を行う時間積分部を備える
    請求項９に記載の信号処理装置。
  11. 前記音声制御効果評価部は、前記視差最頻値算出部により算出された最頻値と、前記最頻値の時間平均値との差分に応じて、前記時間積分部により行われる時間積分の初期化を行う初期化判定部をさらに備える
    請求項１０に記載の信号処理装置。
  12. 前記初期化判定部は、前記視差最頻値算出部により算出された最頻値の絶対値の大きさに応じて、前記時間積分部により行われる時間積分の初期化を行う
    請求項１１に記載の信号処理装置。
  13. 信号処理装置が、
    動画像情報に関連する視差について、最頻値を算出し、
    算出された最頻値の時間方向の変化から前後感の知覚の連動に適する時間区間を抽出し、
    抽出された時間区間において前記動画像情報に関連する音情報の奥行感を制御する音声制御信号を生成する
    信号処理方法。
  14. 動画像情報に関連する視差について、最頻値を算出する視差最頻値算出部と、
    前記視差最頻値算出部により算出された最頻値の時間方向の変化から前後感の知覚の連動に適する時間区間を抽出する時間区間抽出部と、
    前記時間区間抽出部により抽出された時間区間において前記動画像情報に関連する音情報の奥行感を制御する音声制御信号を生成する制御信号生成部と
    してコンピュータを機能させるプログラム。
  15. 動画像情報に関連する視差について、最頻値を算出する視差最頻値算出部と、
    前記視差最頻値算出部により算出された最頻値を時間微分する時間微分部と、
    前記時間微分部により時間微分された最頻値に対して、非線形変換を行う非線形変換部と、
    前記非線形変換部により非線形変換が行われた最頻値を時間積分する時間積分部と
    を備える信号処理装置。
JP2012117091A 2012-05-23 2012-05-23 信号処理装置、信号処理方法、およびプログラム Pending JP2013243626A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2012117091A JP2013243626A (ja) 2012-05-23 2012-05-23 信号処理装置、信号処理方法、およびプログラム
CN2013101819186A CN103428625A (zh) 2012-05-23 2013-05-16 信号处理装置、信号处理方法和程序
US13/895,437 US20130314497A1 (en) 2012-05-23 2013-05-16 Signal processing apparatus, signal processing method and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012117091A JP2013243626A (ja) 2012-05-23 2012-05-23 信号処理装置、信号処理方法、およびプログラム

Publications (1)

Publication Number Publication Date
JP2013243626A true JP2013243626A (ja) 2013-12-05

Family

ID=49621283

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012117091A Pending JP2013243626A (ja) 2012-05-23 2012-05-23 信号処理装置、信号処理方法、およびプログラム

Country Status (3)

Country Link
US (1) US20130314497A1 (ja)
JP (1) JP2013243626A (ja)
CN (1) CN103428625A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017525292A (ja) * 2014-07-22 2017-08-31 ホアウェイ・テクノロジーズ・カンパニー・リミテッド 入力音声信号を操作するための装置および方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6622388B2 (ja) * 2015-09-04 2019-12-18 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． ビデオ画像に関連付けられているオーディオ信号を処理する方法および装置
US11520041B1 (en) * 2018-09-27 2022-12-06 Apple Inc. Correcting depth estimations derived from image data using acoustic information

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10360685B2 (en) * 2007-05-24 2019-07-23 Pillar Vision Corporation Stereoscopic image capture with performance outcome prediction in sporting environments
US6791311B2 (en) * 2002-02-13 2004-09-14 Vaisala Oyj Lightning detection and data acquisition system
US7519845B2 (en) * 2005-01-05 2009-04-14 Microsoft Corporation Software-based audio rendering
JP5347717B2 (ja) * 2008-08-06 2013-11-20 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
JP5521913B2 (ja) * 2009-10-28 2014-06-18 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
KR101717787B1 (ko) * 2010-04-29 2017-03-17 엘지전자 주식회사 디스플레이장치 및 그의 음성신호 출력 방법
GB2479932A (en) * 2010-04-30 2011-11-02 Sony Corp Stereoscopic camera system with two cameras having synchronised control functions
US8665321B2 (en) * 2010-06-08 2014-03-04 Lg Electronics Inc. Image display apparatus and method for operating the same
KR101910192B1 (ko) * 2010-11-12 2018-10-22 한국전자통신연구원 3ｄｔｖ 서비스에서의 영상 압축 규격 결정 방법 및 장치
US8941720B2 (en) * 2011-02-02 2015-01-27 National Tsing Hua University Method of enhancing 3D image information density
WO2012128535A2 (en) * 2011-03-21 2012-09-27 Lg Electronics Inc. Apparatus for controlling depth/distance of sound and method thereof
IN2014CN03412A (ja) * 2011-11-01 2015-10-09 Koninkl Philips Nv

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017525292A (ja) * 2014-07-22 2017-08-31 ホアウェイ・テクノロジーズ・カンパニー・リミテッド 入力音声信号を操作するための装置および方法
US10178491B2 (en) 2014-07-22 2019-01-08 Huawei Technologies Co., Ltd. Apparatus and a method for manipulating an input audio signal

Also Published As

Publication number Publication date
US20130314497A1 (en) 2013-11-28
CN103428625A (zh) 2013-12-04

Similar Documents

Publication Publication Date Title
EP2700250B1 (en) Method and system for upmixing audio to generate 3d audio
JP5425897B2 (ja) 前方及び後方の深度予測を伴う、画像の深度抽出のシステム及び方法
US20070120972A1 (en) Apparatus and method for processing 3D video signal
JP2016527791A (ja) 画像処理方法及び装置
JP2014103689A (ja) 立体映像エラー改善方法及び装置
US9661307B1 (en) Depth map generation using motion cues for conversion of monoscopic visual content to stereoscopic 3D
EP1019873A1 (en) Image processing method and apparatus
JP2009501476A (ja) ビデオ時間アップコンバージョンを用いた処理方法及び装置
JP2012257022A (ja) 画像処理装置および方法、並びにプログラム
JP2012138885A (ja) 画像処理装置、および画像処理方法、並びにプログラム
US20120050491A1 (en) Method and system for adjusting audio based on captured depth information
US9100633B2 (en) Electronic device generating stereo sound synchronized with stereographic moving picture
JPWO2010035492A1 (ja) 立体画像処理装置および立体画像処理装置のノイズ低減方法
JP2013243626A (ja) 信号処理装置、信号処理方法、およびプログラム
EP3850470B1 (en) Apparatus and method for processing audiovisual data
JP2013135357A (ja) 奥行き推定データの生成装置、生成方法及び生成プログラム、並びに疑似立体画像の生成装置、生成方法及び生成プログラム
US11012774B2 (en) Spatially biased sound pickup for binaural video recording
US10747492B2 (en) Signal processing apparatus, signal processing method, and storage medium
US9761058B2 (en) Image processing apparatus and image processing method
JP2014016792A (ja) 画像処理装置および方法、並びにプログラム
US20120188244A1 (en) Depth estimation data generating device, computer readable recording medium having depth estimation data generating program recorded thereon, and pseudo-stereo image display device
KR101896570B1 (ko) 입체 동영상에 동기화된 입체 음향을 생성할 수 있는 전자 기기
JP2011234139A (ja) ３次元音声信号生成装置
CN110121890B (zh) 处理音频信号的方法和装置及计算机可读介质
WO2018129086A1 (en) Sound leveling in multi-channel sound capture system