JP2018101452A - 出力制御装置、コンテンツ記憶装置、出力制御方法、コンテンツ記憶方法、プログラム及びデータ構造 - Google Patents

出力制御装置、コンテンツ記憶装置、出力制御方法、コンテンツ記憶方法、プログラム及びデータ構造 Download PDF

Info

Publication number
JP2018101452A
JP2018101452A JP2016246433A JP2016246433A JP2018101452A JP 2018101452 A JP2018101452 A JP 2018101452A JP 2016246433 A JP2016246433 A JP 2016246433A JP 2016246433 A JP2016246433 A JP 2016246433A JP 2018101452 A JP2018101452 A JP 2018101452A
Authority
JP
Japan
Prior art keywords
output
content
height
audio
moving image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016246433A
Other languages
English (en)
Inventor
敦英 高橋
Atsuhide Takahashi
敦英 高橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2016246433A priority Critical patent/JP2018101452A/ja
Priority to US15/799,721 priority patent/US20180176708A1/en
Priority to CN201711205849.2A priority patent/CN108206948A/zh
Publication of JP2018101452A publication Critical patent/JP2018101452A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Social Psychology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Television Signal Processing For Recording (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Stereophonic System (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)

Abstract

【課題】視聴者の高さに応じた臨場感のある音声を出力できるようにする。
【解決手段】コンテンツ出力装置２の制御部２１は、撮影部２４に視聴者を撮影させ、得られた撮影画像に基づいて、コンテンツを視聴している視聴者の高さを検出し、検出された高さに応じたコンテンツの音声を音声出力部２６に出力させる。
【選択図】図７

Description

本発明は、出力制御装置、コンテンツ記憶装置、出力制御方法、コンテンツ記憶方法、プログラム及びデータ構造に関する。
従来、パノラマ投影が可能なデバイスが知られている（例えば、特許文献１参照）。
特表２０１０−５３６０６１号公報
しかしながら、従来のパノラマ投影の技術では、視聴者がどの高さで視聴しても出力される音声は変わらず、臨場感が得られなかった。
本発明の課題は、視聴者の高さに応じた臨場感のある音声を出力できるようにすることである。
上記課題を解決するため、本発明の出力制御装置は、
コンテンツを視聴している視聴者の高さを検出する検出手段と、
前記検出手段により検出された高さに応じた前記コンテンツの音声を出力手段に出力させる制御手段と、
を備える。
また、本発明のコンテンツ記憶装置は、
コンテンツの動画像に合わせて出力する音声を複数の高さ方向の位置で取得する音声取得手段と、
前記音声取得手段により取得された複数の音声の音声データのそれぞれに音声取得時の高さ情報を付与して前記動画像の動画データに対応付けて記憶する記憶手段と、
を備える。
また、本発明のデータ構造は、
コンテンツデータのデータ構造であって、
動画データと、前記動画データに基づく動画像に合わせて出力する音声を複数の高さ方向の位置で取得することによって得られた複数の音声データであって、それぞれに音声取得時の高さ情報が付与されている複数の音声データと、が対応付けられている。
本発明によれば、視聴者の高さに応じた臨場感のある音声を出力することが可能となる。
本実施形態のコンテンツ出力システムの全体構成例を示す図である。 図１のコンテンツ記憶装置の機能的構成を示すブロック図である。 本実施形態におけるコンテンツ出力装置の設置状態を示す図である。 図１のコンテンツ出力装置によりコンテンツを投影した状態を示すイメージ図である。 図１のコンテンツ出力装置の機能的構成を示すブロック図である。 図１のコンテンツ記憶装置を用いた撮影時のマイクの装着を説明するための図である。 図５の制御部により実行される出力制御処理を示すフローチャートである。
以下、添付図面を参照して本発明に係る実施形態を詳細に説明する。なお、本発明は、図示例に限定されるものではない。
［コンテンツ出力システムの構成］
図１は、本発明の実施形態におけるコンテンツ出力システム１００の全体構成を示す図である。コンテンツ出力システム１００は、図１に示すように、コンテンツ記憶装置１とコンテンツ出力装置２とを備えて構成されている。コンテンツ記憶装置１とコンテンツ出力装置２は、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）等の通信ネットワークＮを介して通信接続が可能である。
［コンテンツ記憶装置１の構成］
コンテンツ記憶装置１は、動画撮影を行うことによりコンテンツデータを取得して記憶する装置である。
図２は、コンテンツ記憶装置１の主制御構成を示すブロック図である。図２に示すように、コンテンツ記憶装置１は、制御部１１、操作部１２、記憶部１３、撮影部１４、音声取得部１５、通信部１６等を備えて構成されている。
制御部１１は、記憶部１３に記憶されている各種のプログラムを実行して所定の演算や各部の制御を行うＣＰＵ（Central Processing Unit）とプログラム実行時の作業領域となるメモリとを備えている（いずれも図示略）。制御部１１は、記憶部１３のプログラム記憶部１３１に記憶されているプログラムとの協働により、各種処理を実行する。
操作部１２は、複数の機能ボタンを備え、機能ボタンの押下信号を検出して制御部１１に出力する。
記憶部１３は、ＨＤＤ（Hard Disk Drive）や不揮発性の半導体メモリ等により構成される。記憶部１３には、図１に示すように、プログラム記憶部１３１、コンテンツ記憶部１３２が設けられている。
プログラム記憶部１３１には、制御部１１で実行されるシステムプログラムや各種処理プログラム、これらのプログラムの実行に必要なデータ等が記憶されている。
コンテンツ記憶部１３２には、撮影部１４において動画撮影により取得された動画データと、音声取得部１５において動画撮影と同期して複数の高さ方向の位置で取得された複数の音声データであって、それぞれに音声取得時の高さ情報が付与された音声データと、が対応付けられてコンテンツデータとして記憶される。ここで、音声とは、人の声のみを指すのではなく、音楽や自然音等の広く一般的な音を含む。
撮影部１４は、３６０°（全方位）の動画撮影が可能なカメラであり、制御部１１からの指示に応じて３６０°の動画データを取得する。
音声取得部１５は、複数のマイクを備え、制御部１１からの指示に応じて複数の高さ方向の位置の音声データを取得する。本実施形態において、音声取得部１５は、撮影者Ｍの頭部に装着されるマイク１５１と、腰部に装着されるマイク１５２と、膝部に装着されるマイク１５３と、を備えて構成され（図６参照）、３つの高さ方向の位置の音声データを取得する。音声取得部１５は、音声取得手段として機能する。
通信部１６は、モデム、ルータ、ネットワークカード等により構成され、通信ネットワークＮに接続されたコンテンツ出力装置２等の外部機器との通信を行う。
［コンテンツ出力装置２の構成］
コンテンツ出力装置２は、例えば、図３に示すように、室内の天井等に設けられ、図４に示すように、室内の全方位（３６０°全面）にコンテンツの出力（投影）を行う装置である。
図５は、本実施形態におけるコンテンツ出力装置２の主制御構成を示すブロック図である。図５に示すように、コンテンツ出力装置２は、制御部２１、記憶部２２、操作部２３、撮影部２４、プロジェクタ２５、音声出力部２６、通信部２７等を備えて構成されている。
制御部２１は、記憶部２２に記憶されている各種のプログラムを実行して所定の演算や各部の制御を行うＣＰＵ（Central Processing Unit）とプログラム実行時の作業領域となるメモリとを備えている（いずれも図示略）。制御部２１は、記憶部２２のプログラム記憶部２２１に記憶されているプログラムとの協働により、後述する出力制御処理を実行し、制御手段として機能する。また、撮影部２４との協働により、検出手段として機能する。
記憶部２２は、ＨＤＤ（Hard Disk Drive）や不揮発性の半導体メモリ等により構成される。記憶部２２には、図５に示すように、プログラム記憶部２２１、コンテンツ記憶部２２２が設けられている。
プログラム記憶部２２１には、制御部２１で実行されるシステムプログラムや各種処理プログラム、これらのプログラムの実行に必要なデータ等が記憶されている。
コンテンツ記憶部２２２には、コンテンツ記憶装置１から送信されたコンテンツデータが記憶されている。
操作部２３は、複数の機能ボタンを備え、機能ボタンの押下信号を検出して制御部２１に出力する。
撮影部２４は、光学系及び撮像素子を備えるカメラと、カメラを制御する撮影制御部とを備える。カメラの光学系は、室内の視聴者を撮影可能な方向に向けられており、視聴者の撮影画像を取得する。
プロジェクタ２５は、魚眼レンズを備え、制御部２１から出力されたコンテンツの動画データを全方位に向けて投影する。
音声出力部２６は、Ｄ／Ａコンバータ、増幅器、スピーカ等を備え、制御部２１からの指示に従って音声データをＤ／Ａコンバータによりアナログ信号に変換後、このアナログ音声信号を増幅器により所定の音量に増幅して、スピーカから音声として出力する。音声出力部２６は、サラウンドであり、複数方向からの音声出力が可能である。
プロジェクタ２５、音声出力部２６は、出力手段として機能する。
通信部２７は、モデム、ルータ、ネットワークカード等により構成され、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）等の通信ネットワークに接続されたコンテンツ記憶装置１を始めとする外部機器との通信を行う。
［コンテンツ記憶装置１の動作］
次に、本実施形態におけるコンテンツ記憶装置１の動作について説明する。
コンテンツ記憶装置１を用いて動画撮影を行う際、図６に示すように、撮影者Ｍは、頭部に撮影部１４及びマイク１５１を装着し、腰部にマイク１５２を装着し、膝部にマイク１５３を装着した状態で、操作部１２により動画撮影開始を指示する。コンテンツ記憶装置１の制御部１１は、操作部１２による指示に応じて、プログラム記憶部１３１に記憶されているプログラムとの協働により以下の処理を実行する。
コンテンツ記憶装置１の制御部１１は、操作部１２により動画撮影の開始が入力されると、撮影部１４に動画撮影を開始させるとともに、動画撮影開始のタイミングと同期して音声取得部１５のマイク１５１〜１５３のそれぞれに音声の取得を開始させる。これにより、動画像に合わせて出力される音声の音声データを複数の高さ方向の位置で取得することができる。
操作部１２により動画撮影の終了が指示されると、制御部１１は、撮影部１４による動画撮影及び音声取得部１５による音声データの取得を停止させ、マイク１５１〜１５３により複数の高さ方向の位置で取得された音声データに、音声取得時の高さ情報を付与する。本実施形態においては、制御部１１は、高さ情報として、例えば、マイク１５１により取得された音声データには「頭部」、マイク１５２により取得された音声データには「腰部」、マイク１５３により取得された音声データには「膝部」を付与する。音声データは、例えば、所定の音声ファイルフォーマットであり、制御部１１は、高さ情報をそのメタデータに書き込む。そして、制御部１１は、動画撮影により取得された動画データと複数の高さ方向の位置で取得された複数の音声データを対応付けてコンテンツデータとして記憶部１３に記憶させる。
操作部１２によりコンテンツ記憶部１３２に記憶されているコンテンツデータが選択され、コンテンツ出力装置２への送信が指示されると、制御部１１は、選択されたコンテンツデータを通信部１６によりコンテンツ出力装置２に送信する。
コンテンツ出力装置２において、通信部２７によりコンテンツ記憶装置１からのコンテンツデータが受信されると、制御部２１は、受信したコンテンツデータをコンテンツ記憶部２２２に記憶させる。
［コンテンツ出力装置２の動作］
次に、本実施形態におけるコンテンツ出力装置２の動作について説明する。
操作部２３によりコンテンツが選択され、コンテンツの出力が指示されると、制御部２１は、プロジェクタ２５及び音声出力部２６により選択されたコンテンツの出力を開始する。即ち、制御部２１は、コンテンツ記憶部２２２から選択されたコンテンツのコンテンツデータを読み出し、読み出したコンテンツデータの動画データを全方位投影用の投影データに変換してプロジェクタ２５によりコンテンツの動画を全方位に投影させる。また、読み出したコンテンツデータの音声データに基づいて音声出力部２６によりコンテンツの音声を出力させる。コンテンツ出力開始時には、制御部２１は、予め定められた高さ方向の音声データ、例えば、高さ情報が「腰部」の音声データに基づいて音声を出力させる。
また、コンテンツの出力が開始されると、制御部２１は、図７に示す出力制御処理を実行する。出力制御処理は、制御部２１とプログラム記憶部２２１に記憶されているプログラムとの協働により実行される。
出力制御処理において、制御部２１は、まず、コンテンツを視聴している視聴者の高さを検出する（ステップＳ１）。
例えば、制御部２１は、撮影部２４により撮影を行わせ、撮影により得られた撮影画像から視聴者の顔を認識し、撮影画像における認識した顔の高さに基づいて、視聴者の高さＨを検出する。
次いで、制御部２１は、視聴者の高さに基づいて、視聴者の体位を判断する（ステップＳ２）。例えば、制御部２１は、Ｈ＞閾値Ｔ１である場合は、視聴者が立位であると判断し、閾値Ｔ１≧Ｈ＞閾値Ｔ２である場合は、視聴者が椅子の座位であると判断し、閾値Ｔ２≧Ｈの場合は、視聴者が床の座位であると判断する（Ｔ１＞Ｔ２）。
視聴者の体位が立位であると判断した場合（ステップＳ３；ＹＥＳ）、制御部２１は、頭部の位置で取得された音声データに基づいて音声出力部２６により動画の音声を出力させ（ステップＳ４）、ステップＳ９に移行する。
視聴者の体位が椅子の座位であると判断した場合（ステップＳ３；ＮＯ、ステップＳ５；ＹＥＳ）、制御部２１は、腰部の位置で取得された音声データに基づいて音声出力部２６により動画の音声を出力させ（ステップＳ６）、ステップＳ９に移行する。
視聴者の体位が床の座位であると判断した場合（ステップＳ３；ＮＯ、ステップＳ５；ＮＯ、ステップＳ７；ＹＥＳ）、制御部２１は、膝部の位置で取得された音声データに基づいて音声出力部２６により動画の音声を出力させ（ステップＳ８）、ステップＳ９に移行する。
視聴者の体位が床の座位ではないと判断した場合（ステップＳ３；ＮＯ、ステップＳ５；ＮＯ、ステップＳ７；ＮＯ）、制御部２１は、ステップＳ９に移行する。ここで、ステップＳ７でＮＯと判断される場合は、例えば、撮影画像における顔認識が失敗した場合（人が存在しない場合等）である。
ステップＳ９において、制御部２１は、コンテンツが終了したか否かを判断する（ステップＳ９）。コンテンツが終了していないと判断した場合（ステップＳ９；ＮＯ）、制御部２１は、ステップＳ１に戻り、ステップＳ１〜Ｓ９を繰り返し実行する。
コンテンツが終了したと判断した場合（ステップＳ９；ＹＥＳ）、制御部２１は、出力制御処理を終了する。
以上説明したように、コンテンツ出力装置２によれば、制御部２１は、撮影部２４に視聴者を撮影させ、得られた撮影画像に基づいて、コンテンツを視聴している視聴者の高さを検出し、検出された高さに応じたコンテンツの音声を音声出力部２６に出力させる。
従って、視聴者の高さに応じた臨場感のある音声を出力することが可能となる。
例えば、コンテンツは、複数の高さ方向の位置で取得された複数の音声を有し、制御部２１は、複数の音声のうち検出された高さに応じた位置で取得された音声を音声出力部２６により出力させるので、視聴者の高さに応じた音声を出力することが可能となる。
また、例えば、制御部２１は、検出された視聴者の高さに基づいて視聴者の体位を判断し、視聴者の体位に応じた高さ方向の位置で取得された音声を音声出力部２６により出力させるので、例えば、視聴者が体位を立位から座位に変更した場合に、低い位置で取得された音声を出力することができ、視聴者の体位に応じた臨場感のある音声を出力することが可能となる。
また、コンテンツは、全方位に出力される動画像であり、動画像に合わせて視聴者の高さに応じた音声を出力するので、臨場感のあるコンテンツを出力することが可能となる。
また、コンテンツ記憶装置１によれば、コンテンツの動画像に合わせて出力する音声を複数の高さ方向の位置で取得し、取得された複数の音声の音声データのそれぞれに音声取得時の高さ情報を付与して動画像の動画データに対応付けてコンテンツデータとしてコンテンツ記憶部１３２に記憶する。従って、コンテンツ出力装置２において、視聴者の高さに応じた音声を出力することが可能なコンテンツデータを取得して記憶しておくことが可能となる。
また、コンテンツデータは、動画データと、動画データに基づく動画像に合わせて出力する音声を複数の高さ方向の位置で取得することによって得られた複数の音声データであって、それぞれに音声取得時の高さ情報が付与されている複数の音声データと、が対応付けられている。従って、コンテンツ出力装置２において、視聴者の高さに応じたコンテンツの音声を出力することが可能となる。
なお、上記実施形態における記述内容は、本発明に係るコンテンツ記憶装置、コンテンツ出力装置の好適な一例であり、これに限定されるものではない。
例えば、上記実施形態においては、撮影者Ｍの頭部、腰部、膝部にマイクを取り付けて複数の高さ方向の位置により音声データを取得し、高さ情報として「頭部」「腰部」「膝部」の区別を高さ情報として付与することとしたが、これに限定されない。例えば、マイク１５１〜１５３のそれぞれに気圧センサ等を設けて、動画撮影開始時等に各マイクの高さを測定し、その測定値を高さ情報として各マイクで取得された音声データに付与してもよい。そして、コンテンツを視聴している視聴者の高さと、各音声データに付与されている高さ情報に基づいて、複数の音声データのうち何れの音声データに基づく音声を出力するかを決定してもよい。
また、上記実施形態においては、本発明の検出手段及び制御手段を備える出力制御装置と、コンテンツを出力する出力手段（プロジェクタ２５、音声出力部２６）と、がコンテンツ出力装置２に備えられていることとして説明したが、これらは、例えば通信ネットワークを介して接続された別体の装置であってもよい。
また、上記実施形態では、コンテンツ出力装置がプロジェクタを用いてコンテンツの映像を投影するものである場合を例にとり説明したが、ＶＲ（Virtual Reality）ヘッドマウントディスプレイとしてもよい。この場合、例えば、ＶＲヘッドマウントディスプレイに気圧センサを設け、気圧センサを用いてＶＲヘッドマウントディスプレイを装着した視聴者の高さを検出し、検出された高さと予め定められた閾値との比較結果に基づいて複数の高さ方向の音声データのうち何れかを選択し、選択した音声データに基づいて音声を出力することとしてもよい。これにより、ＶＲヘッドマウントディスプレイにおいても、視聴者の高さ方向の動きや姿勢に応じた臨場感のある音声を出力することが可能となる。また、例えば高さを検出するセンサとして気圧センサに限らず、加速度センサによって高さの方向の変動を検出する方法等で高さを検出してもよい。
その他、コンテンツ出力システムを構成する各装置の細部構成及び細部動作に関しても、発明の趣旨を逸脱することのない範囲で適宜変更可能である。
本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
［付記］
＜請求項１＞
コンテンツを視聴している視聴者の高さを検出する検出手段と、
前記検出手段により検出された高さに応じた前記コンテンツの音声を出力手段に出力させる制御手段と、
を備える出力制御装置。
＜請求項２＞
前記コンテンツは、複数の高さ方向の位置で取得された複数の音声を有し、
前記制御手段は、前記複数の音声のうち前記検出手段により検出された高さに応じた位置で取得された音声を前記出力手段に出力させる請求項１に記載の出力制御装置。
＜請求項３＞
前記制御手段は、前記検出手段により検出された高さに基づいて前記視聴者の体位を判断し、前記視聴者の体位に応じた位置で取得された音声を前記出力手段に出力させる請求項２に記載の出力制御装置。
＜請求項４＞
前記コンテンツは、全方位に出力される動画像であり、前記音声は、前記動画像に合わせて出力される音声である請求項１〜３のいずれか一項に記載の出力制御装置。
＜請求項５＞
コンテンツの動画像に合わせて出力する音声を複数の高さ方向の位置で取得する音声取得手段と、
前記音声取得手段により取得された複数の音声の音声データのそれぞれに音声取得時の高さ情報を付与して前記動画像の動画データに対応付けて記憶する記憶手段と、
を備えるコンテンツ記憶装置。
＜請求項６＞
コンテンツを視聴している視聴者の高さを検出する検出工程と、
前記検出工程において検出された高さに応じた前記コンテンツの音声を出力手段に出力させる制御工程と、
を含む出力制御方法。
＜請求項７＞
コンテンツの動画像に合わせて出力する音声を複数の高さ方向の位置で取得する音声取得工程と、
前記音声取得工程により取得された複数の音声の音声データのそれぞれに音声取得時の高さ情報を付与して前記動画像の動画データに対応付けて記憶する記憶工程と、
を含むコンテンツ記憶方法。
＜請求項８＞
コンピュータを、
コンテンツを視聴している視聴者の高さを検出する検出手段、
前記検出手段により検出された高さに応じた前記コンテンツの音声を出力手段に出力させる制御手段、
として機能させるためのプログラム。
＜請求項９＞
コンピュータを、
コンテンツの動画像に合わせて出力する音声を複数の高さ方向の位置で取得する音声取得手段、
前記音声取得手段により取得された複数の音声の音声データのそれぞれに音声取得時の高さ情報を付与して前記動画像の動画データに対応付けて記憶する記憶手段、
として機能させるためのプログラム。
＜請求項１０＞
コンテンツデータのデータ構造であって、
動画データと、前記動画データに基づく動画像に合わせて出力する音声を複数の高さ方向の位置で取得することによって得られた複数の音声データであって、それぞれに音声取得時の高さ情報が付与されている複数の音声データと、が対応付けられているコンテンツデータのデータ構造。
１００ コンテンツ出力システム
１ コンテンツ記憶装置
１１ 制御部
１２ 操作部
１３ 記憶部
１３１ プログラム記憶部
１３２ コンテンツ記憶部
１４ 撮影部
１５ 音声取得部
１６ 通信部
２ コンテンツ出力装置
２１ 制御部
２２ 記憶部
２２１ プログラム記憶部
２２２ コンテンツ記憶部
２３ 操作部
２４ 撮影部
２５ プロジェクタ
２６ 音声出力部
２７ 通信部

Claims (10)

  1. コンテンツを視聴している視聴者の高さを検出する検出手段と、
    前記検出手段により検出された高さに応じた前記コンテンツの音声を出力手段に出力させる制御手段と、
    を備える出力制御装置。
  2. 前記コンテンツは、複数の高さ方向の位置で取得された複数の音声を有し、
    前記制御手段は、前記複数の音声のうち前記検出手段により検出された高さに応じた位置で取得された音声を前記出力手段に出力させる請求項１に記載の出力制御装置。
  3. 前記制御手段は、前記検出手段により検出された高さに基づいて前記視聴者の体位を判断し、前記視聴者の体位に応じた位置で取得された音声を前記出力手段に出力させる請求項２に記載の出力制御装置。
  4. 前記コンテンツは、全方位に出力される動画像であり、前記音声は、前記動画像に合わせて出力される音声である請求項１〜３のいずれか一項に記載の出力制御装置。
  5. コンテンツの動画像に合わせて出力する音声を複数の高さ方向の位置で取得する音声取得手段と、
    前記音声取得手段により取得された複数の音声の音声データのそれぞれに音声取得時の高さ情報を付与して前記動画像の動画データに対応付けて記憶する記憶手段と、
    を備えるコンテンツ記憶装置。
  6. コンテンツを視聴している視聴者の高さを検出する検出工程と、
    前記検出工程において検出された高さに応じた前記コンテンツの音声を出力手段に出力させる制御工程と、
    を含む出力制御方法。
  7. コンテンツの動画像に合わせて出力する音声を複数の高さ方向の位置で取得する音声取得工程と、
    前記音声取得工程により取得された複数の音声の音声データのそれぞれに音声取得時の高さ情報を付与して前記動画像の動画データに対応付けて記憶する記憶工程と、
    を含むコンテンツ記憶方法。
  8. コンピュータを、
    コンテンツを視聴している視聴者の高さを検出する検出手段、
    前記検出手段により検出された高さに応じた前記コンテンツの音声を出力手段に出力させる制御手段、
    として機能させるためのプログラム。
  9. コンピュータを、
    コンテンツの動画像に合わせて出力する音声を複数の高さ方向の位置で取得する音声取得手段、
    前記音声取得手段により取得された複数の音声の音声データのそれぞれに音声取得時の高さ情報を付与して前記動画像の動画データに対応付けて記憶する記憶手段、
    として機能させるためのプログラム。
  10. コンテンツデータのデータ構造であって、
    動画データと、前記動画データに基づく動画像に合わせて出力する音声を複数の高さ方向の位置で取得することによって得られた複数の音声データであって、それぞれに音声取得時の高さ情報が付与されている複数の音声データと、が対応付けられているコンテンツデータのデータ構造。
JP2016246433A 2016-12-20 2016-12-20 出力制御装置、コンテンツ記憶装置、出力制御方法、コンテンツ記憶方法、プログラム及びデータ構造 Pending JP2018101452A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2016246433A JP2018101452A (ja) 2016-12-20 2016-12-20 出力制御装置、コンテンツ記憶装置、出力制御方法、コンテンツ記憶方法、プログラム及びデータ構造
US15/799,721 US20180176708A1 (en) 2016-12-20 2017-10-31 Output control device, content storage device, output control method and non-transitory storage medium
CN201711205849.2A CN108206948A (zh) 2016-12-20 2017-11-27 输出控制装置和方法、内容存储装置和方法以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016246433A JP2018101452A (ja) 2016-12-20 2016-12-20 出力制御装置、コンテンツ記憶装置、出力制御方法、コンテンツ記憶方法、プログラム及びデータ構造

Publications (1)

Publication Number Publication Date
JP2018101452A true JP2018101452A (ja) 2018-06-28

Family

ID=62556448

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016246433A Pending JP2018101452A (ja) 2016-12-20 2016-12-20 出力制御装置、コンテンツ記憶装置、出力制御方法、コンテンツ記憶方法、プログラム及びデータ構造

Country Status (3)

Country Link
US (1) US20180176708A1 (ja)
JP (1) JP2018101452A (ja)
CN (1) CN108206948A (ja)

Family Cites Families (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5633993A (en) * 1993-02-10 1997-05-27 The Walt Disney Company Method and apparatus for providing a virtual world sound system
WO1995013690A1 (fr) * 1993-11-08 1995-05-18 Sony Corporation Detecteur d'angle et appareil de lecture audio utilisant ledit detecteur
AUPO099696A0 (en) * 1996-07-12 1996-08-08 Lake Dsp Pty Limited Methods and apparatus for processing spatialised audio
WO2001055833A1 (en) * 2000-01-28 2001-08-02 Lake Technology Limited Spatialized audio system for use in a geographical environment
US20010056574A1 (en) * 2000-06-26 2001-12-27 Richards Angus Duncan VTV system
US20080056517A1 (en) * 2002-10-18 2008-03-06 The Regents Of The University Of California Dynamic binaural sound capture and reproduction in focued or frontal applications
JP4269883B2 (ja) * 2003-10-20 2009-05-27 ソニー株式会社 マイクロホン装置、再生装置及び撮像装置
JP4161906B2 (ja) * 2004-01-07 2008-10-08 ヤマハ株式会社 スピーカ装置
JP2006180467A (ja) * 2004-11-24 2006-07-06 Matsushita Electric Ind Co Ltd 音像定位装置
EP2005793A2 (en) * 2006-04-04 2008-12-24 Aalborg Universitet Binaural technology method with position tracking
US20110002469A1 (en) * 2008-03-03 2011-01-06 Nokia Corporation Apparatus for Capturing and Rendering a Plurality of Audio Channels
US8816805B2 (en) * 2008-04-04 2014-08-26 Correlated Magnetics Research, Llc. Magnetic structure production
US20100254543A1 (en) * 2009-02-03 2010-10-07 Squarehead Technology As Conference microphone system
EP2285139B1 (en) * 2009-06-25 2018-08-08 Harpex Ltd. Device and method for converting spatial audio signal
US9332372B2 (en) * 2010-06-07 2016-05-03 International Business Machines Corporation Virtual spatial sound scape
TWI462087B (zh) * 2010-11-12 2014-11-21 Dolby Lab Licensing Corp 複數音頻信號之降混方法、編解碼方法及混合系統
CN104604257B (zh) * 2012-08-31 2016-05-25 杜比实验室特许公司 用于在各种收听环境中渲染并且回放基于对象的音频的系统
US9007524B2 (en) * 2012-09-25 2015-04-14 Intel Corporation Techniques and apparatus for audio isolation in video processing
JP6216169B2 (ja) * 2012-09-26 2017-10-18 キヤノン株式会社 情報処理装置、情報処理方法
US9596555B2 (en) * 2012-09-27 2017-03-14 Intel Corporation Camera driven audio spatialization
US10725726B2 (en) * 2012-12-20 2020-07-28 Strubwerks, LLC Systems, methods, and apparatus for assigning three-dimensional spatial data to sounds and audio files
WO2014160717A1 (en) * 2013-03-28 2014-10-02 Dolby Laboratories Licensing Corporation Using single bitstream to produce tailored audio device mixes
KR20140128564A (ko) * 2013-04-27 2014-11-06 인텔렉추얼디스커버리 주식회사 음상 정위를 위한 오디오 시스템 및 방법
US20140328505A1 (en) * 2013-05-02 2014-11-06 Microsoft Corporation Sound field adaptation based upon user tracking
JP5958833B2 (ja) * 2013-06-24 2016-08-02 パナソニックＩｐマネジメント株式会社 指向性制御システム
EP4294055A1 (en) * 2014-03-19 2023-12-20 Wilus Institute of Standards and Technology Inc. Audio signal processing method and apparatus
US9466278B2 (en) * 2014-05-08 2016-10-11 High Fidelity, Inc. Systems and methods for providing immersive audio experiences in computer-generated virtual environments
US9226090B1 (en) * 2014-06-23 2015-12-29 Glen A. Norris Sound localization for an electronic call
GB2535990A (en) * 2015-02-26 2016-09-07 Univ Antwerpen Computer program and method of determining a personalized head-related transfer function and interaural time difference function
JP6543957B2 (ja) * 2015-02-26 2019-07-17 ヤマハ株式会社 スピーカアレイ装置
US10477336B2 (en) * 2015-05-18 2019-11-12 Sony Corporation Information processing device, information processing method, and program
GB2540199A (en) * 2015-07-09 2017-01-11 Nokia Technologies Oy An apparatus, method and computer program for providing sound reproduction
WO2017063688A1 (en) * 2015-10-14 2017-04-20 Huawei Technologies Co., Ltd. Method and device for generating an elevated sound impression
WO2017169888A1 (ja) * 2016-03-31 2017-10-05 ソニー株式会社 音響再生装置および方法、並びにプログラム
US10492000B2 (en) * 2016-04-08 2019-11-26 Google Llc Cylindrical microphone array for efficient recording of 3D sound fields
US10231073B2 (en) * 2016-06-17 2019-03-12 Dts, Inc. Ambisonic audio rendering with depth decoding
CN109691139B (zh) * 2016-09-01 2020-12-18 安特卫普大学 确定个性化头部相关传递函数和耳间时间差函数的方法和设备
US10659904B2 (en) * 2016-09-23 2020-05-19 Gaudio Lab, Inc. Method and device for processing binaural audio signal
EP3530007A1 (en) * 2016-10-19 2019-08-28 Audible Reality Inc. System for and method of generating an audio image
US20180288558A1 (en) * 2017-03-31 2018-10-04 OrbViu Inc. Methods and systems for generating view adaptive spatial audio
US10165386B2 (en) * 2017-05-16 2018-12-25 Nokia Technologies Oy VR audio superzoom
TW201914314A (zh) * 2017-08-31 2019-04-01 宏碁股份有限公司 音訊處理裝置及其音訊處理方法

Also Published As

Publication number Publication date
CN108206948A (zh) 2018-06-26
US20180176708A1 (en) 2018-06-21

Similar Documents

Publication Publication Date Title
KR102465227B1 (ko) 영상 음향 처리 장치 및 방법, 및 프로그램이 저장된 컴퓨터 판독 가능한 기록 매체
JP6289121B2 (ja) 音響信号処理装置、動画撮影装置およびそれらの制御方法
JP6432130B2 (ja) 表示システム、表示装置、撮影装置、表示方法及びプログラム
JP7100824B2 (ja) データ処理装置、データ処理方法及びプログラム
WO2017114048A1 (zh) 移动终端及联系人标识方法
KR101508092B1 (ko) 화상 회의를 지원하는 방법 및 시스템
JP2011217202A (ja) 画像取得装置
JP2019040005A (ja) 読み上げシステム及び読み上げ方法
US10075631B2 (en) Imaging apparatus, imaging method and recording medium having program for performing self-timer shooting
JP6295442B2 (ja) 画像生成装置、撮影装置、画像生成方法及びプログラム
JP2018101452A (ja) 出力制御装置、コンテンツ記憶装置、出力制御方法、コンテンツ記憶方法、プログラム及びデータ構造
JP5550114B2 (ja) 撮像装置
JP2015106860A (ja) 監視撮影システム及びプログラム
JP6314321B2 (ja) 画像生成装置、撮影装置、画像生成方法及びプログラム
JP2013183280A (ja) 情報処理装置、撮像装置、及びプログラム
JP6191333B2 (ja) 情報処理装置、通信システムおよびプログラム
JP2022108638A (ja) 信号処理装置及び信号処理システム
JP2010130403A (ja) 映像制御装置およびそれを備えた撮像装置、表示装置
JP2005277845A (ja) 撮影制御装置
JP5712599B2 (ja) 撮像装置及びプログラム
JP2016057417A (ja) 情報出力装置、コンテンツ出力方法、及びプログラム
JP2017063276A (ja) 映像表示装置、映像表示方法、及びプログラム
JP2016163181A5 (ja) 信号処理装置、信号処理方法、及びプログラム
JP2021124526A (ja) 記録装置、記録システム、ファイル生成方法およびプログラム
JP2020005150A (ja) 録画再生装置及びプログラム