JP2018126185A - 装置、音データの生成方法、及びプログラム - Google Patents

装置、音データの生成方法、及びプログラム Download PDF

Info

Publication number
JP2018126185A
JP2018126185A JP2017019369A JP2017019369A JP2018126185A JP 2018126185 A JP2018126185 A JP 2018126185A JP 2017019369 A JP2017019369 A JP 2017019369A JP 2017019369 A JP2017019369 A JP 2017019369A JP 2018126185 A JP2018126185 A JP 2018126185A
Authority
JP
Japan
Prior art keywords
sound
amount
sound data
user
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017019369A
Other languages
English (en)
Inventor
隆 金丸
Takashi Kanamaru
隆 金丸
伸宏 福田
Nobuhiro Fukuda
伸宏 福田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2017019369A priority Critical patent/JP2018126185A/ja
Priority to US15/888,963 priority patent/US10814095B2/en
Publication of JP2018126185A publication Critical patent/JP2018126185A/ja
Pending legal-status Critical Current

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M21/02Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis for inducing sleep or relaxation, e.g. by direct nerve stimulation, hypnosis, analgesia
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/165Management of the audio stream, e.g. setting of volume, audio stream path
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/414Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41422Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance located in transportation means, e.g. personal vehicle
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439Processing of audio elementary streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213Monitoring of end-user related data
    • H04N21/44218Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M2021/0005Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
    • A61M2021/0027Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the hearing sense
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M2021/0005Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
    • A61M2021/0044Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the sight sense
    • A61M2021/005Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the sight sense images, e.g. video
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2205/00General characteristics of the apparatus
    • A61M2205/33Controlling, regulating or measuring
    • A61M2205/3306Optical measuring means
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2205/00General characteristics of the apparatus
    • A61M2205/33Controlling, regulating or measuring
    • A61M2205/332Force measuring means
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2205/00General characteristics of the apparatus
    • A61M2205/50General characteristics of the apparatus with microprocessors or computers
    • A61M2205/502User interfaces, e.g. screens or keyboards
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2205/00General characteristics of the apparatus
    • A61M2205/50General characteristics of the apparatus with microprocessors or computers
    • A61M2205/52General characteristics of the apparatus with microprocessors or computers with memories providing a history of measured variating parameters of apparatus or patient
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2230/00Measuring parameters of the user
    • A61M2230/63Motion, e.g. physical activity

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Anesthesiology (AREA)
  • Social Psychology (AREA)
  • Veterinary Medicine (AREA)
  • Acoustics & Sound (AREA)
  • Animal Behavior & Ethology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Hematology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Psychology (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Public Health (AREA)
  • Pain & Pain Management (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Stereophonic System (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

【課題】知覚に対する入力の矛盾により発生する酔いを低減する。【解決手段】装置であって、ユーザの頭部の動きを示す頭位情報を取得する第1取得部と、視覚及び前庭感覚へ入力される刺激に関連する刺激情報を取得する第2取得部と、頭位情報及び刺激情報に基づいて、酔いを低減する身体の動きを発生させる効果音の音データを生成する生成部と、を備え、生成部は、頭位情報に基づいて前記ユーザの頭部の位置の変化量を算出し、刺激情報に基づいて、視覚及び前庭感覚の少なくともいずれかに入力される刺激の大きさを推定する推定量を算出し、ユーザの頭部の位置の変化量及び前記推定量に基づいて、ユーザの酔い感覚の強さを示す酔い感覚強度を算出し、酔い感覚強度に基づいて、音データの特徴量を算出するための低減量を算出し、低減量に基づいて音データの特徴量を算出する。【選択図】図3

Description

本発明は、ユーザの酔いを低減する効果音を出力する装置、方法及びプログラムに関する。
輸送機器の搭乗中又は映像の視聴中の快適性向上のための課題として、酔いの低減がある。
前述した酔いのうち、動揺病(乗り物酔い)の発生メカニズムについては、複数の感覚器官に入力される刺激の矛盾を主要因とする感覚不一致説が有力な説として知られている。映像酔いは、基本的には身体が静止している状態で発生し、身体の変動及び揺れを伴う動揺病とは発生環境の違いはあるが、動揺病と同様に感覚入力の矛盾が主要因と考えられている。
このような酔い低減及び解消を目的とした解決手段として、例えば、特許文献1及び特許文献2のような技術が知られている。
特許文献1には「車両の走行状況を検出する走行状況検出手段12で検出した車両の走行状況および車両内の状態を検出する車両状況検出手段13で検出した車両状況に応じて、映像制御手段14が映像生成手段11の生成した映像の上に一定時間メッセージ映像を合成させるため、後部座席の乗員に車両でテレビ等の映像を視聴させながら、同時に乗用車の現在および次期動作の認識および予知をさせることができ、後席乗員の負担および危険性を低減させる。」技術を開示している。
特許文献2には「動揺感抑制装置において、電流指令値入力部200は、傾斜センサ51−1,51−2で船体の動揺と使用者の動揺を検出する。傾斜センサ51−1の出力傾斜51−1aを元信号として電流指令値10を生成する。この電流指令値10に従って電気刺激装置100が電極間に電流を発生させ、船体の動揺を打ち消す方向の加速度感を使用者に与える。使用者が知覚する動揺感が抑制される。」技術を開示している。
特開2011−20539号公報 特開2006−288665号公報
特許文献1の技術の場合、乗員がメッセージ映像に基づいて酔いの解消するための行動等を行う必要がある。特許文献2に記載の技術では、人体に直接電流を流すため人体への影響を考慮して使用可能な時間が短く、また、機器が特殊であるため導入コストが高い。
本発明は、ユーザに負担を与えることなく、ユーザの酔いの程度に合わせた酔い低減を実現する装置、方法、及びプログラムを提供することを目的とする。
本願において開示される発明の代表的な一例を示せば以下の通りである。すなわち、ユーザの酔いを低減する装置であって、前記ユーザの頭部の動きを示す頭位情報を取得する第1取得部と、視覚及び前庭感覚へ入力される刺激に関連する刺激情報を取得する第2取得部と、前記頭位情報及び前記刺激情報に基づいて、酔いを低減する身体の動きを発生させる効果音の音データを生成する生成部と、を備え、前記生成部は、前記頭位情報に基づいて前記ユーザの頭部の位置の変化量を算出し、前記刺激情報に基づいて、視覚及び前庭感覚の少なくともいずれかに入力される刺激の大きさを推定する推定量を算出し、前記ユーザの頭部の位置の変化量及び前記推定量に基づいて、前記ユーザの酔い感覚の強さを示す酔い感覚強度を算出し、前記酔い感覚強度に基づいて、前記音データの特徴量を算出するための低減量を算出し、前記低減量に基づいて音データの特徴量を算出することによって前記音データを生成することを特徴とする。
本発明によれば、酔いを低減する身体の動きを発生させる効果音を用いることによって、ユーザに負担を与えることなく、ユーザの酔いの程度に合わせた酔いの低減を実現できる。上記した以外の課題、構成及び効果は、以下の実施例の説明により明らかにされる。
本発明の概念を示す図である。 実施例1の音生成装置の構成を示す図である。 実施例1の音生成装置の構成を示す図である。 実施例1の音生成装置のハードウェア構成及びソフトウェア構成の一例を示す図である。 実施例1の調整情報の一例を示す図である。実施例1の個人情報入力画面の一例を示す図である。 実施例1の制御装置が実行する処理を説明する図である。 実施例1の制御装置が実行する処理を説明する図である。 実施例1の端末が再生する効果音の一例を示す図である。 実施例1の端末が再生する効果音の一例を示す図である。 実施例2の輸送機器に搭載される音生成装置の構成を示す図である。 実施例2の音生成装置のハードウェア構成及びソフトウェア構成の一例を示す図である。 実施例2の制御装置が実行する処理を説明する図である。 実施例3の輸送機器に搭載される音生成装置の構成を示す図である。 実施例3の音生成装置のハードウェア構成及びソフトウェア構成の一例を示す図である。 実施例3の制御装置が実行する処理を説明する図である。
以下、本発明の実施形態について図面を用いて説明する。以下では、全図を通じて同一の構成に対しては同一の符号を付与して重複する説明を省略する。
図1は、本発明の概念を示す図である。
現在、酔いの発生メカニズムの有力な説として感覚不一致説が最も妥当と考えられている。感覚不一致説では、視覚による知覚及び前庭感覚による知覚の矛盾が酔いの主要因であると考えられている。
図1に示すように、座席に着席したユーザがスクリーンに投影された映像を視聴する場合、ユーザは、頭部を積極的に動かすことはなく視覚刺激を受動的に享受する。そのため、視覚では左方向に動いていると知覚される。しかし、前庭感覚では静止していると知覚される。前述した知覚の矛盾が酔いの原因と考えられる。例えば、視覚誘導性身体運動の大きさと主観的な酔い症状との相関を調査した研究が知られている。
聴覚刺激によって身体運動を誘導できることが研究及び実験から指摘されている。具体的には、聴覚の方向知覚を利用して音の音量及び位相、並びに、周波数の変化及び勾配によって、本人が移動している感覚を生起することができる。
そこで、本発明では、酔いの主原因である前庭感覚及び視覚の知覚の矛盾を解消するための身体の動きを発生させる聴覚刺激をユーザに入力することによって、酔いを低減する。図1では、左方向の動きを抑制するような聴覚刺激をユーザに与えることによって、酔いを低減する。
図2は、実施例1の音生成装置1の構成を示す図である。
図2では、ユーザが表示装置30に対峙するように着席して使用する音生成装置1を示す。例えば、ユーザが制御装置10によって管理される動画等のコンテンツの中から所望のコンテンツを選択し、映像を視聴するユースケースが考えられる。
音生成装置1は、制御装置10、端末20、及び表示装置30から構成される。端末20及び表示装置30は、有線又は無線で制御装置10と接続する。
制御装置10は、表示装置30を制御してユーザの視覚に刺激を与える映像を表示し、端末20を制御してユーザの聴覚に刺激を与える音を再生する。また、制御装置10は、ユーザの酔いを低減する音の音データの生成及び出力を制御する。制御装置10は、例えば、一般的な計算機が考えられる。
端末20は、音データに基づいて音を出力し、また、ユーザの顔向きを検出する。本実施例では、端末20はユーザの頭部に装着される。端末20は、例えば、ヘッドフォン等が考えられる。なお、音データには、映像データの表示に伴う音(音楽及び音声等)の音データと、ユーザの酔いを低減する効果音の音データとがある。以下の説明では、ユーザの酔いを低減する効果音を、単に効果音と記載する。
表示装置30は、映像データに基づいて映像を表示する。表示装置30は、例えば、プロジェクタ及びモニタ等が考えられる。
なお、一度に複数の映像を投影又は表示する場合、音生成装置1は、複数の表示装置30を有してもよい。この場合、複数の表示装置30は、制御装置10と接続し、また、他の表示装置30と同期又は非同期に映像を表示する。
図3は、実施例1の音生成装置1のハードウェア構成及びソフトウェア構成の一例を示す図である。
制御装置10は、制御部101、メモリ102、センサデータ受信部103、比較部104、映像データ処理部105、映像データ送信部106、音データ処理部107、及び音データ送信部108を有する。なお、制御装置10は、HDD及びSSD等の内部記憶装置を有してもよい。
制御部101は、制御装置10内の各構成を制御するプロセッサ等の演算装置である。制御部101は、メモリ102に格納されるプログラムにしたがって処理を実行することによって、特定の機能を実現するモジュールとして動作する。以下の説明では、モジュールを主語に処理を説明する場合、制御部101が当該モジュールを実現するプログラムを実行していることを示す。
メモリ102は、制御部101等のハードウェアが実行するプログラム及びプログラムが使用する情報を格納する。また、メモリ102は、プログラムが一時的に使用するワークエリアを含む。
本実施例のメモリ102は、制御モジュール111を実現するプログラムを格納し、また、コンテンツ情報112及び調整情報113を格納する。制御モジュール111は、制御装置10全体を制御する。コンテンツ情報112は、表示する映像及び映像に伴う音に関する情報である。コンテンツ情報112には、映像データ及び音データが含まれる。調整情報113は、効果音の特徴量を補正する場合に使用される情報である。
図示していないが、メモリ102は、ユーザの個性に関連する情報を管理するユーザ情報を格納してもよい。ユーザ情報は、ユーザの個人情報(名前、年齢、及び性別等)、ユーザの酔いの耐性、及び音生成装置1の使用履歴等から構成されるエントリを含む。
なお、メモリ102に格納されるプログラム及び情報は、内部記憶装置に格納されてもよい。この場合、制御部101が、内部記憶装置からプログラム及び情報を読み出し、メモリ102にプログラム及び情報をロードし、また、メモリ102に格納されるプログラムを実行する。
センサデータ受信部103は、端末20が送信したセンサデータを受信し、比較部104に出力する。なお、受信するセンサデータは、ユーザの頭部の位置、移動方向、及び移動速度等を特定する値を含む。
比較部104は、センサデータ受信部103から入力されたセンサデータを用いてユーザの頭部の動揺を示す物理量を算出し、また、当該物理量と再生される映像に関する物理量とを比較することによって、ユーザの酔い感覚の強さ(酔いの程度)を評価するための定量的な値を算出する。以下の説明では、ユーザの酔い感覚の強さを評価するための定量的な値を酔い感覚強度とも記載する。
また、比較部104は、酔い感覚強度に基づいて、効果音の特徴量を決定するための物理量を算出する。本実施例では、効果音の特徴量を決定するための物理量を低減量とも記載する。比較部104は、低減量に基づいて効果音の特徴量を算出する。
ここで、効果音の特徴量には、音量、再生タイミング、周波数、パンポットの変化速度、及び再生時間が含まれる。なお、前述した以外の項目が特徴量に含まれてもよい。
映像データ処理部105は、コンテンツ情報112に基づいて、表示装置30に表示させる映像の映像データを生成する。映像データ処理部105は、生成した映像データを映像データ送信部106に出力する。なお、映像データは、例えば、カメラで撮影された実写の動画、所定のCGから構成される映像、及び実写及びCGを組み合わせた映像等を表示するためのデータである。
映像データ送信部106は、映像データ処理部105から入力された映像データを表示装置30に送信する。
音データ処理部107は、コンテンツ情報112に基づいて、映像の再生に伴って端末20に再生させる音の音データを生成する。例えば、実写の動画とともに再生する音データ、仮想世界の背景及びオブジェクトの動きを表現する音の音データが生成される。
また、音データ処理部107は、比較部104によって算出された特徴量に基づいて、効果音の音データを生成する。当該音データは、ユーザの動作が反映されたデータである。音データ処理部107は、生成された音データを音データ送信部108に出力する。なお、音データを生成する機能を有する比較部104を生成部として実現してもよい。この場合、生成部は、制御部101を介して音データ送信部108を出力できるようにすればよい。
音データ送信部108は、音データ処理部107から入力された音データを端末20に送信する。
端末20は、加速度センサ201、地磁気センサ202、センサデータ送信部203、音再生部204、及び音データ受信部205を有する。
加速度センサ201及び地磁気センサ202は、端末20の加速度及び向きを示す値を計測し、当該値を含むセンサデータをセンサデータ送信部203に出力する。
なお、端末20は、加速度センサ201のみを用いて生じるユーザの頭部の変位の計測誤差を周期的にリセットできる機構として地磁気センサ202を有しているが、地磁気センサ202の代わりにジャイロセンサ等の他のセンサを有してもよい。
センサデータ送信部203は、加速度センサ201及び地磁気センサ202から入力されたセンサデータを制御装置10に送信する。
音データ受信部205は、制御装置10が送信した音データを受信し、音再生部204に出力する。
音再生部204は、音データに対応する音を出力する。音再生部204は、例えば、ヘッドフォンのスピーカ等が考えられる。
なお、本実施例では、端末20が計測機能及び音の再生機能を有しているが、二つの機能を別々の装置が有する構成でもよい。
表示装置30は、映像データ受信部301及び映像表示部302を有する。
映像データ受信部301は、制御装置10が送信した映像データを受信し、映像表示部302に出力する。
映像表示部302は、映像データに対応する映像を出力する。表示装置30がプロジェクタである場合、映像表示部302はスクリーンに映像を投影し、また、表示装置30がモニタである場合、映像表示部302はモニタ画面に映像を表示する。
なお、映像表示部302は、映像を表示する表示面のサイズ及び映像の画質等を調整してもよい。
制御装置10、端末20、及び表示装置30の間のデータの送受信方法は、一般的な通信方法を用いればよいため説明を省略する。なお、制御装置10と端末20との間のデータの送受信方法として無線通信方式を用いることによって、制御装置10及び端末20を接続線で物理に的に接続する必要がなくなるため、ユーザの動作の制約がなくなる。
図4は、実施例1の調整情報113の一例を示す図である。
調整情報113は、効果音の特徴量を調整するための情報である。本実施例の調整情報113では、音量、再生タイミング、周波数、パンポットの変化速度、及び再生時間の少なくともいずれかを調整するための情報を含む。図4では、周波数を調整するための周波数情報400を含む調整情報113を示す。
周波数情報400は、年代と可聴周波数の帯域との間の相関を示す情報である。周波数情報400は、年代401及び最大可聴周波数402から構成されるエントリを含む。なお、老化による可聴域の変化は、女性の方が男性より緩やかであるという説もあることから、周波数情報400は、年代、性別、及び最大可聴周波数から構成されるエントリを含んでもよい。
外耳、内耳、及び蝸牛等の器官の周波数特性によって知覚の感度が異なるため、同一の音量の下では、低い周波数の方が酔いの低減効果が高いと考えられる。そのため、周波数情報400を用いて効果音の周波数を調整できるようにしている。例えば、効果音が、年代に応じた不可聴音となるように周波数が調整される。
なお、図4に示す周波数情報400は、10歳単位で区分しているが、より細かい単位で区分してもよい。また、周波数情報400は、表形式のデータでなくてもよく、年代等を変数とする数式でもよい。
人間の聴力は一般的に老化に伴って音量レベルも低下するため、調整情報113は、音量を調整するための情報を含んでもよい。当該情報は、年代及び比率から構成されるエントリを含む。比率は、年齢が大きいほど値が大きくなるように設定する。例えば、40代の場合は「1倍」、50代の場合は「1.1倍」、60代の場合は「1.2倍」に設定される。なお、年代及び音量から構成されるエントリでもよい。
図5は、実施例1の個人情報入力画面の一例を示す図である。
個人情報入力画面500は、ユーザの個性を入力するための操作画面であり、音生成装置1の利用開始時に表示装置30に表示される。ユーザは、個人情報入力画面500を参照し、制御装置10に接続されるキーボード及びマウス等の入力デバイスを用いて値を入力する。
個人情報入力画面500は、名前入力欄501、年齢入力欄502、性別入力欄503、酔い頻度入力欄504、登録ボタン505、及びキャンセルボタン506を含む。
名前入力欄501は、ユーザの名前を入力する欄である。なお、ユーザを一意に識別できる情報であれば、ユーザの名前以外の情報を入力する欄でもよい。例えば、ユーザのID等を入力する欄が考えられる。
年齢入力欄502は、ユーザの年齢を入力する欄である。本実施例では、10歳単位で区分した年代を示すプルダウンリストが表示される。なお、年齢入力欄502は、直接、数値を入力する欄でもよい。
性別入力欄503は、ユーザの性別を入力する欄である。本実施例では、男性及び女性のいずれかを選択するためのラジオボタンが表示される。
酔い頻度入力欄504は、ユーザの酔いの耐性を示す値を入力する欄である。本実施例では、酔いの頻度を示すプルダウンリストが表示される。当該プルダウンリストには、「常に酔う」、「よく酔う」、「たまに酔う」、「酔わない」、及び「全く酔わない」が含まれる。本実施例では、ユーザは、酔い頻度入力欄504を参照して、映像の視聴中の酔い傾向に該当する値を選択する。
なお、酔い頻度入力欄504は、酔いの頻度を示す数値を入力する欄でもよい。例えば、ユーザは、酔い頻度入力欄504に「0」から「9」までの数値を入力する。ここで、「0」は全く酔わないことを示し、「9」は必ず酔うことを示す。
登録ボタン505は、各入力欄の値を登録するための操作ボタンである。ユーザが登録ボタン505を操作した場合、制御部101が、所定のインタフェースを介して、各入力欄の値を受信し、各入力欄の値が対応付けられたデータをメモリ102に格納する。なお、制御装置10が、エントリを格納するユーザ情報を管理する場合、入力された値を含むエントリを当該ユーザ情報に登録する。制御部101がユーザ情報を管理する場合、ユーザは、音生成装置1の使用開始前に一度だけ個人情報入力画面500を用いた入力を行えばよい。以後、ユーザ名に基づいて、ユーザ情報からユーザの個性を示すデータが取得される。なお、値の更新が必要な場合には、制御部101は、再度、個人情報入力画面500を表示して、入力を受け付ける。
キャンセルボタン506は、値の設定を中止するための操作ボタンである。ユーザがキャンセルボタン506を操作した場合、制御部101は、各入力欄の値を初期化する。
なお、酔いの耐性は、音生成装置1の使用履歴及び酔い感覚強度の推移に基づいて算出してもよい。
図6及び図7は、実施例1の制御装置10が実行する処理を説明する図である。
まず、制御装置10が実行する処理の概要について説明する。制御装置10は、映像の再生中におけるユーザの頭部の動き及び映像の動きに基づいて、視覚刺激の影響による運動量を算出する。なお、この運動量が視覚誘導性自己運動感覚(Vection)と相関する可能性がある。以下の説明では、前述の運動量を動揺量とも記載する。制御装置10は、動揺量に基づいてユーザの酔い感覚強度を算出し、また、ユーザの酔い感覚強度に基づいて低減量を算出する。
まず、図6を用いてユーザの酔い感覚強度を算出する処理について説明する。以下で説明する処理は、動画の再生中に周期的に実行されてもよいし、動画の再生中にユーザ等の指示を受け付けた場合に実行してもよい。
制御装置10は、端末20の加速度センサ201及び地磁気センサ202によって取得されたセンサデータを取得する(ステップS601)。
具体的には、センサデータ受信部103が、ユーザの頭部の動きを示す頭位情報としてセンサデータを受信する。本実施例では、加速度センサ201及び地磁気センサ202が計測を行うタイミング(計測間隔)は、予め設定されているものとする。なお、計測間隔は、制御装置10から適宜変更できるようにしてもよい。また、計測間隔は、ユーザの頭部の動きを詳細に把握するために短いことが望ましい。
制御装置10は、コンテンツ情報112を参照して、表示装置30に送信された映像データによって表示される映像の移動量を算出する(ステップS602)。
具体的には、制御部101が、コンテンツ情報112から映像データを取得し、計測間隔と同一の時間幅における映像の移動量を算出する。映像データは、視覚及び前庭感覚へ入力される刺激に関連する刺激情報の一つとして取得される。
映像の移動量は、ユーザの視覚及び前庭感覚の少なくともいずれかに入力される刺激の大きさを推定する推定量であり、移動方向及び移動距離を持つベクトル量として表される。制御部101は、映像の移動量を比較部104に出力する。なお、制御部101の指示を受け付けた比較部104が、映像の移動量を算出してもよい。
表示される映像が2次元画像である場合、制御部101は、ある時点の画像上の画素又は物体等が、次に表示される画像のどの点に移動したかを算出する。なお、当該算出方法は、公知の方法であるため詳細な説明は省略する。
制御装置10は、動揺量を算出する(ステップS603)。具体的には、以下のような処理が実行される。
比較部104は、センサデータを用いて、所定の時間間隔におけるユーザの頭部の揺れの方向及び大きさを持つベクトル量である頭部の移動量を算出する。なお、比較部104は、最初に取得したセンサデータを基準値に設定し、これ以降に受信したセンサデータと基準値との差分を頭部の揺れを示す値として算出する。
比較部104は、頭部の移動量及び映像の移動量に基づいて動揺量を算出する。例えば、比較部104は、頭部の移動量と映像の移動量との差分を動揺量として算出する。比較部104は、動揺量をメモリ102に一時的に格納する。
なお、センサデータの計測誤差が存在する場合、比較部104は、一定期間の頭部の移動量の平均値及び映像の移動量の平均値を用いて、動揺量を算出してもよい。例えば、映像が左右方向の移動を含まない期間の頭部の揺れは自然な挙動であるため、比較部104は、動揺量の大きさを「0」と算出する。また、映像が継続的に左右方向に移動する期間において頭部の揺れが自然な挙動より大きい変化を示す場合、比較部104は、頭部の移動量と映像の移動量の差分を動揺量として算出する。
なお、映像の移動量が2次元ベクトルであり、頭部の移動量が3次元ベクトルである場合、映像の移動量を画面の奥行き方向の成分を「0」とする3次元ベクトルとして二つの移動量の差分を取ればよい。
なお、加速度センサ201の計測値は、映像の視聴に起因する動揺とは無関係に、自発的な挙動(ノイズ)を含む場合がある。そのため、加速度センサ201の計測値と地磁気センサ202の計測値とを組み合わせて頭部の移動量を算出し、その後、頭部の移動量と映像の移動量との差分を算出する方法、又は、加速度センサ201の計測値に対して周波数成分分析を行って、所定の時間内の画面の動きの周波数に近い特定の周波数帯の成分量を選択的に抽出する方法等を用いて前述のノイズを低減してもよい。以上がステップS603の説明である。
制御装置10は、動揺量に基づいて酔い感覚強度を算出する(ステップS604)。
例えば、比較部104は、動揺量の大きさ(スカラー値)を酔い感覚強度として算出する。また、比較部104は、統計処理を実行することによって、経時的な動揺量の変動割合を酔い感覚強度として算出する。より具体的には、比較部104は、各成分の変動割合の平均値を酔い感覚強度として算出する。
制御装置10は、酔い感覚強度に基づいて低減量を算出する(ステップS605)。
具体的には、比較部104は、メモリ102に格納されるユーザの個性を示すデータ(例えば、ユーザ情報に格納されるエントリ)から酔いの耐性を示す値を取得する。比較部104は、酔い感覚強度及び酔いの耐性に基づいて低減量を算出し、制御部101を介してメモリ102に低減量を格納する。
例えば、比較部104は、効果音の特徴量そのものを低減量として算出する。また、当該特徴量を決定する数式が与えられている場合、比較部104は、数式の係数又は数式の算出結果を補正する値を低減量として算出する。
なお、メモリ102にユーザの個性を示すデータが存在しない場合、比較部104は、所定の既定値を用いて処理を実行する。
次に、図7を用いて効果音を再生するための処理について説明する。以下で説明する処理は、動画の再生中に繰り返し実行される。実行周期は任意に設定することができる。
制御装置10は、効果音を出力する必要があるか否かを判定する(ステップS701)。
例えば、比較部104は、低減量に基づいて効果音を出力するか否かを判定する方法が考えられる。低減量がスカラー値である場合、比較部104は、低減量が閾値以上か否かを判定する。低減量がベクトル量である場合、比較部104は、少なくとも一つの成分の値が閾値以上か否かを判定し、又は、ベクトル量の内積が閾値以上か否かを判定する。なお、二つ以上の成分について同様の判定を行ってもよい。
判定に使用する閾値は、加速度センサのデータビット幅及び精度に依存するため、予め行われた試験に基づいて決定された値を用いる。なお、当該閾値は適宜変更することができる。
効果音を出力する必要がないと判定された場合、制御装置10は処理を終了する。
効果音を出力する必要があると判定された場合、制御装置10は、効果音の特徴量を算出する(ステップS702)。具体的には、比較部104が、低減量に基づいて効果音の特徴量を算出し、制御部101を介して当該特徴量をメモリ102に格納する。
例えば、低減量を用いて特徴量を決定する数式が与えられている場合、比較部104は、低減量及び数式に基づいて特徴量を算出し、また、ユーザの個性に基づいて調整情報113を参照して、算出された特徴量を補正する。なお、調整情報113は特徴量の算出時に用いてもよい。例えば、数式に設定する定数を調整情報113に基づいて選択する方法等が考えられる。比較部104は、算出された特徴量をメモリ102に格納する。
調整情報113に基づいて、効果音の音データの特徴量を補正することによって、効果音による酔いの低減効果を向上させ、また、ユーザの負担の低減等が可能となる。
なお、効果音の特徴量そのものが低減量として算出されている場合には、ステップS702の処理を省略してもよい。
制御装置10は、他の効果音の再生中であるか否かを判定する(ステップS703)。例えば、制御装置10が効果音の再生開始時及び再生終了時の状態を管理することによって、他の効果音の再生中である否かを判定できる。なお、当該判定は、制御モジュール111によって実行される。
他の効果音の再生中であると判定された場合、制御装置10は処理を終了する。この場合、効果音の特徴量に関するデータは破棄されてもよい。なお、一定期間経過後に、ステップS703の判定を再度実行するようにしてもよい。
他の効果音の再生中でないと判定された場合、制御装置10は、効果音の音データを生成し、当該音データを端末20に送信することによって、効果音を再生する(ステップS704)。その後、制御装置10は、処理を終了する。
具体的には、制御部101が、メモリ102に格納される特徴量を音データ処理部107に出力し、効果音の音データの生成を指示する。音データ処理部107は、特徴量に基づいて音データを生成し、当該音データを音データ送信部108に出力する。音データ送信部108は、音データを端末20に送信する。端末20の音再生部204は、受信した音データに基づいて効果音を再生する。
なお、再生される映像等を考慮して、特徴量を算出してもよい。例えば、Vectionに伴う運動の発生が予測される映像の動きに合わせて効果音を再生する場合、映像に紐付けた再生タイミング及び再生速度(再生時間)が特徴量として算出される。この場合、制御モジュール111は、再生タイミングに合わせて、音データ処理部107に音データの生成を指示する。これによって、前述の運動発生時に聴覚刺激を与えることによって、酔いの低減処理を網羅的に実行できる。
なお、効果音の再生中に低減量が変化した場合、変更後の低減量に基づいて特徴量を補正してもよい。例えば、ステップS703の判定結果がYESの場合、制御モジュール111又は比較部104は、音量補正処理を実行する。当該処理では、制御モジュール111又は比較部104は、低減量の大きさが「0」の場合には音量を「0」に補正し、低減量の大きさが過去の低減量の大きさの最大値より大きい場合には音量を最大値に補正する。さらに、制御モジュール111又は比較部104は、低減量が変化前の音量と低減量の変化後の音量との間を線形的に補完する。前述の処理は一例であって、酔いの低減効果が得られる範囲で任意に補正することができる。
なお、制御装置10は、効果音の再生後の低減量の経時変化を監視し、低減量が閾値より大きい状態が一定時間継続する場合、効果音による酔いの低減効果を超える酔いが発生しているものとして、酔い状態の悪化を示す警告メッセージを音声又は画像として再生してもよい。
次に、図8A及び図8Bを用いて効果音について説明する。図8A及び図8Bは、実施例1の端末20が再生する効果音の一例を示す図である。図8A及び図8Bでは、2チャンネルのステレオ音響システムに適用する音データのフォーマットを示す。5.1チャンネル等の音響システムの音データのフォーマットでは、主となる左右の出力チャンネルについて同様の音データを適用すればよい。
まず、図8Aについて説明する。図8Aに示す効果音の再生タイミング(再生開始時刻)は、ステップS703の判定結果がNOと判定された時点とする。
端末20は、左耳側の音量を0から最大音量δ1まで上昇させた後、微小音量δ2まで下降させる。このとき、端末20は、左耳側の音量の変化と同期するように、右耳側の音量を0から音量δ3に上昇させた後、微小音量δ2まで変化させる。
端末20は、各耳の音量が微小音量δ3に変化してから一定時間経過した後、右耳側の音量を最大音量δ1まで上昇させた後、0まで下降させる。このとき、端末20は、右耳側の音量の変化と同期するように、左耳側の音量をδ3まで上昇させた後、0まで下降させる。
なお、再生タイミング、音量、及び再生速度等の特徴量は、ある時点の低減量に基づいて算出されてもよいし、また、経時的な低減量の変化に基づいて算出されてもよい。
前述のような効果音を用いて聴覚刺激を与えることによって、ユーザは左から右への音源の移動と知覚し、左方向への移動感覚を想起させることができる。なお、前述の音量変化を左右入れ替えることによって、右方向への移動感覚を想起させることができる。
視覚刺激の影響によるユーザの身体の移動方向とは逆方向の移動感覚を想起させることによって、頭部の動揺を低減することができる。
図8Bは、頭部伝達関数を畳み込んだステレオのバイノーラル信号を示す。端末20は、当該バイノーラル信号をホワイトノイズのような効果音(可聴音)として再生することによって、ユーザは時間軸に沿って反時計回りに周回する音として知覚し、反時計回りの回転感覚を想起できる。なお、右耳及び左耳の聴覚刺激を入れ替えることによって、端末20は時計回りに周回する効果音を再生できる。
頭部伝達関数の値をメモリ102に格納し、当該値を用いることによって任意の音源データから周波数特性を変化させたデータを、3次元空間の任意の方向の任意の距離から発せられる効果音として再生できる。
なお、コンテンツ情報112に基づく音を妨げない効果音(不可聴音)を再生する音データが生成されてもよい。例えば、制御装置10は、周波数が16KHzであり、図8A又は図8Bに示すような波形の音を再生する音データを生成する。当該周波数の音は、若年齢のユーザは知覚できるが、高年齢のユーザは知覚できない。
頭部の動揺は左右方向だけではなく上下方向の動揺も考慮してもよい。この場合、映像の奥行き方向への移動量に対して、ユーザの前後方向の移動感覚を生起させる音源を使用することによって同様の効果を得ることができる。
実施例1によれば、音生成装置1は、聴覚刺激を与えることによって映像を視聴するユーザの酔いを低減することができる。音生成装置1は、ユーザの個性に合わせて効果音を調整できるため、酔い低減の効果を向上させ、また、ユーザの負担を低減できる。また、聴覚刺激は、電流等を直接流すような刺激ではないため、ユーザへの負担が低い。また、ユーザが積極的に行動を行う必要がないため、ユーザのへの負担が低い。
また、実施例1の音生成装置1は、汎用的な装置及びデバイスを用いて実現できるため、導入コストを低く抑えることができる。
実施例2では、車及び船舶等の輸送機器に搭乗するユーザの酔いを低減することを目的とする。以下、実施例1との差異を中心に実施例2について説明する。
輸送機器に搭乗するユーザが酔いを発生する原因は、映像の視聴する場合に発生する酔いと同様と考えられる。例えば、輸送機器に搭乗するユーザが座席に着席した状態で読書をする場合、視覚では静止していると知覚され、前庭感覚では輸送機器の移動に伴って動いていると知覚される。したがって、前述した知覚の矛盾が酔いの原因と考えられる。
図9は、実施例2の輸送機器2に搭載される音生成装置1の構成を示す図である。
輸送機器2に搭載される音生成装置1は、制御装置10、端末20、及び第1の撮像装置50から構成される。端末20及び第1の撮像装置50は、有線又は無線で制御装置10と接続する。
実施例2の制御装置10は、輸送機器2の電子機器全体を制御する。また、実施例2の制御装置10は、実施例1の制御装置10と同様に、効果音の音データの生成及び出力を制御する。実施例2の制御装置10は、例えば、マイクロコンピュータが考えられる。
実施例2の端末20は、実施例1の端末20と同様であるため説明を省略する。なお、実施例2の端末20は、オープンイヤー型のヘッドフォンを用いることによって、効果音だけではなく環境音を聞けるように聞けるようにしてもよい。また、端末20は、輸送機器2に搭乗可能な人数と同じ数だけ存在してもよい。
第1の撮像装置50は、輸送機器2の進行方向の映像を撮影する。第1の撮像装置50は、ステレオカメラ等、3次元形状を計測できる装置であればよい。
図10は、実施例2の音生成装置1のハードウェア構成及びソフトウェア構成の一例を示す図である。
制御装置10は、制御部101、メモリ102、センサデータ受信部103、比較部104、音データ処理部107、音データ送信部108、加速度センサ121、及びデータ受信部122を有する。
なお、制御装置10は、HDD及びSSD等の内部記憶装置を有してもよい。また、輸送機器2の大きさ又は特性を考慮して、制御装置10は、複数の加速度センサ121を有してもよい。
制御部101、メモリ102、センサデータ受信部103、比較部104、音データ処理部107、及び音データ送信部108は、実施例1の制御装置10が有するものと同様であるため説明を省略する。
なお、実施例2のメモリ102には、制御モジュール111、調整情報113、及びユーザ情報が格納される。また、実施例2の比較部104が実行する処理は、実施例1の比較部104が実行する処理と一部異なる。
加速度センサ121は、輸送機器2の加速度を計測する。なお、制御装置10は、輸送機器2の大きさ及び特性を考慮して、複数の加速度センサ121を有してもよい。また、加速度センサ121のみを用いた場合、計測誤差が蓄積する可能性があるため、地磁気センサ又はジャイロセンサ等を用いて、周期的に計測誤差を補正するようにしてもよい。
データ受信部122は、加速度センサ121からセンサデータを受信し、また、第1の撮像装置50から画像データを受信する。
端末20は、加速度センサ201、地磁気センサ202、センサデータ送信部203、音再生部204、及び音データ受信部205を有する。加速度センサ201、地磁気センサ202、センサデータ送信部203、音再生部204、及び音データ受信部205を有する。各構成は実施例1と同様であるため説明を省略する。
図11は、実施例2の制御装置10が実行する処理を説明する図である。以下で説明する処理は、輸送機器2の移動中に周期的に実行される。
制御装置10は、端末20の加速度センサ201及び地磁気センサ202によって取得されたセンサデータを取得する(ステップS601)。
制御装置10は、輸送機器2の移動量を算出する(ステップS1101)。具体的には、以下のような処理が実行される。
制御部101は、加速度センサ121によって取得されたセンサデータを用いて、輸送機器2の加速度の変化値を算出する。また、制御部101は、第1の撮像装置50から取得した画像データに基づいて画像に含まれる物体の形状の変化を示す物理量を算出する。なお、加速度センサ121によって取得されたセンサデータ及び第1の撮像装置50から取得した画像データは、視覚及び前庭感覚へ入力される刺激に関連する刺激情報の一つとして取得される。
制御部101は、加速度の変化値及び物理量から輸送機器2の移動量を算出する。当該移動量は、ユーザの視覚及び前庭感覚の少なくともいずれかに入力される刺激の大きさを推定する推定量であり、移動方向及び移動距離を持つベクトル量として表される。
輸送機器2の移動量を算出する場合、加速度センサ121の値だけでは、輸送機器2の移動量を正しく算出できないため、画像の変化も考慮する。例えば、輸送機器2が舗装された道路の左カーブを走行している場合、路面形状は左方向に曲折する。このとき、遠心力によって右方向に加速度が計測される。ただし、路面の傾斜によって加速度センサ121が計測する値が変化する。そこで、制御部101は、画像データの変化から路面の傾斜を算出し、当該値を用いて加速度センサ121によって計測された値を補正する。
なお、制御部101は、計測間隔と同一の時間幅で輸送機器2の移動量を算出する。また、制御部101は、輸送機器2が静止している状態の加速度センサの値を基準値に設定し、受信したセンサデータと基準値との差分を加速度の変化値として算出する。
なお、制御装置10が複数の加速度センサ121を有する場合、各加速度センサ121が計測した値の平均値又は中間値を用いて前述した処理を実行すればよい。
なお、車のハンドル操作、アクセス及びブレーキの操作、及びウインカー操作、並びに船舶の操舵等の輸送機器2の操作状態を考慮して、加速度センサ121によって計測された値を補正してもよい。以上がステップS1101の処理の説明である。
制御装置10は、動揺量を算出する(ステップS1102)。具体的には、以下のような処理が実行される。
比較部104は、センサデータを用いて、所定の時間間隔における頭部の移動量を算出する。なお、頭部の移動量の算出方法は、実施例1と同様であるため説明を省略する。
比較部104は、頭部の移動量及び輸送機器2の移動量に基づいて動揺量を算出する。例えば、比較部104は、頭部の移動量と輸送機器2の移動量との差分を動揺量として算出する。比較部104は、動揺量をメモリ102に一時的に格納する。
なお、センサデータの計測誤差が存在する場合、比較部104は、一定期間の頭部の移動量の平均値及び映像の移動量の平均値を用いて、動揺量を算出してもよい。例えば、輸送機器2の左右方向の加速度が閾値より小さい場合、頭部の揺れは自然な挙動であるため、比較部104は、動揺量の大きさを「0」と算出する。また、所定の期間における左右方向の加速度が閾値以上の場合、比較部104は、頭部の移動量と映像の移動量の差分を動揺量として算出する。
制御装置10は、動揺量に基づいて酔い感覚強度を算出し(ステップS604)、酔い感覚強度に基づいて低減量を算出する(ステップS605)。
効果音を再生するための処理は、図7に示す処理と同様であるため説明を省略する。
実施例1の制御装置10は、酔い状態の悪化を示す警告メッセージを音声又は画像をユーザに提示していたが、実施例2の制御装置10は、ユーザ以外に輸送機器2を操作するユーザにも警告メッセージを提示してもよい。
実施例2によれば、音生成装置1は、聴覚刺激を与えることによって輸送機器2に搭乗するユーザの酔いを低減することができる。音生成装置1は、ユーザの個性に合わせて効果音を調整できるため、酔い低減の効果を向上させ、また、ユーザの負担を低減できる。また、聴覚刺激は、電流等を直接流すような刺激ではないため、ユーザへの負担が低い。また、ユーザが積極的に行動を行う必要がないため、ユーザのへの負担が低い。
また、実施例2の音生成装置1は、汎用的な装置及びデバイスを用いて実現できるため、導入コストを低く抑えることができる。
実施例3は、実施例2と同様に、車等の輸送機器に搭乗するユーザの酔いを低減することを目的とする。実施例3では、音生成装置1の構成が一部異なる。以下、実施例2との差異を中心に実施例3について説明する。
図12は、実施例3の輸送機器2に搭載される音生成装置1の構成を示す図である。
輸送機器2に搭載される音生成装置1は、制御装置10、第1の撮像装置50、第2の撮像装置60、及び音出力装置70から構成される。端末20、第1の撮像装置50、第2の撮像装置60、及び音出力装置70は、有線又は無線で制御装置10と接続する。
ユーザが装着する接触型のデバイスである端末20の装着が困難又は煩わしいケースが考えられる。そこで、実施例3の輸送機器2は、端末20の代わりに、第2の撮像装置60及び音出力装置70を設けている点が実施例2の輸送機器2と異なる点である。
第2の撮像装置60は、ユーザを撮影する。音出力装置70は、ユーザに対して音を出力する。なお、図12には音出力装置70が一つのみ表示されているが、輸送機器2の左右の側面に一つ存在する。第2の撮像装置60はカメラが考えられ、また、音出力装置70はステレオスピーカが考えられる。第2の撮像装置60及び音出力装置70は、後部座席にのみ設置しているが、他の座席にも設置してもよい。また、一つの第2の撮像装置60を用いて複数のユーザの動きを検出してもよい。
実施例3の輸送機器2のその他の構成は、実施例2の輸送機器2の構成と同一であるため説明を省略する。
図13は、実施例3の音生成装置1のハードウェア構成及びソフトウェア構成の一例を示す図である。
制御部101、メモリ102、比較部104、音データ処理部107、音データ送信部108、加速度センサ121、及びデータ受信部122を有する。なお、制御装置10は、HDD及びSSD等の内部記憶装置を有してもよい。
制御部101、メモリ102、比較部104、音データ処理部107、音データ送信部108、加速度センサ121、及びデータ受信部122は、実施例2の制御装置10が有するものと同様であるため説明を省略する。なお、データ受信部122は、第1の撮像装置50及び第2の撮像装置60のそれぞれから画像データを受信する。
音出力装置70は、音データ受信部205及び音再生部204を有する。音データ受信部205及び音再生部204は、実施例2の端末20が有するものと同一であるため説明を省略する。
図14は、実施例3の制御装置10が実行する処理を説明する図である。以下で説明する処理は、輸送機器2の移動中に周期的に実行される。
制御装置10は、第2の撮像装置60によって取得された画像データを取得する(ステップS1401)。実施例3では、画像データがユーザの頭部の動きを示す頭位情報として取得される。また、制御装置10は、輸送機器2の移動量を算出する(ステップS1101)。
制御装置10は、動揺量を算出する(ステップS1402)。具体的には、以下のような処理が実行される。
比較部104は、第2の撮像装置60から取得した画像データを用いて頭部の移動量を算出する。なお、頭部の移動量の算出方法は、実施例1の画像の移動量の算出方法と同様であるため説明を省略する。
比較部104は、頭部の移動量及び輸送機器2の移動量に基づいて動揺量を算出する。例えば、比較部104は、頭部の移動量と輸送機器2の移動量との差分を動揺量として算出する。比較部104は、動揺量をメモリ102に一時的に格納する。
なお、第2の撮像装置60が単眼カメラである場合、2次元の画像データが取得されるため、頭部の移動量は2次元のベクトル量となり、第2の撮像装置60がステレオカメラ又は赤外線カメラである場合、3次元の画像データが取得されるため、頭部の移動量は3次元のベクトル量となる。
制御装置10は、動揺量に基づいて酔い感覚強度を算出し(ステップS604)、酔い感覚強度に基づいて低減量を算出する(ステップS605)。
効果音を再生するための処理は、図7に示す処理と同様であるため説明を省略する。ただし、ステップS704において、効果音の再生前に当該効果音を説明する音声又は文字情報を出力する。
実施例3の制御装置10は、実施例2と同様に、ユーザ以外に輸送機器2を操作するユーザにも警告メッセージを提示してもよい。
実施例3によれば、装着型のデバイスを用いることなく実施例2と同様の効果を奏することができる。
なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。また、例えば、上記した実施例は本発明を分かりやすく説明するために構成を詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、各実施例の構成の一部について、他の構成に追加、削除、置換することが可能である。
また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、本発明は、実施例の機能を実現するソフトウェアのプログラムコードによっても実現できる。この場合、プログラムコードを記録した非一時的記憶媒体をコンピュータに提供し、そのコンピュータが備えるプロセッサが非一時的記憶媒体に格納されたプログラムコードを読み出す。この場合、非一時的記憶媒体から読み出されたプログラムコード自体が前述した実施例の機能を実現することになり、そのプログラムコード自体、及びそれを記憶した非一時的記憶媒体は本発明を構成することになる。このようなプログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、CD−ROM、DVD−ROM、ハードディスク、SSD(Solid State Drive)、光ディスク、光磁気ディスク、CD−R、磁気テープ、不揮発性のメモリカード、ROMなどが用いられる。
また、本実施例に記載の機能を実現するプログラムコードは、例えば、アセンブラ、C/C++、perl、Shell、PHP、Java(登録商標)等の広範囲のプログラム又はスクリプト言語で実装できる。
さらに、実施例の機能を実現するソフトウェアのプログラムコードを、ネットワークを介して配信することによって、それをコンピュータのハードディスクやメモリ等の記憶手段又はCD−RW、CD−R等の記憶媒体に格納し、コンピュータが備えるプロセッサが当該記憶手段や当該記憶媒体に格納されたプログラムコードを読み出して実行するようにしてもよい。
上述の実施例において、制御線や情報線は、説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。全ての構成が相互に接続されていてもよい。
1 音生成装置
2 輸送機器
10 制御装置
20 端末
30 表示装置
50 第1の撮像装置
60 第2の撮像装置
70 音出力装置
101 制御部
102 メモリ
103 センサデータ受信部
104 比較部
105 映像データ処理部
106 映像データ送信部
107 音データ処理部
108 音データ送信部
111 制御モジュール
112 コンテンツ情報
113 調整情報
121、201 加速度センサ
122 データ受信部
202 地磁気センサ
203 センサデータ送信部
204 音再生部
205 音データ受信部
301 映像データ受信部
302 映像表示部

Claims (15)

  1. ユーザの酔いを低減する装置であって、
    前記ユーザの頭部の動きを示す頭位情報を取得する第1取得部と、
    視覚及び前庭感覚へ入力される刺激に関連する刺激情報を取得する第2取得部と、
    前記頭位情報及び前記刺激情報に基づいて、酔いを低減する身体の動きを発生させる効果音の音データを生成する生成部と、を備え、
    前記生成部は、
    前記頭位情報に基づいて前記ユーザの頭部の位置の変化量を算出し、
    前記刺激情報に基づいて、視覚及び前庭感覚の少なくともいずれかに入力される刺激の大きさを推定する推定量を算出し、
    前記ユーザの頭部の位置の変化量及び前記推定量に基づいて、前記ユーザの酔い感覚の強さを示す酔い感覚強度を算出し、
    前記酔い感覚強度に基づいて、前記音データの特徴量を算出するための低減量を算出し、
    前記低減量に基づいて音データの特徴量を算出することによって前記音データを生成することを特徴とする装置。
  2. 請求項1に記載の装置であって、
    前記装置は、前記ユーザの個性に基づいて前記音データを補正するための調整情報を保持し、
    前記生成部は、
    対象のユーザの個性を示すデータを取得し、
    前記対象のユーザの個性を示すデータに基づいて前記調整情報を参照することによって、前記音データの特徴量を補正し、
    前記補正された音データの特徴量に基づいて前記音データを生成することを特徴とする装置。
  3. 請求項2に記載の装置であって、
    前記第1取得部は、表示装置に表示される映像を視聴するユーザの前記頭位情報を取得し、
    前記第2取得部は、前記映像を表示する映像データを取得し、
    前記生成部は、前記映像データに基づいて、前記映像の移動量を前記推定量として算出することを特徴とする装置。
  4. 請求項2に記載の装置であって、
    前記第1取得部は、輸送機器に搭乗するユーザの前記頭位情報を取得し、
    前記第2取得部は、前記輸送機器の動きを示すデータを取得し、
    前記生成部は、前記輸送機器の動きを示すデータに基づいて、前記輸送機器の移動量を前記推定量として算出することを特徴とする装置。
  5. 請求項2に記載の装置であって、
    前記音データの特徴量は、音量、周波数、再生タイミング、及び再生時間の少なくともいずれかであることを特徴とする装置。
  6. 請求項2に記載の装置であって、
    前記音データに基づいて前記効果音を再生する音出力装置と接続し、
    前記音データを前記音出力装置に出力する場合に、前記音出力装置が前記効果音を再生しているか否かを判定し、
    前記音出力装置が前記効果音を再生していないと判定された場合、前記音出力装置に前記音データを出力することを特徴とする装置。
  7. ユーザの酔いを低減する効果音の音データを生成する装置が実行する音データの生成方法であって、
    前記装置は、演算装置及び前記演算装置に接続される記憶装置を有し、
    前記音データの生成方法は、
    前記演算装置が、前記ユーザの頭部の動きを示す頭位情報を取得する第1のステップと、
    前記演算装置が、視覚及び前庭感覚へ入力される刺激に関連する刺激情報を取得する第2のステップと、
    前記演算装置が、前記頭位情報に基づいて前記ユーザの頭部の位置の変化量を算出する第3のステップと、
    前記演算装置が、前記刺激情報に基づいて、視覚及び前庭感覚の少なくともいずれかに入力される刺激の大きさを推定する推定量を算出する第4のステップと、
    前記演算装置が、前記ユーザの頭部の位置の変化量及び前記推定量に基づいて、前記ユーザの酔い感覚の強さを示す酔い感覚強度を算出する第5のステップと、
    前記演算装置が、前記酔い感覚強度に基づいて、前記音データの特徴量を算出するための低減量を算出する第6のステップと、
    前記演算装置が、前記低減量に基づいて音データの特徴量を算出することによって前記音データを生成する第7のステップと、を含むことを特徴とする音データの生成方法。
  8. 請求項7に記載の音データの生成方法であって、
    前記装置は、前記ユーザの個性に基づいて前記音データを補正するための調整情報を保持し、
    前記第6のステップは、
    前記演算装置が、対象のユーザの個性を示すデータを取得するステップと、
    前記演算装置が、前記対象のユーザの個性を示すデータに基づいて前記調整情報を参照することによって、前記音データの特徴量を補正するステップと、を含み、
    前記第7のステップでは、前記演算装置が、前記補正された音データの特徴量に基づいて前記音データを生成することを特徴とする音データの生成方法。
  9. 請求項8に記載の音データの生成方法であって、
    前記第1のステップでは、前記演算装置が、表示装置に表示される映像を視聴するユーザの前記頭位情報を取得し、
    前記第2のステップでは、前記演算装置が、前記映像を表示する映像データを取得し、
    前記第5のステップでは、前記演算装置が、前記映像データに基づいて、前記映像の移動量を前記推定量として算出することを特徴とする音データの生成方法。
  10. 請求項8に記載の音データの生成方法であって、
    前記第1のステップでは、前記演算装置が、輸送機器に搭乗するユーザの前記頭位情報を取得し、
    前記第2のステップでは、前記演算装置が、前記輸送機器の動きを示すデータを取得し、
    前記第5のステップでは、前記演算装置が、前記輸送機器の動きを示すデータに基づいて、前記輸送機器の移動量を前記推定量として算出することを特徴とする音データの生成方法。
  11. 請求項8に記載の音データの生成方法であって、
    前記音データの特徴量は、音量、周波数、再生タイミング、及び再生時間の少なくともいずれかであることを特徴とする音データの生成方法。
  12. 請求項8に記載の音データの生成方法であって、
    前記音データに基づいて前記効果音を再生する音出力装置と接続し、
    前記音データの生成方法は、
    前記演算装置が、前記音データを前記音出力装置に出力する場合に、前記音出力装置が前記効果音を再生しているか否かを判定するステップと、
    前記演算装置が、前記音出力装置が前記効果音を再生していないと判定された場合、前記音出力装置に前記音データを出力するステップと、を含むことを特徴とする音データの生成方法。
  13. ユーザの酔いを低減する効果音の音データを生成する装置が実行するプログラムであって、
    前記装置は、演算装置及び前記演算装置に接続される記憶装置を有し、
    前記プログラムは、
    前記ユーザの頭部の動きを示す頭位情報を取得する第1の手順と、
    視覚及び前庭感覚へ入力される刺激に関連する刺激情報を取得する第2の手順と、
    前記頭位情報に基づいて前記ユーザの頭部の位置の変化量を算出する第3の手順と、
    前記刺激情報に基づいて、視覚及び前庭感覚の少なくともいずれかに入力される刺激の大きさを推定する推定量を算出する第4の手順と、
    前記ユーザの頭部の位置の変化量及び前記推定量に基づいて、前記ユーザの酔い感覚強さを示す酔い感覚強度を算出する第5の手順と、
    前記酔い感覚強度に基づいて、前記音データの特徴量を算出するための低減量を算出する第6の手順と、
    前記低減量に基づいて音データの特徴量を算出することによって前記音データを生成する第7の手順と、を前記装置に実行させることを特徴とするプログラム。
  14. 請求項13に記載のプログラムであって、
    前記音データの特徴量は、音量、周波数、再生タイミング、及び再生時間の少なくともいずれかであり、
    前記装置は、前記ユーザの個性に基づいて前記音データを補正するための調整情報を保持し、
    前記第6の手順は、
    対象のユーザの個性を示すデータを取得する手順と、
    前記対象のユーザの個性を示すデータに基づいて前記調整情報を参照することによって、前記音データの特徴量を補正する手順と、を含み、
    前記第7の手順では、前記装置に、前記補正された音データの特徴量に基づいて前記音データを生成させる手順を含むことを特徴とするプログラム。
  15. 請求項14に記載のプログラムであって、
    前記音データに基づいて前記効果音を再生する音出力装置と接続し、
    前記プログラムは、
    前記音データを前記音出力装置に出力する場合に、前記音出力装置が前記効果音を再生しているか否かを判定させる手順と、
    前記音出力装置が前記効果音を再生していないと判定された場合、前記音出力装置に前記音データを出力させる手順と、前記装置に実行させることを特徴とするプログラム。
JP2017019369A 2017-02-06 2017-02-06 装置、音データの生成方法、及びプログラム Pending JP2018126185A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017019369A JP2018126185A (ja) 2017-02-06 2017-02-06 装置、音データの生成方法、及びプログラム
US15/888,963 US10814095B2 (en) 2017-02-06 2018-02-05 Apparatus, sound data generation method, and non-transitory computer readable storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017019369A JP2018126185A (ja) 2017-02-06 2017-02-06 装置、音データの生成方法、及びプログラム

Publications (1)

Publication Number Publication Date
JP2018126185A true JP2018126185A (ja) 2018-08-16

Family

ID=63038966

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017019369A Pending JP2018126185A (ja) 2017-02-06 2017-02-06 装置、音データの生成方法、及びプログラム

Country Status (2)

Country Link
US (1) US10814095B2 (ja)
JP (1) JP2018126185A (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020018770A (ja) * 2018-08-03 2020-02-06 学校法人立命館 評価装置、制御装置、動揺病の低減システム、評価方法、及びコンピュータプログラム
JP2021126173A (ja) * 2020-02-10 2021-09-02 株式会社今仙電機製作所 酔い予測システム及び酔い予測システムを備えた車両、酔い予測システムの制御方法及びプログラム
JP2021126174A (ja) * 2020-02-10 2021-09-02 株式会社今仙電機製作所 酔い予測システム及び酔い予測システムを備えた車両、酔い予測システムの制御方法及びプログラム
WO2022113386A1 (ja) * 2020-11-30 2022-06-02 株式会社デンソーテン 情報処理装置、情報処理方法、プログラムおよびデータ構造
WO2023286343A1 (ja) * 2021-07-12 2023-01-19 ソニーグループ株式会社 情報処理装置、情報処理方法、及びプログラム

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109410987A (zh) * 2018-09-30 2019-03-01 秒针信息技术有限公司 一种对讲设备音频流存储方法及系统
US11259134B2 (en) * 2018-11-26 2022-02-22 Raytheon Bbn Technologies Corp. Systems and methods for enhancing attitude awareness in telepresence applications
EP3725354B1 (en) * 2019-04-15 2023-04-12 Nxp B.V. Audio controller
CN110673734B (zh) * 2019-09-30 2023-12-01 京东方科技集团股份有限公司 虚拟旅游方法、客户端、服务器端、系统及图像采集设备
US11989342B2 (en) 2019-09-30 2024-05-21 Boe Technology Group Co., Ltd. Virtual tourism client, server, system and acquisition device
CN110972053B (zh) * 2019-11-25 2021-06-25 腾讯音乐娱乐科技(深圳)有限公司 构造听音场景的方法和相关装置
TWI792477B (zh) * 2021-08-06 2023-02-11 瑞昱半導體股份有限公司 聲音劑量監測電路

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006248450A (ja) * 2005-03-14 2006-09-21 Nissan Motor Co Ltd 車載情報提供装置
JP2008230575A (ja) * 2007-03-23 2008-10-02 Hamamatsu Univ School Of Medicine 乗り物酔い防止回復装置
JP2015182755A (ja) * 2014-03-26 2015-10-22 三菱電機株式会社 移動体機器制御装置、携帯端末、移動体機器制御システムおよび移動体機器制御方法
US20160228771A1 (en) * 2015-02-05 2016-08-11 Sony Computer Entertainment Inc. Motion sickness monitoring and application of supplemental sound to counteract sickness

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4444872B2 (ja) 2005-04-08 2010-03-31 日本電信電話株式会社 動揺感抑制装置、電流指令値入力装置およびプログラム
JP2011020539A (ja) 2009-07-15 2011-02-03 Panasonic Corp 後部座席用映像表示装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006248450A (ja) * 2005-03-14 2006-09-21 Nissan Motor Co Ltd 車載情報提供装置
JP2008230575A (ja) * 2007-03-23 2008-10-02 Hamamatsu Univ School Of Medicine 乗り物酔い防止回復装置
JP2015182755A (ja) * 2014-03-26 2015-10-22 三菱電機株式会社 移動体機器制御装置、携帯端末、移動体機器制御システムおよび移動体機器制御方法
US20160228771A1 (en) * 2015-02-05 2016-08-11 Sony Computer Entertainment Inc. Motion sickness monitoring and application of supplemental sound to counteract sickness

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020018770A (ja) * 2018-08-03 2020-02-06 学校法人立命館 評価装置、制御装置、動揺病の低減システム、評価方法、及びコンピュータプログラム
JP7177465B2 (ja) 2018-08-03 2022-11-24 国立大学法人 奈良先端科学技術大学院大学 評価装置、制御装置、動揺病の低減システム、評価方法、及びコンピュータプログラム
JP2021126173A (ja) * 2020-02-10 2021-09-02 株式会社今仙電機製作所 酔い予測システム及び酔い予測システムを備えた車両、酔い予測システムの制御方法及びプログラム
JP2021126174A (ja) * 2020-02-10 2021-09-02 株式会社今仙電機製作所 酔い予測システム及び酔い予測システムを備えた車両、酔い予測システムの制御方法及びプログラム
JP7450396B2 (ja) 2020-02-10 2024-03-15 株式会社今仙電機製作所 酔い予測システム及び酔い予測システムを備えた車両、酔い予測システムの制御方法及びプログラム
JP7504612B2 (ja) 2020-02-10 2024-06-24 株式会社今仙電機製作所 酔い予測システム及び酔い予測システムを備えた車両、酔い予測システムの制御方法及びプログラム
WO2022113386A1 (ja) * 2020-11-30 2022-06-02 株式会社デンソーテン 情報処理装置、情報処理方法、プログラムおよびデータ構造
WO2023286343A1 (ja) * 2021-07-12 2023-01-19 ソニーグループ株式会社 情報処理装置、情報処理方法、及びプログラム

Also Published As

Publication number Publication date
US20180221621A1 (en) 2018-08-09
US10814095B2 (en) 2020-10-27

Similar Documents

Publication Publication Date Title
JP2018126185A (ja) 装置、音データの生成方法、及びプログラム
JP6923245B2 (ja) 観衆ベースのハプティック
EP2775738B1 (en) Orientation free handsfree device
WO2016157677A1 (ja) 情報処理装置、情報処理方法及びプログラム
US10248202B2 (en) Video display apparatus and method for reducing VR sickness
JP2005318973A (ja) 生体センサ装置、コンテンツ再生方法およびコンテンツ再生装置
JP2003189219A (ja) デジタル画像系列の表示システム及び表示方法
CN116471521A (zh) 音频装置和音频处理的方法
US11338106B2 (en) Hearing assistance devices with motion sickness prevention and mitigation features
US12010506B2 (en) Spatial audio reproduction based on head-to-torso orientation
KR102365162B1 (ko) 멀미 저감을 위한 영상 표시 장치 및 방법
CN112380989A (zh) 一种头戴显示设备及其数据获取方法、装置和主机
JP2017182130A (ja) 情報処理装置、情報処理方法、及びプログラム
CN110651304B (zh) 信息处理装置、信息处理方法以及程序
CN109791436A (zh) 内容发现
WO2016131793A1 (en) Method of transforming visual data into acoustic signals and aid device for visually impaired or blind persons
US20190394583A1 (en) Method of audio reproduction in a hearing device and hearing device
WO2016157678A1 (ja) 情報処理装置、情報処理方法及びプログラム
US20240256042A1 (en) Information processing apparatus, information processing method, and program
WO2022038929A1 (ja) 情報処理方法、プログラム、及び、音響再生装置
WO2022038931A1 (ja) 情報処理方法、プログラム、及び、音響再生装置
JP2015080087A (ja) 音声処理装置、音声処理方法、及びプログラム
US20230355919A1 (en) Information processing device, information processing method, program, and data configuration
EP4124071A1 (en) Acoustic reproduction method, acoustic reproduction device, and program
JP2024056580A (ja) 情報処理装置及びその制御方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190304

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200107

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191226

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200630