JP2018191159A - 動画の配信方法 - Google Patents

動画の配信方法 Download PDF

Info

Publication number
JP2018191159A
JP2018191159A JP2017092654A JP2017092654A JP2018191159A JP 2018191159 A JP2018191159 A JP 2018191159A JP 2017092654 A JP2017092654 A JP 2017092654A JP 2017092654 A JP2017092654 A JP 2017092654A JP 2018191159 A JP2018191159 A JP 2018191159A
Authority
JP
Japan
Prior art keywords
signal
heart sound
video
heart
heartbeat
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017092654A
Other languages
English (en)
Other versions
JP2018191159A5 (ja
Inventor
山崎 薫
Kaoru Yamazaki
薫 山崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to JP2017092654A priority Critical patent/JP2018191159A/ja
Priority to CN201880030746.3A priority patent/CN110651481A/zh
Priority to PCT/JP2018/017748 priority patent/WO2018207768A1/ja
Publication of JP2018191159A publication Critical patent/JP2018191159A/ja
Priority to US16/676,714 priority patent/US20200073627A1/en
Publication of JP2018191159A5 publication Critical patent/JP2018191159A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/165Management of the audio stream, e.g. setting of volume, audio stream path
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0015Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by features of the telemetry system
    • A61B5/0022Monitoring a patient using a global network, e.g. telephone networks, internet
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02444Details of sensor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165Evaluating the state of mind, e.g. depression, anxiety
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/48Other medical applications
    • A61B5/486Bio-feedback
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802Sensor mounted on worn items
    • A61B5/681Wristwatch-type devices
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271Specific aspects of physiological measurement analysis
    • A61B5/7278Artificial waveform generation or derivation, e.g. synthesising signals from measured signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/7455Details of notification to user or communication with user or patient ; user input means characterised by tactile indication, e.g. vibration or electrical stimulation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B7/00Instruments for auscultation
    • A61B7/02Stethoscopes
    • A61B7/04Electric stethoscopes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233Processing of audio elementary streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42201Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] biosensors, e.g. heat sensor for presence detection, EEG sensors or any limb activity sensors worn by the user
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43074Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of additional data with content streams on the same device, e.g. of EPG data or interactive icon with a TV program
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439Processing of audio elementary streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/8106Monomedia components thereof involving special audio data, e.g. different tracks for different languages
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2505/00Evaluating, monitoring or diagnosing in the context of a particular type of medical care
    • A61B2505/09Rehabilitation or training
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B15/00Systems controlled by a computer
    • G05B15/02Systems controlled by a computer electric
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223Cameras

Abstract

【課題】鑑賞者が手軽に臨場感を味わうことができる動画の配信方法を提供する。
【解決手段】動画の配信方法は、映像を特定する映像信号、および、映像内の登場人物の心拍を特定する心拍信号を含む動画データを送信する手順と、映像信号で再生される映像に同期して心拍信号に基づき心音を再生する手順とを備える。動画の鑑賞者は心音を聞くことで映像内の登場人物に感情移入することができる。こうして動画の鑑賞者はこれまで以上に動画の臨場感を体感することができる。
【選択図】図1

Description

本発明は動画の配信方法に関する。
特許文献1は動画配信システムを開示する。映像信号は復号化部で復号されて表示モニターに供給される。表示モニターに映像は映し出される。音声信号はスピーカーで音波に再生されて利用者の耳に伝達される。
特開2013−207489号公報 特表2015−514443号公報
特許文献2は、映画館で、映像および音声だけでなく、視覚および聴覚以外の感覚を通じて鑑賞者に臨場感を与える特殊効果装置を開示する。映画の鑑賞者は特殊効果装置の働きで映画の登場人物と自分とを一体化することができる。映画の鑑賞者は臨場感を楽しむことができる。しかしながら、設備が大がかりであって導入にコストがかかるうえ、映画館以外では実現されることができない。
本発明は、上記実状に鑑みてなされたもので、鑑賞者が手軽に臨場感を味わうことができる動画の配信方法を提供することを目的とする。
本発明の第1側面によれば、映像を特定する映像信号、および、前記映像内の登場人物の心拍を特定する心拍信号を含む動画データを送信する手順と、前記映像信号で再生される前記映像に同期して前記心拍信号に基づき心音を再生する手順とを備える動画の配信方法が提供される。
ひとの心拍数および拍変動はひとの感情を反映する。ひとは心音を聞くことで他人の感情を知覚する。動画の鑑賞者は心音を聞くことで映像内の登場人物に感情移入することができる。こうして動画の鑑賞者はこれまで以上に動画の臨場感を体感することができる。
第2側面によれば、心拍の速度を特定する心拍信号を受信する受信部と、心音の音波を特定する心音データを記憶する記憶部と、前記心拍信号で特定される速度に合わせて、前記心音データに基づき心音を再生する再生部とを備える心音再生装置は提供される。
心拍信号では心音そのものが特定される必要はなく心拍の速度が特定されればよい。したがって、ひとの胸に心音を拾うマイクロフォンを当てる必要はなく、簡単に入手されることができる脈拍センサーといったありふれた道具で心拍信号は生成されることができる。ひとの心拍に合わせて簡単に心音は再現されることができる。
第3側面によれば、心拍の速度を特定する心拍信号を受信する手順と、記憶部から、心音の音波を特定する心音データを取得する手順と、前記心拍信号で特定される速度に合わせて、前記心音データに基づき心音を再生する手順とを備える心音再生方法は提供される。
心拍信号では心音そのものが特定される必要はなく心拍の速度が特定されればよい。したがって、ひとの胸に心音を拾うマイクロフォンを当てる必要はなく、簡単に入手されることができる脈拍センサーといったありふれた道具で心拍信号は生成されることができる。ひとの心拍に合わせて簡単に心音は再現されることができる。
第4側面によれば、映像信号を生成する撮像素子と、音声信号を生成するマイクロフォンと、少なくとも心拍の速度を特定する心拍信号を生成する脈拍センサーと、前記音声信号に前記心拍信号を組み込んで出力する合成器とを備える撮影装置は提供される。
映像信号で特定される映像と、音声信号で特定される音声とが組み合わせられて動画は生成される。動画の生成にあたって音声信号には心拍信号が組み込まれることから、一般の動画のフォーマットに心拍信号は組み入れられることができる。心拍信号の付加にあたって特別なフォーマットは要求されず、心拍信号の扱いは簡素化される。
第5側面によれば、複数の脈拍センサーから、前記脈拍センサーごとに心拍信号を取得する手順と、指定された再生端末ごとに、個々の前記再生端末に関連づけられた前記心拍信号を送信する手順と、個々の前記再生端末で前記心拍信号を受信し、前記心拍信号に基づき心音を再生する手順とを備える心拍再生システムは提供される。
脈拍センサーは複数の対象者に個々に取り付けられる。個々の対象者に関連づけられた再生端末ごとに心拍信号は送り込まれる。個々の再生端末では、関連づけられた心拍信号に基づき心音は再生される。こうして再生端末ごとに複数の対象者の中から特定の対象者は割り当てられる。再生端末ごとに特定の対象者の心音は再生されることができる。
第6側面によれば、足の甲に接触する接触部を有して、前記足の甲および土踏まずに巻き付けられる装着体と、前記接触部に支持されて、足背動脈から脈拍を検出する脈拍センサーとを備える脈拍計は提供される。
脈拍の検出にあたって脈拍計は踝よりも足先側で足に装着される。踝回りに足が動いても、脈拍計は足の動きに対して邪魔にならない。しかも、足の甲と土踏まずの間では人体の変形は小さいことから、脈拍計の位置ずれは十分に抑制されることができる。良好な装着感は得られる。装着者に脈拍計の装着を意識させることなく、脈拍センサーは足背動脈から脈拍を検出することができる。
第7側面によれば、再生端末の本体にヘッドホンが接続される際に、前記ヘッドホンの機器識別子を取得する手順と、予め登録された候補機器識別子に、取得した前記機器識別子を照合し、前記ヘッドホンの登録の有無を確認する手順と、前記ヘッドホンの登録が確認されたら、前記ヘッドホンに向けて心音の音声信号を出力する手順とを備える心音の再生方法は提供される。
ヘッドホンの登録が確認されない限り、ヘッドホンには心音の音声信号は出力されない。こうして特定のヘッドホンにのみ音声信号は出力されることができる。心音の再生に利用されるヘッドホンは選り分けられることができる。
以上のように開示の装置によれば、鑑賞者が手軽に臨場感を味わうことができる動画の配信方法は提供される。
第1実施形態に係る動画配信システムの構成を概略的に示す概念図である。 第2実施形態に係る情感配信システムの構成を概略的に示す概念図である。 具体例に係る脈拍計の構成を概略的に示す概念図である。 振動発生装置の具体例を概略的に示す概念図である。 第3実施形態に係る心拍再生装置の構成を概略的に示す概念図である。
以下、添付図面を参照しつつ本発明の一実施形態を説明する。
図1は第1実施形態に係る動画配信システム11の構成を概略的に示す。動画配信システム11は、インターネット12に随時に接続可能な再生端末13a、13bを備える。第1具体例に係る再生端末13aは、WiFiルーター14でインターネット12に接続されるスマートフォン15で構成される。第2具体例に係る再生端末13bは、LANルーター16でインターネット12に接続されるパーソナルコンピューター(以下「パソコン」という)17で構成される。スマートフォン15は携帯電話通信網からインターネット12に接続されてもよい。パソコン17はWiFiルーター14でインターネットに接続されてもよい。
スマートフォン15は、本体に組み込まれるCPU(中央演算処理装置)21と、本体の表面に組み込まれるディスプレイパネル22とを備える。ディスプレイパネル22の表面に例えば長方形の画面が区画される。本体内でCPU21には、携帯電話通信網の基地局に接続される無線送受信回路23や、WiFiルーター14に接続されるWiFi送受信回路24、ブルートゥース送受信回路25、画面上の表示を制御する表示駆動回路26、その他の電子回路が接続される。
CPU21はWiFi送受信回路24(や無線送受信回路23)を通じてインターネット12から動画データを受信する。動画データは、映像を特定する映像信号と、映像に関連する音声を特定する音声信号とを含む。音声信号には、映像内の登場人物の心拍を特定する心拍信号が重畳される。ここでは、心拍信号は心拍の速度を特定する。心拍の速度は例えばパルス信号の間隔やその他のリズム信号で特定されればよい。心拍の速度は例えば心音のI音またはII音の時間間隔で特定されればよい。
CPU21にはメモリー(記憶部)27が接続される。メモリー27にはアプリ(アプリケーションソフトウェア)28および心音データ29が格納される。心音データ29は心音の音波を特定する。CPU21はアプリ28を実行する。アプリ28の実行に応じて、CPU21(受信部)は、動画データを受信し、メモリー27から心音データ29を取得し、心拍信号で特定される速度に合わせて、心音データ29に基づき心音を再生する。
スマートフォン15にはヘッドホン31が接続される。ヘッドホン31は有線でスマートフォン15に接続されてもよく無線でスマートフォン15に接続されてもよい。ここでは、接続にあたって例えばBluetooth(登録商標)が利用される。ヘッドホン31にはブルートゥース送受信回路25を通じてCPU21から音声信号が供給される。ヘッドホン31のスピーカーは例えば振動板の動作に応じて空気中に音波を送信する。ヘッドホン31は鑑賞者の頭に装着される。ヘッドホン31は好ましくは骨伝導ヘッドホンであればよい。
CPU21は、画像処理回路の動作を通じて映像信号に基づき映像を再生し、音声信号に基づき音声を再生する。映像は表示駆動回路26の働きでディスプレイパネル22の画面に表示される。音声の再生にあたってCPU21は音声信号から心拍信号を復号する。CPU21(再生部)は、映像信号で再生される映像に同期して心拍信号に基づき心音を再生する。こうして映像に関連する音声および映像に同期する登場人物の心音はヘッドホン31から鑑賞者の耳に伝達される。
パソコン17は、CPU(中央演算処理装置)33やメモリー34を収容する本体35と、本体35に接続されて、例えば長方形の画面を区画するディスプレイパネルを有するディスプレイ装置36とを備える。いわゆるデスクトップパソコンのように本体35とディスプレイ装置36とは別体でもよく、いわゆるノートブックパソコンのように本体35とディスプレイ装置36とはヒンジで連結されてもよい。あるいは、パソコン17は、本体35内にディスプレイパネルを含むパッド形状に構成されてもよい。本体35内でCPU33には、LANボード37や、ブルートゥース送受信回路38、画面上の表示を制御する表示駆動回路39、その他の電子回路が接続される。CPU33はLANボード37を通じてインターネット12から動画データを受信する。
CPU33には大容量記憶装置(記憶部)41が接続される。大容量記憶装置41にはアプリケーションソフトウェア(以下「ソフト」という)42および心音データ43が格納される。心音データ43は心音の音波を特定する。CPU33はソフト42を実行する。ソフト42の実行に応じて、CPU33(受信部)は、動画データを受信し、大容量記憶装置41から心音データを取得し、心拍信号で特定される速度に合わせて、心音データに基づき心音を再生する。
パソコン17にはヘッドホン44が接続される。ヘッドホン44は有線でパソコン17の本体に接続されてもよく無線でパソコン17に接続されてもよい。ここでは、接続にあたって例えばBluetoothが利用される。ヘッドホン44は前述のヘッドホン31と同様に構成されればよい。
CPU33は、画像処理回路の動作を通じて映像信号に基づき映像を再生し、音声信号に基づき音声を再生する。映像は表示駆動回路39の働きでディスプレイ装置36の画面に表示される。音声の再生にあたってCPU33は音声信号から心拍信号を復号する。CPU33(再生部)は、映像信号で再生される映像に同期して心拍信号に基づき心音を再生する。こうして映像に関連する音声および映像に同期する登場人物の心音はヘッドホン44から鑑賞者の耳に伝達される。
動画配信システム11はインターネット12に接続されるサーバー45を備える。サーバー45には動画データ46および心音データ47が格納される。スマートフォン15で実行されるアプリ28の働きでスマートフォン15とサーバー45との間で通信経路は確立される。アプリ28は、サーバー45で実行されるアプリケーションに対してユーザーインターフェイスを提供する。
動画配信システム11は、インターネット12に接続される撮影装置48を備える。撮影装置48は、動画を生成するビデオカメラ装置49と、対象者に装着されて対象者の脈拍(すなわち心拍)を検出する脈拍計(脈拍センサー)51とを有する。脈拍計51は、例えば浅側頭動脈、顔面動脈、総頸動脈、腋窩動脈、上腕動脈、橈骨動脈、尺骨動脈、大腿動脈、膝窩動脈、後頸骨動脈および足背動脈のいずれかから脈拍を検出すればよい。撮影の対象者に脈拍計51が装着されることから、映像では登場人物の心拍に同期して脈拍は検出される。脈拍計は少なくとも心拍の速度を特定する心拍信号を生成する。前述のとおり心拍の速度は例えばパルス信号の間隔やその他のリズム信号で特定されればよい。
ビデオカメラ装置49は、映像信号を生成する撮像素子52と、音声信号を生成するマイクロフォン53とを備える。映像信号は、例えばレンズを通して撮像素子52に投影される像を特定する。音声信号は、撮像素子52に投影される像に関連して人物の声や環境音を特定する。少なくともマイクロフォン53および脈拍計51には合成処理回路(合成器)54が接続される。合成処理回路54は音声信号に心拍信号を組み込んで出力する。音声信号には例えば心音のI音またはII音を示すパルス音が含まれればよい。ここでは、一般の動画のフォーマットに従って映像信号および音声信号で動画データは作成される。
撮影装置48は例えばインターネット12を通じてサーバー45に接続される。動画はサーバー45にアップロードされることができる。こうしてサーバー45に動画データ46は格納される。動画データ46は一括りの映像ごとに管理されればよい。
動画配信システム11は、インターネット12に接続される心音生成装置55を備える。心音生成装置55は人体から心音の音波を取得するマイクロフォン56を有する。マイクロフォン56には例えば聴診器57が接続される。聴診器57は、例えば、人体の大動脈弁領域、肺動脈弁領域、三尖弁領域、僧帽弁領域またはエルプの領域から心音を増幅してマイクロフォン56に伝達する。マイクロフォン56は心音の音波を特定する電気信号すなわち心音データを出力する。心拍の速度は任意に設定されればよい。複数の速度について心音データは生成されてもよい。心音データはサーバー45にアップロードされることができる。こうしてサーバー45に心音データ47は格納される。心音データ47は人物ごとに管理されればよい。
次に動画配信システム11の動作を説明する。スマートフォン15の利用者(以下「鑑賞者」)は例えばタッピング操作でアプリ28を起動する。アプリ28には心音データ29が取り込まれる。心音データ29は、例えばセットアップ時にサーバー45からダウンロードされてスマートフォン15のメモリー27に格納されてもよく、心音の再生にあたって改めてサーバー45からダウンロードされてスマートフォン15のメモリー27に格納されてもよい。
いわゆるストリーミング配信の場合(動画データ46がサーバーに維持される場合)には、鑑賞者がスマートフォン15の画面上で動画ファイルを選択すると、サーバー45は、映像を特定する映像信号、および、映像の登場人物の心拍を特定する心拍信号を含む動画データをインターネット12に向けて送信する。動画データは、インターネット12を経由して時間軸に従ってスマートフォン15のCPU21に送られてくる。CPU21は動画データ中の音声信号から心拍信号を分離する。音声信号では心拍信号は消去されればよい。CPU21(再生部)は、心拍信号で特定される速度に合わせて、心音データ29に基づき心音を再生する。再生された心音は音声信号に組み入れられる。音声信号はBluetooth経由でヘッドホン31に送信される。
動画は再生される。映像信号に基づきディスプレイパネル22の画面には映像が再生される。音声信号に基づきヘッドホン31では音声が再生される。映像信号で再生される映像に同期して登場人物の心拍は再生される。ひとの心拍数および拍変動はひとの感情を反映する。ひとは心音を聞くことで他人の感情を知覚する。動画の鑑賞者は心音を聞くことで映像内の登場人物に感情移入することができる。こうして動画の鑑賞者はこれまで以上に動画の臨場感を体感することができる。
動画データ46がサーバー45からダウンロードされる場合には、鑑賞者がスマートフォン15の画面上で動画ファイルを選択すると、予めメモリー27内に格納された動画データから映像信号および音声信号は取得される。CPU21は音声信号から心拍信号を分離する。音声信号では心拍信号は消去されればよい。CPU21(再生部)は、心拍信号で特定される速度に合わせて、心音データ29に基づき心音を再生する。再生された心音は音声信号に組み入れられる。音声信号はBluetooth経由でヘッドホン31に送信される。
動画は再生される。映像信号に基づきディスプレイパネル22の画面には映像が再生される。音声信号に基づきヘッドホン31では音声が再生される。映像信号で再生される映像に同期して登場人物の心拍は再生される。ひとの心拍数および拍変動はひとの感情を反映する。ひとは心音を聞くことで他人の感情を知覚する。動画の鑑賞者は心音を聞くことで映像内の登場人物に感情移入することができる。こうして動画の鑑賞者はこれまで以上に動画の臨場感を体感することができる。
同様に、パソコン17の利用者(以下「鑑賞者」)はソフト42を起動する。パソコン17には心音データ47(43)が取り込まれる。心音データ47は、例えばセットアップ時にサーバー45からダウンロードされてパソコン17の大容量記憶装置41に格納されてもよく、心音の再生にあたって改めてサーバー45からダウンロードされてパソコン17の大容量記憶装置41に格納されてもよい。
いわゆるストリーミング配信の場合(動画データ46がサーバー45に維持される場合)には、鑑賞者がディスプレイ装置36の画面上で動画ファイルを選択すると、サーバー45は、映像を特定する映像信号、および、映像の登場人物の心拍を特定する心拍信号を含む動画データ46をインターネット12に向けて送信する。動画データは、インターネットを経由して時間軸に従ってパソコン17のCPU33に送られてくる。CPU33は動画データ46中の音声信号から心拍信号を分離する。音声信号では心拍信号は消去されればよい。CPU33(再生部)は、心拍信号で特定される速度に合わせて、心音データ43に基づき心音を再生する。再生された心音は音声信号に組み入れられる。音声信号はBluetooth経由でヘッドホン44に送信される。
動画は再生される。映像信号に基づきディスプレイ装置36の画面には映像が再生される。音声信号に基づきヘッドホン44では音声が再生される。映像信号で再生される映像に同期して登場人物の心拍は再生される。ひとの心拍数および拍変動はひとの感情を反映する。ひとは心音を聞くことで他人の感情を知覚する。動画の鑑賞者は心音を聞くことで映像内の登場人物に感情移入することができる。こうして動画の鑑賞者はこれまで以上に動画の臨場感を体感することができる。
動画データ46がサーバー45からダウンロードされる場合には、鑑賞者がディスプレイ装置36上の画面で動画ファイルを選択すると、予め大容量記憶装置41内に格納された動画データから映像信号および音声信号は取得される。CPU33は音声信号から心拍信号を分離する。音声信号では心拍信号は消去されればよい。CPU33(再生部)は、心拍信号で特定される速度に合わせて、心音データ43に基づき心音を再生する。再生された心音は音声信号に組み入れられる。音声信号はBluetooth経由でヘッドホン44に送信される。
動画は再生される。映像信号に基づきディスプレイ装置36の画面には映像が再生される。音声信号に基づきヘッドホン44では音声が再生される。映像信号で再生される映像に同期して登場人物の心拍は再生される。ひとの心拍数および拍変動はひとの感情を反映する。ひとは心音を聞くことで他人の感情を知覚する。動画の鑑賞者は心音を聞くことで映像内の登場人物に感情移入することができる。こうして動画の鑑賞者はこれまで以上に動画の臨場感を体感することができる。
ここでは、ヘッドホン31、44に振動発生ユニットが組み込まれてもよい。振動発生ユニットは、心音の音波に合わせて振動する振動源を有すればよい。こうした振動源には、振動モーターや電動アクチュエーター、電磁ソレノイド、圧電素子その他のマイクロアクチュエーターなどが用いられることができる。振動の大きさは、皮膚への密着時に鑑賞者に知覚される程度に設定されればよい。振動源は振動で心拍を再現する。振動発生ユニットは心拍信号に基づき鑑賞者の人体に振動を伝達する。ヘッドホン31、44に骨伝導ヘッドホンが用いられる場合には、振動の伝達にあたって骨伝導体が用いられてもよい。骨伝導体は、鑑賞者の頭蓋骨に接触してスピーカーの振動板と同様に振動する。
スマートフォン15のCPU21およびパソコン17のCPU33は、心拍信号を受信し、メモリー27または大容量記憶装置41から心音データ29、43を取得し、心拍信号で特定される速度に合わせて心音データ29、43に基づき心音を再生する。心拍信号では心音そのものが特定される必要はなく心拍の速度が特定されればよい。したがって、ひとの胸に心音を拾うマイクロフォンを当てる必要はなく、簡単に入手されることができる脈拍センサーといったありふれた道具で心拍信号は生成されることができる。ひとの心拍に合わせて簡単に心音は再現されることができる。
動画データ46の生成にあたって撮影装置48が用いられる。撮影装置48では、映像信号で特定される映像と、音声信号で特定される音声とが組み合わせられて動画は生成される。撮影装置48は、マイクロフォン53で生成される音声信号に、脈拍計51で生成される脈拍信号を組み込んで出力する合成処理回路54を備える。動画の生成にあたって音声信号には心拍信号が組み込まれることから、一般の動画のフォーマットに心拍信号は組み入れられることができる。心拍信号の付加にあたって特別なフォーマットは要求されず、心拍信号の扱いは簡素化される。
動画の再生にあたって音声信号には予め心音が埋め込まれてもよい。心音は、サーバー45で動画データ46中の音声信号に挿入されてもよく、撮影装置48の合成処理回路54で音声信号に挿入されてもよい。いずれの場合でも、再生端末13a、13b側で心音データ29、43を保持する必要はない。音声信号に対して心音の組み込み処理が割愛されるので、再生端末13a、13bの処理負担は軽減される。
図2は第2実施形態に係る情感配信システム61の構成を概略的に示す。情感配信システム61は複数の心拍伝達装置62を含む。心拍伝達装置62は、例えばチームスポーツの個々の選手やアイドルグループの個々のアイドル(以下「個人」という)に装着されて、個人の動脈から脈拍を検出する脈拍計63と、個人に取り付けられて、検出された脈拍を電波で送信する送信機64とを備える。脈拍計63は、例えば、ヘッドバンドタイプ、リストバンドタイプ、パンツサポータータイプおよびインステップサポータータイプのいずれかであればよい。例えば図3に示されるように、ヘッドバンドタイプの脈拍計63aは、例えばこめかみの位置に接触する接触部65aを有して個人の頭に巻かれる装着体65と、接触部65aに支持されて、浅側頭動脈から脈拍を検出する脈拍センサー66とを備えればよい。リストバンドタイプの脈拍計63bは、例えば小指に近い位置で手首の内側に接触する接触部67aを有して個人の手首に巻かれる装着体67と、接触部67aに支持されて、橈骨動脈から脈拍を検出する脈拍センサー68とを備えればよい。パンツサポータータイプの脈拍計63cは、例えば太ももの付け根に接触する接触部69aを有してパンツサポーターに形成される装着体69と、接触部69aに支持されて、大腿動脈から脈拍を検出する脈拍センサー71とを備えればよい。インステップサポータータイプの脈拍計63dは、例えば足の甲に接触する接触部72aを有して、少なくとも足の甲および土踏まずに巻き付けられる装着体72と、接触部72aに支持されて、足背動脈から脈拍を検出する脈拍センサー73とを備えればよい。
脈拍計63に送信機64は接続される。送信機64は、脈拍計63の出力に信号処理を施し中継器74に向けて心拍信号を送信する。中継器74は例えばインターネット12に接続される。送信機64と中継器74との間では例えばWiFi通信が確立されればよい。こうしてインターネット12に心拍信号は送り込まれる。
情感配信システム61は、インターネット12に随時に接続可能な再生端末75を備える。ここでは、再生端末75は、例えばWiFi中継器76でインターネット12に接続されるスマートフォン77で構成される。スマートフォン77は携帯電話通信網からインターネット12に接続されてもよい。
スマートフォン77は、本体に組み込まれるCPU(中央演算処理装置)78と、本体の表面に組み込まれるディスプレイパネル79とを備える。ディスプレイパネル79の表面に例えば長方形の画面が区画される。本体内でCPU78には、携帯電話通信網の基地局に接続される無線送受信回路81や、WiFi中継器76に接続されるWiFi送受信回路82、ブルートゥース送受信回路83、画面上の表示を制御する表示駆動回路84、その他の電子回路が接続される。
CPU78はWiFi送受信回路82(や無線送受信回路81)を通じてインターネット12から心拍信号を受信する。心拍信号は、音声を特定する音声信号で構成されればよい。ここでは、心拍信号は心拍の速度を特定する。心拍の速度は例えばパルス信号の間隔やその他のリズム信号で特定されればよい。心拍の速度は例えば心音のI音またはII音の時間間隔で特定されればよい。
CPU78にはメモリー(記憶部)85が接続される。メモリー85にはアプリ(アプリケーションソフトウェア)86および心音データ87が格納される。心音データ87は心音の音波を特定する。CPU78はアプリ86を実行する。アプリ86の実行に応じて、CPU78(受信部)は、心拍信号を受信し、メモリー85から心音データ87を取得し、心拍信号で特定される速度に合わせて、心音データ87に基づき心音を再生する。
個々のスマートフォン77にはヘッドホン88が接続される。ヘッドホン88は有線でスマートフォン77に接続されてもよく無線でスマートフォン77に接続されてもよい。ここでは、接続にあたって例えばBluetoothが利用される。ヘッドホン88にはブルートゥース送受信回路83を通じてCPU78から心拍信号が供給される。ヘッドホン88のスピーカーは例えば振動板の動作に応じて空気中に心音の音波を送信する。ヘッドホン88は鑑賞者の頭に装着される。ヘッドホン88は好ましくは骨伝導ヘッドホンであればよい。
CPU78は音声信号から心拍信号を復号する。CPU78(再生部)は心拍信号に基づき心音を再生する。こうして個人の心音はヘッドホン88から鑑賞者の耳に伝達される。
スマートフォン77には振動発生ユニット89が接続されてもよい。振動発生ユニット89は、有線または無線でスマートフォン77に接続される握り玉91または握り棒92を備える。図4に示されるように、握り玉91は握りやすい大きさのボール形状に形成される。握り棒92は握りやすい太さの棒形状に形成される。握り玉91および握り棒92には振動源93が埋め込まれる。振動源93は心音の音波に合わせて振動する。こうした振動源93には、振動モーターや電動アクチュエーター、電磁ソレノイド、圧電素子その他のマイクロアクチュエーターなどが用いられることができる。振動の大きさは、握り玉91や握り棒92を握った手Hに十分に知覚される程度に設定されればよい。振動源93は振動で心拍を再現する。振動発生ユニット89は心拍信号に基づき鑑賞者の手Hに振動を伝達する。
情感配信システム61は、インターネット12に接続されるサーバー94を備える。サーバー94には、個人(対象者)と心拍信号とを結び付ける心拍計リスト95と、個人と再生端末75とを結び付ける端末リスト96とが格納される。心拍計リスト95および端末リスト96に基づき個々の再生端末75ごとに心拍信号は関連づけられる。こうして個々の再生端末75ごとに特定の心拍信号は受信される。心拍信号に基づき心音は再生される。
振動発生ユニット89にはレンタルシステムが組み合わせられてもよい。レンタルシステムは、握り玉91や握り棒92に連結されて、例えば鑑賞者の手首に巻かれるリストバンド97を備える。リストバンド97は、手首に巻かれる帯形状の本体98と、本体98の長手方向両端に固定されて、電力駆動されて結合および分離で切り替えられるロック機構99と、リストバンド97に握り玉91または握り棒92を連結するワイヤー101とを有する。ロック機構99の働きで本体98の長手方向両端が結合されると、鑑賞者の手Hの通過を阻止する大きさで環状にリストバンド97は保持される。いわゆる施錠状態は確立される。施錠状態が確立されると、リストバンド97は鑑賞者の手首に分離不能に装着される。本体98の長手方向両端が分離されると、リストバンド97は環状から帯状に解かれて鑑賞者の手首から外れる。いわゆる解錠状態が確立される。
ロック機構99には送受信回路102が接続される。送受信回路102は、特定の電波の受信に応じてロック機構99に電力を供給しロック機構99の解錠状態を確立する。こうして特定の電波の受信に応じてロック機構99は自動的に解錠されることができる。送受信回路102は、外部の入退場システムとの間で信号をやりとりしてもよい。例えば鑑賞者の退場にあたって送受信回路102は入退場システムに信号を送信することができる。入退場システムは信号の受信に応じて鑑賞者の退場を阻止することができる。こうしてレンタルされた握り玉91や握り棒92の持ち帰りは防止されることができる。
次に情感配信システム61の動作を説明する。情感配信システム61は例えばチームスポーツのパブリックビューイングで利用されることができる。パブリックビューイングでは競技施設103で実施されるスポーツの試合が動画カメラ104でリアルタイムに撮影される。動画カメラ104で生成された映像信号はパブリックビューイング会場105の大型ディスプレイ106に映し出される。パブリックビューイング会場105では音声信号に基づき映像に同期して音声が再生されてもよい。
パブリックビューイングの観客は例えばタッピング操作でアプリ86を起動する。観客がスマートフォン77の画面上で選手を選択すると、サーバー94は端末リスト96で選手ごとにスマートフォン77の識別番号を登録する。サーバー94には予め心拍計リスト95で個々の選手ごとに脈拍計63の識別子が紐付けられる。選手は、識別子で特定される脈拍計63を装着する。こうして個々のスマートフォン77ごとに特定の脈拍計63は関連づけられる。関連づけにあたって観客のスマートフォン77は課金されてもよい。課金は、アプリ86のダウンロード時に実施されてもよく選手の選択時に実施されてもよい。
アプリ86には心音データ87が取り込まれる。心音データ87は、例えばアプリ86のセットアップ時にサーバー94からダウンロードされてスマートフォン77のメモリー85に格納されてもよく、心音の再生にあたって改めてサーバー94からダウンロードされてスマートフォン77のメモリー85に格納されてもよい。ここでは、サーバー94には個々の選手ごとに心音データ87が登録される。スマートフォン77には選択された選手に対応する心音データ87がダウンロードされる。心音データ87は予め個々の選手から実測されればよい。
心音データ87は、全ての選手に共通に1つの心音データであってもよく、共通に1つの心音データおよび選手ごとの心音データのいずれかが選択されてもよい。この場合には、共通に1つの心音データは標準仕様として予めアプリ86内に組み込まれ、課金に応じて選手ごとの心音データがメモリー85内にダウンロードされてもよい。
観客は頭にヘッドホン88を装着する。ヘッドホン88とスマートフォン77との間にはBluetooth経由で通信経路が確立される。観客は併せて(あるいは代わって)握り玉91または握り棒92を握ってもよい。握り玉91または握り棒92とスマートフォン77との間にはBluetooth経由で通信経路が確立される。
個々の選手の脈拍はリアルタイムで測定される。中継器74は送信機64からリアルタイムで心拍信号を受信する。サーバー94は、インターネット12を経由して複数の脈拍計63から脈拍計63ごとにリアルタイムで心拍信号を取得する。サーバー94は、端末リスト96に基づき指定されたスマートフォン77ごとに、個々のスマートフォン77に関連づけられた心拍信号をリアルタイムで送信する。個々のスマートフォン77のCPU78は心拍信号を受信する。CPU78(再生部)は、心拍信号で特定される速度に合わせて、心音データ87に基づきリアルタイムで心音を再生する。再生された心音は音声信号としてBluetooth経由でヘッドホン88に送信される。CPU78は心拍信号に基づきリアルタイムで心音を再生する。
脈拍計63は複数の選手に個々に取り付けられる。個々の選手に関連づけられたスマートフォン77ごとに心拍信号は送り込まれる。個々のスマートフォン77では、関連づけられた心拍信号に基づき心音は再生される。こうしてスマートフォン77ごとに複数の選手の中から特定の選手は割り当てられる。スマートフォン77ごとに特定の選手の心音は再生されることができる。観客は好みの選手の心拍を聞くことで応援したい選手との一体感を楽しむことができる。
例えば、インステップサポータータイプの脈拍計63dは、足の甲に接触する接触部72aを有して、足の甲および土踏まずに巻き付けられる装着体72と、接触部72aに支持されて、足背動脈から脈拍を検出する脈拍センサー73とを備える。脈拍の検出にあたって脈拍計63dは踝よりも足先側で足に装着される。踝回りに足が動いても、脈拍計63dは足の動きに対して邪魔にならない。しかも、足の甲と土踏まずの間では人体の変形は小さいことから、脈拍計63dの位置ずれは十分に抑制される。良好な装着感は得られる。装着者に脈拍計63dの装着を意識させることなく、脈拍センサー73は足背動脈から脈拍を検出することができる。
心拍信号の配信は、パブリックビューイング会場105に限定されてもよく、その他の範囲や地域に限定されてもよい。こうした地理的限定にあたって心拍信号の配信に用いられるWiFi中継器76は特定のものに絞られればよい。情感配信システム61は、チームスポーツやアイドルグループ以外であっても、個人スポーツや単体のアイドル、その他の個人の映像配信にあたって用いられてもよい。
図5は第3実施形態に係る心拍再生装置111の構成を概略的に示す。心拍再生装置111は、例えばWiFiルーター112や携帯電話通信網でインターネット12に接続されるスマートフォン(再生端末の本体)113a、113bと、スマートフォン113a、113bに接続されて、個人の動脈から脈拍を検出する脈拍計114a、114bと、スマートフォン113a、113bに接続されて、音声信号に基づき振動板の働きを通じて空気中に音波を送信するヘッドホン115a、115bとを備える。脈拍計114a、114bおよびヘッドホン115a、115bは有線でスマートフォン113a、113bに接続されてもよく無線でスマートフォン113a、113bに接続されてもよい。ここでは、接続にあたって例えばBluetoothが利用される。
スマートフォン113a、113bは前述のスマートフォン77と同様に構成される。すなわち、スマートフォン113a、113bは、本体に組み込まれるCPU(中央演算処理装置)78と、本体の表面に組み込まれるディスプレイパネル79とを備える。ディスプレイパネル79の表面に例えば長方形の画面が区画される。本体内でCPU78には、携帯電話通信網の基地局に接続される無線送受信回路81や、WiFiルーター112に接続されるWiFi送受信回路82、ブルートゥース送受信回路83、画面上の表示を制御する表示駆動回路84、その他の電子回路が接続される。
CPU78にはメモリー(記憶部)85が接続される。メモリー85にはアプリ(アプリケーションソフトウェア)86、心音データ87およびIDデータ116が格納される。アプリ86、心音データ87およびIDデータ116は例えばWiFi送受信回路82(や無線送受信回路81)を通じてインターネット12からダウンロードされる。心音データ87は心音の音波を特定する。IDデータ116はアプリ86に固有の候補機器識別子リストを特定する。候補機器識別子リストは、例えば脈拍計114a、114bやヘッドホン115a、115bの機種ごと(やメーカーごと)に割り当てられた機器識別子を含む。CPU78はアプリ86を実行する。アプリ86の実行に応じて、CPU78(受信部)は、脈拍計114a、114bから心拍信号を受信し、メモリー85から心音データ87を取得し、心拍信号で特定される速度に合わせて、心音データ87に基づき心音の音声信号を生成する。
インターネット12にはサーバー117が接続される。サーバー117にはアプリ118および心音データ119並びに候補機器識別子リスト120が登録される。アプリ118および心音データ119並びに候補機器識別子リスト120はスマートフォン113a、113bの動作に応じてインターネット12経由でサーバー117からスマートフォン113a、113bにダウンロードされる。候補機器識別子リスト120はIDデータ116としてメモリー85に格納される。アプリ118や心音データ119、候補機器識別子リスト120のダウンロード時にスマートフォン113a、113bには課金されてもよい。
脈拍計114a、114bは、動脈から脈拍を検出し、対象者の心拍を特定する心拍信号を出力する脈拍センサー121と、脈拍センサー121に接続されて、Bluetooth経由で心拍信号を送信するブルートゥース送受信回路122と、ブルートゥース送受信回路122に接続されて、スマートフォン113a、113bに向けて出力される脈拍計114a、114bに固有の機器識別子を保持するメモリー123とを備える。脈拍計114a、114bは、前述と同様に、ヘッドバンドタイプ、リストバンドタイプ、パンツサポータータイプおよびインステップサポータータイプのいずれかであればよい。ブルートゥース送受信回路122およびメモリー123は脈拍センサー121とともに装着体65、67、69、72に支持されればよく、脈拍センサー121、ブルートゥース送受信回路122およびメモリー123は1ボード(1ユニット)化されてもよい。機器識別子は脈拍計114a、114bの出荷時以前にメモリー123に登録されればよい。メモリー123は例えばフラッシュメモリーや読み出し専用メモリーであればよい。
心拍信号は、音声を特定する音声信号で構成されればよい。ここでは、心拍信号は心拍の速度を特定する。心拍の速度は例えばパルス信号の間隔やその他のリズム信号で特定されればよい。心拍の速度は例えば心音のI音またはII音の時間間隔で特定されればよい。
スマートフォン113a、113bのCPU78は、Bluetooth経由の通信経路の設定時(機器の登録時)に、脈拍計114a、114bから送られてくる機器識別子とIDデータ116の機器識別子(以下「候補機器識別子」という)とを照らし合わせる。照らし合わせの結果、脈拍計114a、114bの機器識別子が承認されると、心拍信号は脈拍計114a、114bからスマートフォン113a、113bに送信される。脈拍計114a、114bの機器識別子が承認されない限り、脈拍計114a、114bの心拍信号はスマートフォン113a、113bに供給されない。
ヘッドホン115a、115bは、スマートフォン113a、113bとの間で通信経路を確立し、スマートフォン113a、113bから音声信号を受信するブルートゥース送受信回路124と、ブルートゥース送受信回路124に接続されて、供給される音声信号に応じて振動する振動板125と、ブルートゥース送受信回路124に接続されて、スマートフォン113a、113bに向けて出力されるヘッドホン115a、115bに固有の機器識別子を保持するメモリー126とを備える。機器識別子はヘッドホン115a、115bの出荷時以前にメモリー126に登録されればよい。メモリー126は例えばフラッシュメモリーや読み出し専用メモリーであればよい。振動板125の動作に応じて空気中に心音の音波は送信される。ヘッドホン115a、115bは鑑賞者の頭に装着される。ヘッドホン115a、115bは好ましくは骨伝導ヘッドホンであればよい。
スマートフォン113a、113bのCPU78は、Bluetooth経由の通信経路の設定時(機器の登録時)に、ヘッドホン115a、115bから送られてくる機器識別子と候補機器識別子とを照らし合わせる。照らし合わせの結果、ヘッドホン115a、115bの機器識別子が承認されると、音声信号はスマートフォン113a、113bからヘッドホン115a、115bに送信される。ヘッドホン115a、115bの機器識別子が承認されない限り、ヘッドホン115a、115bには音声信号は供給されない。
心拍再生装置111は、スマートフォン113a、113bに接続されて、対象者の心臓から心音を検出し、心音を特定する音声信号を出力する心音生成装置127を備えてもよい。心音生成装置127は、人体から心音の音波を取得するマイクロフォン128と、マイクロフォン128に接続されて、例えば、人体の大動脈弁領域、肺動脈弁領域、三尖弁領域、僧帽弁領域またはエルプの領域から心音を増幅してマイクロフォン128に伝達する聴診器129と、マイクロフォン128に接続されて、Bluetooth経由で心音の音声信号を送信するブルートゥース送受信回路131と、ブルートゥース送受信回路131に接続されて、スマートフォン113a、113bに向けて出力される心音生成装置127に固有の機器識別子を保持するメモリー132とを備える。機器識別子は心音生成装置127の出荷時以前にメモリー132に登録されればよい。メモリー132は例えばフラッシュメモリーや読み出し専用メモリーであればよい。
マイクロフォン128は心音の音波を特定する電気信号すなわち心音データを出力する。心拍の速度は任意に設定されればよい。複数の速度について心音データは生成されてもよい。心音データはスマートフォン113a、113bのメモリー85に心音データ87として格納されることができる。心音データ87は人物ごとに管理されればよい。
スマートフォン113a、113bのCPU78は、Bluetooth経由の通信経路の設定時(機器の登録時)に、心音生成装置127から送られてくる機器識別子と候補機器識別子とを照らし合わせる。照らし合わせの結果、心音生成装置127の機器識別子が承認されると、心音の音声信号は心音生成装置127からスマートフォン113a、113bに送信される。心音生成装置127の機器識別子が承認されない限り、心音生成装置127の音声信号はスマートフォン113a、113bに供給されない。
次に心拍再生装置111の動作を説明する。例えばスマートフォン113a、113bの使用者はスマートフォン113a、113bにアプリ118および心音データ119をダウンロードする。候補機器識別子リスト120はアプリ118に付随してダウンロードされる。ダウンロードにあたってスマートフォン113aの画面にはダウンロードの操作画面が映し出されればよい。使用者はスマートフォン113a、113bにアプリ118をインストールする。インストール時にアプリ118には心音データ119および候補機器識別子120が登録される。こうしてアプリ86、心音データ87およびIDデータ116はスマートフォン113a、113bのメモリー85に格納される。
所有者(第1人物)はスマートフォン113aに脈拍計114aおよびヘッドホン115aを接続する。接続にあたって所有者は例えばタッピング操作でアプリ86を起動する。スマートフォン113a(再生端末の本体)に脈拍計114aが接続される際に、スマートフォン113aのCPU78はBluetooth経由で脈拍計114aの機器識別子を取得する。CPU78は、IDデータ116として予めメモリー85に登録された候補機器識別子リストに脈拍計114aの機器識別子を照合し、脈拍計114aの登録の有無を確認する。脈拍計114aの登録が確認されたら、スマートフォン113aと脈拍計114aとの間でBluetoothの通信経路は確立される。
同様に、スマートフォン113aにヘッドホン115aが接続される際に、スマートフォン113aのCPU78はBluetooth経由でヘッドホン115aの機器識別子を取得する。CPU78は、IDデータ116として予めメモリー85に登録された候補機器識別子リストにヘッドホン115aの機器識別子を照合し、ヘッドホン115aの登録の有無を確認する。ヘッドホン115aの登録が確認されたら、スマートフォン113aとヘッドホン115aとの間でBluetoothの通信経路は確立される。同様に、所有者(第2人物)はスマートフォン113bに他の脈拍計114bおよび他のヘッドホン115bを接続する。
スマートフォン113aに接続された1つ目のヘッドホン115aは第1人物に装着される。スマートフォン113aに接続された1つ目の脈拍計114aは第2人物に装着される。心音の再生が開始されると、脈拍計114aからスマートフォン113aにBluetooth経由で心拍信号は送信される。スマートフォン113aのCPU78は脈拍計114aからリアルタイムで心拍信号を受信する。CPU78(再生部)は、心拍信号で特定される速度に合わせて、心音データ87に基づきリアルタイムで心音を再生する。再生された心音は音声信号としてBluetooth経由でヘッドホン115aに送信される。CPU78は心拍信号に基づきリアルタイムで心音を再生する。こうして第2人物は第1人物の心拍を聞くことで第1人物との一体感を楽しむことができる。
このとき、2台目のスマートフォン113bに接続された2つ目のヘッドホン115bは第2人物に装着される一方で、2台目のスマートフォン113bに接続された2つ目の脈拍計114bは第1人物に装着されてもよい。心音の再生が開始されると、脈拍計114bからスマートフォン113bにBluetooth経由で心拍信号は送信される。スマートフォン113bのCPU78は脈拍計114bからリアルタイムで心拍信号を受信する。CPU78(再生部)は、心拍信号で特定される速度に合わせて、心音データ87に基づきリアルタイムで心音を再生する。再生された心音は音声信号としてBluetooth経由でヘッドホン115bに送信される。CPU78は心拍信号に基づきリアルタイムで心音を再生する。こうして第1人物および第2人物は互いに相手の心拍を聞くことで第1人物および第2人物ともに相手との一体感を楽しむことができる。
本実施形態に係る心音の再生方法では、再生端末の本体としてのスマートフォン113a、113bに脈拍計114a、114bが接続される際に、CPU78は脈拍計114a、114bの機器識別子を取得する。CPU78は、予め登録された候補機器識別子に、取得した機器識別子を照合し、脈拍計114a、114bの登録の有無を確認する。脈拍計114a、114bの登録が確認されると、CPU78は脈拍計114a、114bから心拍信号を取得する。脈拍計114a、114bの登録が確認されない限り、CPU78は脈拍計114a、114bから心拍信号を取得しない。こうして特定の脈拍計114a、114bにのみから心拍信号は取得される。心拍の取得に利用される脈拍計114a、114bは他の脈拍計から選り分けられる。
本実施形態に係る心音の再生方法では、再生端末の本体としてのスマートフォン113a、113bにヘッドホン115a、115bが接続される際に、CPU78はヘッドホン115a、115bの機器識別子を取得する。CPU78は、予め登録された候補機器識別子に、取得した機器識別子を照合し、ヘッドホン115a、115bの登録の有無を確認する。ヘッドホン115a、115bの登録が確認されると、CPU78はヘッドホン115a、115bに向けて心音の音声信号を出力する。ヘッドホン115a、115bの登録が確認されない限り、ヘッドホン115a、115bには心音の音声信号は出力されない。こうして特定のヘッドホン115a、115bにのみ音声信号は出力される。心音の再生に利用されるヘッドホン115a、115bは他のヘッドホンから選り分けられる。
スマートフォン113aの所有者はスマートフォン113aに接続された脈拍計114aおよびヘッドホン115aをともに装着してもよい。所有者はヘッドホン115aで自分の鼓動を聞くことができる。所有者は自己の心拍を意識することができる。こうして自己の心拍を聞くことで、例えば感情を制御する訓練は実現されることができる。
脈拍計114a、114bの装着者は心音生成装置127を使って個々のアプリ86に自己の心音を登録してもよい。マイクロフォン128は心音の音波を特定する電気信号すなわち心音データを出力する。心拍の速度は任意に設定されればよい。複数の速度について心音データは生成されてもよい。心音データは個々のスマートフォン113a、113bのメモリー85に心音データ87として格納されればよい。
13a…心音再生装置(再生端末)、13b…心音再生装置(再生端末)、21…再生部(CPU(中央演算処理装置))、24…受信部(WiFi送受信回路)、27…記憶部(メモリー)、29…心音データ、33…再生部(CPU(中央演算処理装置))、37…受信部(LANボード)、41…記憶部(大容量記憶装置)、43…心音データ、46…動画データ、48…撮影装置、51…脈拍センサー(脈拍計)、52…撮像素子、53…マイクロフォン、54…合成器(合成処理回路)、61…心拍再生システム(情感配信システム)、63…脈拍センサー(脈拍計)、63d…(インステップサポータータイプの)脈拍計、72…装着体、72a…接触部、73…脈拍センサー、75…心音再生装置(再生端末)、78…再生部(CPU(中央演算処理装置))、82…受信部(WiFi送受信回路)、85…記憶部(メモリー)、87…心音データ、111…心音再生装置(心拍再生装置)、113a…再生端末の本体(スマートフォン)、113b…再生端末の本体(スマートフォン)、115a…ヘッドホン、115b…ヘッドホン。

Claims (7)

  1. 映像を特定する映像信号、および、前記映像内の登場人物の心拍を特定する心拍信号を含む動画データを送信する手順と、
    前記映像信号で再生される前記映像に同期して前記心拍信号に基づき心音を再生する手順と
    を備えることを特徴とする動画の配信方法。
  2. 心拍の速度を特定する心拍信号を受信する受信部と、
    心音の音波を特定する心音データを記憶する記憶部と、
    前記心拍信号で特定される速度に合わせて、前記心音データに基づき心音を再生する再生部と
    を備えることを特徴とする心音再生装置。
  3. 心拍の速度を特定する心拍信号を受信する手順と、
    記憶部から、心音の音波を特定する心音データを取得する手順と、
    前記心拍信号で特定される速度に合わせて、前記心音データに基づき心音を再生する手順と
    を備えることを特徴とする心音再生方法。
  4. 映像信号を生成する撮像素子と、
    音声信号を生成するマイクロフォンと、
    少なくとも心拍の速度を特定する心拍信号を生成する脈拍センサーと、
    前記音声信号に前記心拍信号を組み込んで出力する合成器と
    を備えることを特徴とする撮影装置。
  5. 複数の脈拍センサーから、前記脈拍センサーごとに心拍信号を取得する手順と、
    指定された再生端末ごとに、個々の前記再生端末に関連づけられた前記心拍信号を送信する手順と、
    個々の前記再生端末で前記心拍信号を受信し、前記心拍信号に基づき心音を再生する手順と
    を備えることを特徴とする心拍再生システム。
  6. 足の甲に接触する接触部を有して、前記足の甲および土踏まずに巻き付けられる装着体と、
    前記接触部に支持されて、足背動脈から脈拍を検出する脈拍センサーと
    を備えることを特徴とする脈拍計。
  7. 再生端末の本体にヘッドホンが接続される際に、前記ヘッドホンの機器識別子を取得する手順と、
    予め登録された候補機器識別子に、取得した前記機器識別子を照合し、前記ヘッドホンの登録の有無を確認する手順と、
    前記ヘッドホンの登録が確認されたら、前記ヘッドホンに向けて心音の音声信号を出力する手順と
    を備えることを特徴とする心音の再生方法。
JP2017092654A 2017-05-08 2017-05-08 動画の配信方法 Pending JP2018191159A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2017092654A JP2018191159A (ja) 2017-05-08 2017-05-08 動画の配信方法
CN201880030746.3A CN110651481A (zh) 2017-05-08 2018-05-08 运动图像分配方法
PCT/JP2018/017748 WO2018207768A1 (ja) 2017-05-08 2018-05-08 動画の配信方法
US16/676,714 US20200073627A1 (en) 2017-05-08 2019-11-07 Method of streaming motion picture

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017092654A JP2018191159A (ja) 2017-05-08 2017-05-08 動画の配信方法

Publications (2)

Publication Number Publication Date
JP2018191159A true JP2018191159A (ja) 2018-11-29
JP2018191159A5 JP2018191159A5 (ja) 2020-07-09

Family

ID=64104748

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017092654A Pending JP2018191159A (ja) 2017-05-08 2017-05-08 動画の配信方法

Country Status (4)

Country Link
US (1) US20200073627A1 (ja)
JP (1) JP2018191159A (ja)
CN (1) CN110651481A (ja)
WO (1) WO2018207768A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021221140A1 (ja) * 2020-04-28 2021-11-04 株式会社アルファー・Ai 情報処理装置
JP2021197645A (ja) * 2020-06-15 2021-12-27 ヤフー株式会社 配信装置、配信方法及び配信プログラム

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2611326A (en) * 2021-09-30 2023-04-05 Prevayl Innovations Ltd Method and system for facilitating communication between an electronics module and an audio output device
WO2023052751A1 (en) * 2021-09-30 2023-04-06 Prevayl Innovations Limited Method and system for facilitating communication between an electronics module and an audio output device

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002010195A (ja) * 2000-06-26 2002-01-11 Nec Corp Hdtv信号収録・再生装置、及びそのqトリガ重畳方法
JP2009015449A (ja) * 2007-07-02 2009-01-22 Sony Corp 生体情報共有システム、生体情報表現装置、生体情報表現方法
JP2009089775A (ja) * 2007-10-04 2009-04-30 Fukuda Denshi Co Ltd 心機図検査装置
JP2009095558A (ja) * 2007-10-18 2009-05-07 Adc Technology Kk 競技者用身体状態表示システム
JP2011212043A (ja) * 2010-03-31 2011-10-27 Fujifilm Corp 医用画像再生装置および方法並びにプログラム
JP2014217707A (ja) * 2013-05-11 2014-11-20 株式会社 ライフインターフェイス 生体情報計測装置及び生体情報計測システム
JP2017073611A (ja) * 2015-10-05 2017-04-13 任天堂株式会社 情報処理システム、無線通信チップ、周辺機器、サーバ、アプリケーションプログラム、および情報処理方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL133061A (en) * 1999-11-21 2010-06-30 Pelimor Ltd A method for playing music in real time and in synchronization with the heartbeat and a device for its use
JP4158533B2 (ja) * 2003-01-21 2008-10-01 ソニー株式会社 データの記録、送信または再生に関する方法並びに装置
GB2409040A (en) * 2003-12-10 2005-06-15 Matrix Talent Ltd Heart rate monitor with spoken audio output
JP5128135B2 (ja) * 2004-02-19 2013-01-23 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 音声インターバルトレーニング装置
CN1965752A (zh) * 2005-11-15 2007-05-23 乐金电子(沈阳)有限公司 具有检测功能的图像显示装置及其控制方法
RU2315635C2 (ru) * 2006-02-27 2008-01-27 Эл Джи Электроникс Инк. Способ коррекции функциональных нарушений сердечного ритма
US8622919B2 (en) * 2008-11-17 2014-01-07 Sony Corporation Apparatus, method, and computer program for detecting a physiological measurement from a physiological sound signal
CN102048534B (zh) * 2010-12-17 2012-12-19 深圳市理邦精密仪器股份有限公司 一种可回放胎心多普勒音频信号的监护方法和装置
GB201107255D0 (en) * 2011-05-03 2011-06-15 Montgomery Joanna System for remote communication of a heartbeat
JP6368073B2 (ja) * 2013-05-23 2018-08-01 ヤマハ株式会社 音源装置およびプログラム
US20150081210A1 (en) * 2013-09-17 2015-03-19 Sony Corporation Altering exercise routes based on device determined information
CN105549740B (zh) * 2015-12-10 2019-05-07 广州酷狗计算机科技有限公司 一种播放音频数据的方法和装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002010195A (ja) * 2000-06-26 2002-01-11 Nec Corp Hdtv信号収録・再生装置、及びそのqトリガ重畳方法
JP2009015449A (ja) * 2007-07-02 2009-01-22 Sony Corp 生体情報共有システム、生体情報表現装置、生体情報表現方法
JP2009089775A (ja) * 2007-10-04 2009-04-30 Fukuda Denshi Co Ltd 心機図検査装置
JP2009095558A (ja) * 2007-10-18 2009-05-07 Adc Technology Kk 競技者用身体状態表示システム
JP2011212043A (ja) * 2010-03-31 2011-10-27 Fujifilm Corp 医用画像再生装置および方法並びにプログラム
JP2014217707A (ja) * 2013-05-11 2014-11-20 株式会社 ライフインターフェイス 生体情報計測装置及び生体情報計測システム
JP2017073611A (ja) * 2015-10-05 2017-04-13 任天堂株式会社 情報処理システム、無線通信チップ、周辺機器、サーバ、アプリケーションプログラム、および情報処理方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021221140A1 (ja) * 2020-04-28 2021-11-04 株式会社アルファー・Ai 情報処理装置
JP2021197645A (ja) * 2020-06-15 2021-12-27 ヤフー株式会社 配信装置、配信方法及び配信プログラム
JP7249313B2 (ja) 2020-06-15 2023-03-30 ヤフー株式会社 配信装置、配信方法及び配信プログラム

Also Published As

Publication number Publication date
CN110651481A (zh) 2020-01-03
US20200073627A1 (en) 2020-03-05
WO2018207768A1 (ja) 2018-11-15

Similar Documents

Publication Publication Date Title
WO2018207768A1 (ja) 動画の配信方法
US20180123813A1 (en) Augmented Reality Conferencing System and Method
CN106464953A (zh) 双声道音频系统和方法
US20150077234A1 (en) System of wearable devices with sensors for synchronization of body motions based on haptic prompts
KR20140062892A (ko) 운동 서비스를 제공하기 위한 웨어러블 디바이스와 디스플레이 장치 및 이를 포함하는 운동 서비스 제공 시스템과 그 방법
EP3876828B1 (en) Physical therapy and vestibular training systems with visual feedback
KR101736003B1 (ko) 사용자 동작과 연동하는 리듬 게임 장치
KR20150067922A (ko) 사용자 동작과 연동하는 리듬 게임 장치
US11941177B2 (en) Information processing device and information processing terminal
JP2015525502A (ja) スーパーリアリティ・エンターテイメントのための管理
US20230009322A1 (en) Information processing device, information processing terminal, and program
WO2021145451A1 (ja) 情報処理装置及び情報処理端末
JP6754819B2 (ja) 着ぐるみ演出支援装置、着ぐるみ演出支援システムおよび着ぐるみ演出支援方法
JP6667878B1 (ja) 着ぐるみ演出支援装置、着ぐるみ演出支援システムおよび着ぐるみ演出支援方法
JP2020192387A (ja) 着ぐるみ演出支援装置、着ぐるみ演出支援システムおよび着ぐるみ演出支援方法
JP6523038B2 (ja) 感覚提示装置
WO2022190919A1 (ja) 情報処理装置、情報処理方法、およびプログラム
US20240004471A1 (en) Information processing device, information processing method, program, and information processing system
US20240028123A1 (en) Information processing device, information processing method, program, and information processing system
WO2021145455A1 (ja) 情報処理装置、情報処理端末及びプログラム
WO2022190917A1 (ja) 情報処理装置、情報処理端末、情報処理方法、およびプログラム
US20230254535A1 (en) Information processing device, information processing method, program, and recording/reproduction system
JP2005150795A (ja) 送信装置及び受信装置
JP6937803B2 (ja) 配信ユーザの動きに基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画をライブ配信する動画配信システム、動画配信方法及び動画配信プログラム
WO2022118747A1 (ja) 情報処理装置、情報処理方法、プログラム及び情報処理システム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200508

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200508

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210728

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220202