JP2020167629A - 受信装置、配信サーバ及び受信プログラム - Google Patents
受信装置、配信サーバ及び受信プログラム Download PDFInfo
- Publication number
- JP2020167629A JP2020167629A JP2019068875A JP2019068875A JP2020167629A JP 2020167629 A JP2020167629 A JP 2020167629A JP 2019068875 A JP2019068875 A JP 2019068875A JP 2019068875 A JP2019068875 A JP 2019068875A JP 2020167629 A JP2020167629 A JP 2020167629A
- Authority
- JP
- Japan
- Prior art keywords
- subject
- unit
- video
- screen
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000006243 chemical reaction Methods 0.000 claims abstract description 17
- 238000001514 detection method Methods 0.000 claims abstract description 12
- 230000005540 biological transmission Effects 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 4
- 238000000034 method Methods 0.000 description 31
- 238000010586 diagram Methods 0.000 description 10
- 239000000463 material Substances 0.000 description 8
- 238000004891 communication Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- PCTMTFRHKVHKIS-BMFZQQSSSA-N (1s,3r,4e,6e,8e,10e,12e,14e,16e,18s,19r,20r,21s,25r,27r,30r,31r,33s,35r,37s,38r)-3-[(2r,3s,4s,5s,6r)-4-amino-3,5-dihydroxy-6-methyloxan-2-yl]oxy-19,25,27,30,31,33,35,37-octahydroxy-18,20,21-trimethyl-23-oxo-22,39-dioxabicyclo[33.3.1]nonatriaconta-4,6,8,10 Chemical compound C1C=C2C[C@@H](OS(O)(=O)=O)CC[C@]2(C)[C@@H]2[C@@H]1[C@@H]1CC[C@H]([C@H](C)CCCC(C)C)[C@@]1(C)CC2.O[C@H]1[C@@H](N)[C@H](O)[C@@H](C)O[C@H]1O[C@H]1/C=C/C=C/C=C/C=C/C=C/C=C/C=C/[C@H](C)[C@@H](O)[C@@H](C)[C@H](C)OC(=O)C[C@H](O)C[C@H](O)CC[C@@H](O)[C@H](O)C[C@H](O)C[C@](O)(C[C@H](O)[C@H]2C(O)=O)O[C@H]2C1 PCTMTFRHKVHKIS-BMFZQQSSSA-N 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000005236 sound signal Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 239000000872 buffer Substances 0.000 description 1
- 239000013256 coordination polymer Substances 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
Description
しかしながら、従来の技術では、番組音声として完成されたチャンネルベースの複数種類の音声から所望の音声をユーザが選択して視聴することはできるものの、画面内に現れ又は移動する被写体のそれぞれに関連した音声を、ユーザが選択して視聴することは難しかった。
本実施形態では、新しい動画視聴体験を伴うサービスとして、動画再生中の画面内を移動する被写体をユーザが指定し、この被写体の発する音声のみを再生したり強調したりできるサービスを提供する。
次に、本実施形態の配信方法では、ユーザに配信する動画の制作時に、動画内の被写体に対して3次元位置の時系列データを付与した上で、被写体と音声データとが対応付けられる。動画内の被写体の3次元位置は、既存の3次元位置計測手法などによって取得できるが、本実施形態は、この3次元位置情報を被写体の発する音声と結び付ける。
配信システム1は、配信サーバ10と受信装置20とを備え、配信サーバ10がインターネットを介して受信装置20へ動画配信を行う。
なお、被写体のカメラ座標、すなわち3次元位置は、例えば、多視点カメラを用いた既存の被写体追跡技術などを用いて取得可能である。
カメラ座標は、例えば3次元の極座標系で表現され、被写体コードとカメラ座標とを対応付けたレコードが時系列にテーブルに格納される。
なお、このテーブルの記述には、一般的な配列又はリストなどが用いられてもよいし、音響定義モデル(ADM:Audio Definition Model)などの既存の仕様を用いて、カメラ座標が音声データのメタデータとして記述されてもよい。
なお、ストリームデータの配信プロトコルには、例えば、MPEG−DASH又はHTTP Live Streamingなどの方式が適宜利用されてよい。
被写体コードと音声素材とは、例えばテーブル形式で対応付けられてもよいし、音声素材のファイル名に被写体コードを含めることで対応付けられてもよい。
このとき、音声ストリームは、被写体コード毎に時系列のファイルとして格納されるが、ファイル名に被写体コード及びシーケンス番号が含まれることで、被写体との対応付け、及び再生順序が示されてよい。あるいは、これらのファイルとは別に、被写体と音声ストリームとの対応付けを記述したテーブルなどが記憶されてもよい。
受信装置20は、テレビ、パソコン、スマートフォンなど、動画データを受信及び再生する視聴端末である。
受信装置20は、ユーザ操作検出部201(操作検出部)と、画面座標取得部202と、座標変換部203と、被写体特定部204と、配信要求部205(被写体通知部)と、ストリーム受信部206(動画受信部)と、映像復号部207と、映像再生部208(動画再生部)と、音声復号部209と、音声再生部210(動画再生部)と、対応データ受信部211と、メモリ部212と、通信インタフェース213とを備える。
ユーザは、画面に表示されている被写体のうち、音声を聴きたい被写体を画面タッチなどで選択する。カメラのパン、チルト、ズーム、あるいは被写体自身が移動することにより、ある時点での被写体の画面上の位置を厳密に1点で指定することが難しい場合には、ユーザは、被写体周辺の複数点を大まかに範囲指定してもよい。
なお、ユーザの操作方法は、画面タッチには限られず、例えば、ジェスチャ操作、レーザポインタなどの遠隔操作であってもよい。
例えば、画面上の1点が検出された場合、画面座標取得部202は、この画面座標(u,v)を取得する。画面座標とは、動画が再生されている範囲の画面上の2次元座標である。
また、複数点が検出された場合、画面座標取得部202は、代表的な画面座標(u,v)を複数取得する。例えば、タッチ操作の始点から終点までの経路を等間隔に分割したn点の画面座標(u,v)を取得すると、ユーザにより指定された範囲は、画面座標系におけるn角形として表現される。
ここで、カメラ座標は、撮影時のカメラ位置を中心とした空間の3次元座標である。また、カメラ座標パラメータとは、2次元の画面座標を3次元に変換した際の、カメラ座標系における領域を表すパラメータである。
画面座標の座標系及びカメラ座標の座標系は限定されないが、ここでは、一例として画面座標を、画面の中心を原点とする2次元直交座標系(u,v)で表し、カメラ座標を、カメラ位置を原点とする3次元極座標系(r,θ,φ)で表す。
画面座標(u,v)からカメラ座標パラメータ(θ,φ)への変換式は、使用するカメラモデルに応じて求められる。
u=f×x/z
v=f×y/z
また、極座標系でのカメラ座標(r,θ,φ)と直交座標系でのカメラ座標(x,y,z)とは、次の関係がある。
x=r×sinθcosφ
y=r×sinθsinφ
z=r×cosθ
したがって、画面座標(u,v)と、カメラ座標パラメータである角度(θ,φ)との関係は、次式で与えられる。
θ=arctan(f/√(u2+v2))
φ=arctan(v/u)
座標変換部203は、1点の画面座標(u,v)が指定された場合、直線の角度を表すカメラ座標パラメータ(θ,φ)を1個取得する。また、n点の画面座標(u,v)が指定された場合、座標変換部203は、直線の角度を表すカメラ座標パラメータ(θ,φ)をn個取得する。これにより、画面座標系においてn角形で表現された指定範囲は、カメラ座標系においては、n角錐で表現される。
このとき、配信要求部205は、被写体特定部204により複数の被写体コードが抽出された場合、これら複数の被写体コードを配信サーバ10へ通知して、複数の音声ストリームを要求してもよい。あるいは、配信要求部205は、複数の被写体コードのうち、カメラ位置からの距離rがより短い被写体コードを優先して配信サーバ10へ通知してもよい。
映像再生部208は、復号された映像を画面表示する。
音声再生部210は、復号された音声信号を再生する。音声信号の再生にはスピーカ又はヘッドフォンなどが用いられてよい。また、音声再生部210は、受信装置20から分離され、通信インタフェースを介して別の装置で音声信号を再生してもよい。
また、音声再生部210は、受信部206により複数の被写体に対応する複数の音声ストリームを受信した場合、複数の音声を同時に再生してもよい。
本処理は、動画の再生が終了するまで、ユーザ操作がある度に繰り返し実行される。
なお、本ステップの詳細は、図7に詳述する。
なお、ユーザ操作によって選択された音声のみ音量を調節するなどの音声素材ごとの音声制御は、既存のオブジェクトベース音響方式などを用いて実現できる。
また、音声再生部210は、被写体コードで対応付けられる被写体のカメラ座標の距離rが近い場合に再生する音声の音量を大きくしたり、被写体の移動に応じて再生する音量を変化させたりしてもよい。
本処理は、図6のステップS5に相当する。
iがi_maxに達しても該当する被写体コードが見つからない場合、被写体特定部204は、該当の被写体がないと判定する。
なお、Δは、例えば10度などが指定されるが、不確かさの度合いに応じて適宜増減されてよい。
jがj_maxに達しても該当する被写体コードが見つからない場合、被写体特定部204は、該当の被写体がないと判定する。
この例は、1組のカメラ座標パラメータ(θ1,φ1)が取得された場合に、1段階広くした範囲(θ1−Δ≦θ≦θ1+Δ、φ1−Δ≦φ≦φ1+Δ)と、2段階広くした範囲(θ1−2Δ≦θ≦θ1+2Δ、φ1−2Δ≦φ≦φ1+2Δ)とを示している。
このように、被写体特定部204は、θ及びφの範囲を±Δずつ広げながら、この範囲内にカメラ座標がある被写体を特定する。
この例は、3組のカメラ座標パラメータ(θ1,φ1)、(θ2,φ2)、(θ3,φ3)が取得された場合に、初期範囲(θ_min≦θ≦θ_max、φ_min≦φ≦φ_max)と、1段階広くした範囲(θ_min−Δ≦θ≦θ_max+Δ、φ_min−Δ≦φ≦φ_max+Δ)とを示している。なお、この例では、θ_min=θ1、θ_max=θ2、φ_min=φ2、φ_max=φ3である。
このように、被写体特定部204は、θ及びφの範囲を±Δずつ広げながら、この範囲内にカメラ座標がある被写体を特定する。
また、検索範囲である領域の形状は、θ及びφの最小値と最大値とを指定した長方形には限られず、例えば、円又は多角形など、適宜設定されてよい。円又は多角形など、カメラ座標パラメータで指定される領域の内部に、被写体コードで対応付けられた被写体のカメラ座標が存在するかどうかの判定は、既存の閉領域の内外判定アルゴリズムなどを用いることで実現できる。
多角形の辺を一周したとき、判定対象の点が常に同じ側(左側又は右側)にある場合、この点は多角形の内部にあると判定できる。この手法は、凸多角形に適用できる。
判定対象の点と多角形の各辺の両端とがなす角度の和が360度となる場合、この点は多角形の内部にあると判定できる。この手法は、凸な図形に限らず適用可能である。
例えば、動物園を撮影した動画内の複数の動物からユーザが所望の動物を選択し、その動物の鳴き声や解説を聞く教育コンテンツ、あるいは、音楽のライブ又はコンサートを撮影した動画内の複数の楽器又は歌手から聞きたい音声を発する被写体をユーザが選択し、選択した音声を強調して聞くことのできる娯楽コンテンツなどが提供可能となる。
また、受信装置20は、特定された被写体のカメラ位置からの距離に応じて、音声の再生音量を調整できる。これにより、受信装置20は、動画内の被写体の状況に応じた音声をユーザに提示できる。
あるいは、受信装置20は、カメラ位置からの距離が近い被写体を優先して選択し、この被写体に対応する音声ストリームを受信することで、画面に実際に表示されている被写体を適切に特定して音声を再生できる。
また、本実施形態では、配信サーバ10がテーブル配信部11と、ストリーム配信部12とを備える構成としたが、これらの機能部は、複数のサーバ装置に分散配置されてもよい。
10 配信サーバ
11 テーブル配信部(対応データ送信部)
12 ストリーム配信部(動画送信部、音声選択部)
20 受信装置
30 テーブル生成装置
40 エンコード装置
201 ユーザ操作検出部(操作検出部)
202 画面座標取得部
203 座標変換部
204 被写体特定部
205 配信要求部(被写体通知部)
206 ストリーム受信部(動画受信部)
207 映像復号部
208 映像再生部(動画再生部)
209 音声復号部
210 音声再生部(動画再生部)
211 対応データ受信部
212 メモリ部
213 通信インタフェース
Claims (7)
- 動画を構成する映像、及び複数の被写体それぞれに対応する音声のうち選択された音声を、配信サーバから受信する動画受信部と、
前記映像の被写体を示す被写体コードと当該被写体のカメラ座標とを対応付けた時系列の対応データを、前記配信サーバから受信する対応データ受信部と、
受信された映像及び音声を再生する動画再生部と、
前記映像が再生された画面上で、ユーザの操作により指定された位置を検出する操作検出部と、
検出された前記位置のうち、代表点の画面座標を取得する画面座標取得部と、
前記画面座標を、カメラ座標系における領域を示すパラメータに変換する座標変換部と、
前記パラメータにより示される領域に基づいて、前記対応データから前記被写体コードを抽出する被写体特定部と、
特定された前記被写体コードを前記配信サーバへ通知することで前記音声を選択する被写体通知部と、を備える受信装置。 - 前記カメラ座標は、3次元座標で記録され、
前記座標変換部は、前記パラメータとして、極座標系におけるカメラ位置からの距離を除く角度を決定する請求項1に記載の受信装置。 - 前記動画再生部は、特定された前記被写体に対応するカメラ座標から得られる前記カメラ位置からの距離に応じて、音声の再生音量を調整する請求項2に記載の受信装置。
- 前記被写体通知部は、前記被写体特定部により複数の被写体コードが抽出された場合、当該複数の被写体コードを前記配信サーバへ通知し、
前記動画再生部は、前記動画受信部により受信した複数の音声を同時に再生する請求項1から請求項3のいずれかに記載の受信装置。 - 前記被写体通知部は、前記被写体特定部により複数の被写体コードが抽出された場合、当該複数の被写体コードのうち、前記カメラ位置からの距離がより短い被写体コードを優先して前記配信サーバへ通知する請求項2又は請求項3に記載の受信装置。
- 動画を構成する映像、及び複数の被写体それぞれに対応する音声のうち選択された音声を、受信装置へ送信する動画送信部と、
前記映像の被写体を示す被写体コードと当該被写体のカメラ座標とを対応付けた時系列の対応データを、前記受信装置へ送信する対応データ送信部と、
前記受信装置において前記映像が再生された画面上で、ユーザの操作により指定された位置のうち、代表点の画面座標がカメラ座標系における領域を示すパラメータに変換されると、当該パラメータにより示される領域に基づいて前記対応データから抽出された前記被写体コードを受信し、当該被写体コードに対応する音声を選択する音声選択部と、を備える配信サーバ。 - 請求項1から請求項5のいずれかに記載の受信装置としてコンピュータを機能させるための受信プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019068875A JP7236914B2 (ja) | 2019-03-29 | 2019-03-29 | 受信装置、配信サーバ及び受信プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019068875A JP7236914B2 (ja) | 2019-03-29 | 2019-03-29 | 受信装置、配信サーバ及び受信プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020167629A true JP2020167629A (ja) | 2020-10-08 |
JP7236914B2 JP7236914B2 (ja) | 2023-03-10 |
Family
ID=72716166
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019068875A Active JP7236914B2 (ja) | 2019-03-29 | 2019-03-29 | 受信装置、配信サーバ及び受信プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7236914B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022137606A1 (ja) * | 2020-12-22 | 2022-06-30 | 株式会社エイリアンミュージックエンタープライズ | 管理サーバ |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05204532A (ja) * | 1992-01-30 | 1993-08-13 | Fujitsu Ltd | 座標位置指定方法 |
JP2007048068A (ja) * | 2005-08-10 | 2007-02-22 | Canon Inc | 情報処理方法および装置 |
JP2007184792A (ja) * | 2006-01-06 | 2007-07-19 | Samii Kk | コンテンツ再生装置及びコンテンツ再生プログラム |
JP2010193274A (ja) * | 2009-02-19 | 2010-09-02 | Nikon Corp | 情報処理装置、撮像装置、プログラム及びプログラムを記録したコンピュータ読み取り可能な記録媒体 |
WO2015008538A1 (ja) * | 2013-07-19 | 2015-01-22 | ソニー株式会社 | 情報処理装置および情報処理方法 |
WO2018198789A1 (ja) * | 2017-04-26 | 2018-11-01 | ソニー株式会社 | 信号処理装置および方法、並びにプログラム |
-
2019
- 2019-03-29 JP JP2019068875A patent/JP7236914B2/ja active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05204532A (ja) * | 1992-01-30 | 1993-08-13 | Fujitsu Ltd | 座標位置指定方法 |
JP2007048068A (ja) * | 2005-08-10 | 2007-02-22 | Canon Inc | 情報処理方法および装置 |
JP2007184792A (ja) * | 2006-01-06 | 2007-07-19 | Samii Kk | コンテンツ再生装置及びコンテンツ再生プログラム |
JP2010193274A (ja) * | 2009-02-19 | 2010-09-02 | Nikon Corp | 情報処理装置、撮像装置、プログラム及びプログラムを記録したコンピュータ読み取り可能な記録媒体 |
WO2015008538A1 (ja) * | 2013-07-19 | 2015-01-22 | ソニー株式会社 | 情報処理装置および情報処理方法 |
WO2018198789A1 (ja) * | 2017-04-26 | 2018-11-01 | ソニー株式会社 | 信号処理装置および方法、並びにプログラム |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022137606A1 (ja) * | 2020-12-22 | 2022-06-30 | 株式会社エイリアンミュージックエンタープライズ | 管理サーバ |
JPWO2022137606A1 (ja) * | 2020-12-22 | 2022-06-30 | ||
JP7344610B2 (ja) | 2020-12-22 | 2023-09-14 | 株式会社エイリアンミュージックエンタープライズ | 管理サーバ |
Also Published As
Publication number | Publication date |
---|---|
JP7236914B2 (ja) | 2023-03-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101844388B1 (ko) | 개인용 오디오의 전달을 위한 시스템들 및 방법들 | |
JP7409362B2 (ja) | 再生装置および方法、並びにプログラム | |
KR102422493B1 (ko) | 정보 처리 장치 및 정보 처리 방법 | |
US8468569B2 (en) | Content delivery system and method, and server apparatus and receiving apparatus used in this content delivery system | |
KR102551081B1 (ko) | 고품질의 경험을 위한 오디오 메시지들의 효율적인 전달 및 사용을 위한 방법 및 장치 | |
US20160358597A1 (en) | Real Time Popularity Based Audible Content Acquisition | |
US10911809B2 (en) | Communication apparatus, communication method, and program | |
JP2007174642A (ja) | ストリーミング再生中にコンテンツ再生装置を変更する方法及び該装置 | |
JP2014011509A (ja) | 音声出力制御装置、音声出力制御方法、プログラム及び記録媒体 | |
JP2007027846A (ja) | 動画再生システム及び動画再生方法 | |
JP2016146544A (ja) | 通信システム、配信装置及びプログラム | |
US20230039530A1 (en) | Automated generation of haptic effects based on haptics data | |
JPWO2019187430A1 (ja) | 情報処理装置、方法、及びプログラム | |
JP7396267B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP7236914B2 (ja) | 受信装置、配信サーバ及び受信プログラム | |
JPWO2019187442A1 (ja) | 情報処理装置、方法、及びプログラム | |
JP6951610B1 (ja) | 音声処理システム、音声処理装置、音声処理方法、及び音声処理プログラム | |
CN111903136B (zh) | 信息处理装置、信息处理方法和计算机可读存储介质 | |
CN113574899A (zh) | 信息处理装置、信息处理方法、再现处理装置和再现处理方法 | |
JP2023060836A (ja) | 低複雑性低ビットレート6dof hoaのレンダリング方法および装置 | |
KR20180109199A (ko) | 통신망을 이용한 방송 관련 서비스 제공 방법 및 이를 위한 장치 | |
JP6190012B1 (ja) | データ再生システム、データ再生方法、データ再生端末及びデータ再生用プログラム | |
JP7235590B2 (ja) | 音声配信システム、配信サーバ、再生装置、及びプログラム | |
KR20200112518A (ko) | 네트워크로부터 전송되는 스트리밍 영상을 재생하는 방법 및 장치 | |
JP7191146B2 (ja) | 配信サーバ、配信方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220225 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230120 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230131 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230228 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7236914 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |