JP2023503956A - 投影されたオーディオおよびビデオ再生方法ならびに電子デバイス - Google Patents

投影されたオーディオおよびビデオ再生方法ならびに電子デバイス Download PDF

Info

Publication number
JP2023503956A
JP2023503956A JP2022530285A JP2022530285A JP2023503956A JP 2023503956 A JP2023503956 A JP 2023503956A JP 2022530285 A JP2022530285 A JP 2022530285A JP 2022530285 A JP2022530285 A JP 2022530285A JP 2023503956 A JP2023503956 A JP 2023503956A
Authority
JP
Japan
Prior art keywords
screen
speaker
destination device
audio
projection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2022530285A
Other languages
English (en)
Other versions
JP7408803B2 (ja
Inventor
碧▲海▼ 汪
▲麗▼成 宋
振芳 方
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of JP2023503956A publication Critical patent/JP2023503956A/ja
Application granted granted Critical
Publication of JP7408803B2 publication Critical patent/JP7408803B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4122—Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4108—Peripherals receiving signals from specially adapted client devices characterised by an identification number or address, e.g. local network address
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43637—Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)
  • Projection Apparatus (AREA)

Abstract

本出願の実施形態は、投影されたオーディオおよびビデオ再生方法ならびに電子デバイスを提供し、端末技術の分野に関し、画面に対応するスピーカデバイスを動的に調整することができ、その結果、投影者は、オーディオを感覚的にビデオと関連付けて、オーディオビジュアル体験を改善する。本方法は、第1のソースデバイスのみが宛先デバイスに投影を行うことを要求するとき、宛先デバイスはすべてのスピーカデバイスを使用して第1のオーディオデータを再生するか、または第1のソースデバイスと第2のソースデバイスの両方が宛先デバイスに投影を行うことを要求するとき、宛先デバイスは、第1の画面サブエリアに第1の表示データを表示し、第2の画面サブエリアに第2の表示データを表示し、第1のスピーカデバイスを使用して第1のオーディオデータを再生し、第2のスピーカデバイスを使用して第2のオーディオデータを再生するか、または宛先デバイスは、第2の画面サブエリアに第1の表示データを表示し、第1の画面サブエリアに第2の表示データを表示し、第2のスピーカデバイスを使用して第1のオーディオデータを再生し、第1のスピーカデバイスを使用して第2のオーディオデータを再生することを含む。

Description

本出願は、2019年11月25日に中国国家知識産権局に提出された「投影されたオーディオおよびビデオ再生方法ならびに電子デバイス」と題する中国特許出願第201911169032．3号の優先権を主張するものであり、同特許出願は参照によりその全体が本書に組み入れられる。
本出願は端末技術の分野に関し、特に投影されたオーディオおよびビデオ再生方法ならびに電子デバイスに関する。
現在、投影機能は、電子デバイスにおいて広く使用されている。例えば、ユーザは、表示のために、携帯電話（すなわち、ソースデバイス）の表示インターフェースを、投影機能をサポートする別の宛先デバイス（例えば、スマートTV）上に投影することができ、その結果、ユーザは、あるデバイス上で、別のデバイス上の表示コンテンツを便利に見ることができる。
投影アプリケーションシナリオでは、複数のソースデバイスの表示コンテンツは、表示のために同じ宛先デバイス上に投影されうる。例えば、ユーザAは、携帯電話1に表示されたゲームインターフェース1を表示のためにスマートTVに投影し、ユーザBは、携帯電話2に表示されたゲームインターフェース2を表示のためにスマートTVに投影してもよい。
ユーザは、ビデオイメージおよび画像を共有したいという要望だけでなく、オーディオおよびビデオを同時に共有したいという要望もある。現在の投影アプリケーションシナリオでは、複数のソースデバイスから複数のチャネルのオーディオデータを受信した後、宛先デバイスは、オーディオミキシングおよび出力のために各チャネルのオーディオデータを復号する。オーディオミキシングとは、オーディオデータの合成を実現するために、2つのチャネルのオーディオデータ（または複数のチャネルのオーディオデータ）が同時に出力され、すべてのスピーカを通してオーディオデータのチャネルが同時に出力され、最終的に2つのチャネルのオーディオデータ（または複数のチャネルのオーディオデータ）を一緒にミキシングする効果を反映させることを意味する。このオーディオミキシング方法は、投影者の感覚に対し視聴覚の混乱を引き起こす。加えて、投影ソースデバイスの数が多いほど、投影者の視聴覚の混乱を悪化させる傾向がある。この場合、投影効果は大幅に低減される。
本出願の実施形態は、画面に対応するスピーカデバイスを動的に調整するために、投影されたオーディオおよびビデオ再生方法ならびに電子デバイスを提供し、その結果、投影者は、オーディオを感覚的にビデオと関連付けて、オーディオビジュアル体験を改善する。
前述した技術的課題を解決するため、本願の実施形態は以下の技術的なソリューションを提供する。
第1の態様によれば、本出願の一実施形態は、投影されたオーディオおよびビデオ再生方法を提供し、本方法は、宛先デバイスが第1のソースデバイスによって送信された第1の投影データを受信し、第1の投影データは第1の表示データおよび第1のオーディオデータを含み、宛先デバイスは、第1の表示データを宛先デバイスの画面に表示し、宛先デバイスのすべてのスピーカデバイスを使用して第1のオーディオデータを再生し、宛先デバイスのスピーカデバイスは、第1のスピーカデバイスおよび第2のスピーカデバイスを含み、第1のスピーカデバイスは、宛先デバイスの左側に配置され、第2のスピーカデバイスは、宛先デバイスの右側に配置され、宛先デバイスが投影を通じて第1の投影データを表示および再生するとき、宛先デバイスは、第2のソースデバイスによって送信された投影要求および第2の投影データを受信し、第2の投影データは、第2の表示データおよび第2のオーディオデータを含み、第2のソースデバイスによって送信された第2の投影データを受信した後、宛先デバイスは、第1の表示データを宛先デバイスの第1の画面サブエリアに表示し、第2の表示データを宛先デバイスの第2の画面サブエリアに表示し、第1のスピーカデバイスを使用して第1のオーディオデータを再生し、第2のスピーカデバイスを使用して第2のオーディオデータを再生し、または第2のソースデバイスによって送信された第2の投影データを受信した後、宛先デバイスは、第1の表示データを第2の画面サブエリアに表示し、第2の表示データを第1の画面サブエリアに表示し、第2のスピーカデバイスを使用して第1のオーディオデータを再生し、第1のスピーカデバイスを使用して第2のオーディオデータを再生し、宛先デバイスの画面は、第1の画面サブエリアおよび第2の画面サブエリアを含み、第1の画面サブエリアは画面の左側に配置され、第2の画面サブエリアは画面の右側に配置されることを含む。具体的には、ソースデバイスによって送信される表示データは、宛先デバイスの画面に表示される必要がある画像であり、ソースデバイスによって送信されるオーディオデータは、宛先デバイスのスピーカデバイスによって再生される必要があるオーディオである。
すなわち、第1のソースデバイスのみが宛先デバイスに投影を行うことを要求した場合、宛先デバイスは、すべてのスピーカデバイスを使用して第1のオーディオデータを再生する。第1のソースデバイスと第2のソースデバイスの両方が宛先デバイスに投影を行うことを要求するとき、宛先デバイスは、第1の画面サブエリアに第1の表示データを表示し、第2の画面サブエリアに第2の表示データを表示し、第1のスピーカデバイスを使用して第1のオーディオデータを再生し、第2のスピーカデバイスを使用して第2のオーディオデータを再生するか、または宛先デバイスは、第2の画面サブエリアに第1の表示データを表示し、第1の画面サブエリアに第2の表示データを表示し、第2のスピーカデバイスを使用して第1のオーディオデータを再生し、第1のスピーカデバイスを使用して第2のオーディオデータを再生する。本出願のこの実施形態では、宛先デバイスは、ソースデバイス用に分割された画面エリアまたは画面サブエリアの画面に対応するスピーカデバイスを動的に調整することができ、その結果、投影者は、オーディオを感覚的にビデオと関連付けて、オーディオビジュアル体験を改善する。
一可能な実装形態では、宛先デバイスが宛先デバイスの画面に第1の表示データを表示することは、宛先デバイスが全画面モードで画面に第1の表示データを表示するか、または宛先デバイスは、第1の表示データを第1の画面サブエリアまたは第2の画面サブエリアに表示するか、または宛先デバイスは、画面の中央エリアに第1の表示データを表示する。
すなわち、宛先デバイスは、第1のソースデバイスの投影共有を実装するために、第1のソースデバイスの画像が宛先デバイスの全画面または画面の一部に投影されうるように、複数の表示方法、例えば、全画面モードでの表示、左もしくは右画面サブエリアでの表示、または画面の中央エリアでの表示で第1の表示データを画面に表示する。
一可能な実装形態では、本方法は、宛先デバイスの画面に第1の表示データを表示するときに、宛先デバイスは識別情報をさらに表示し、識別情報は、宛先デバイスの識別子を含み、第2のソースデバイスが識別情報をスキャンした後、宛先デバイスは、第2のソースデバイスによって送信された投影要求および第2の投影データを受信することをさらに含む。具体的には、識別情報は、QRコード（登録商標）によって搬送される宛先デバイスの識別子であってもよい。例えば、宛先デバイスの識別子は、宛先デバイスのMACアドレスまたはIPアドレスでありうる。
すなわち、本出願のこの実施形態では、第1のソースデバイスが投影を行っているとき、第2のソースデバイスは、宛先デバイスの画面に表示された識別情報をスキャンして、宛先デバイスへの投影を要求することができる。例えば、第2のソースデバイスは、宛先デバイスの画面に表示されたQRコードをスキャンして、宛先デバイスの識別子を取得する。次いで、第2のソースデバイスは、宛先デバイスへの投影要求を開始することができる。
一可能な実装形態では、識別情報は画面の左側もしくは右側に配置されるか、または識別情報は、画面の左上隅、右上隅、左下隅、もしくは右下隅に配置されるか、または識別情報は、画面に現在表示されている画像の上方に浮動するか、または識別情報は、画面に現在表示されている画像にピクチャインピクチャ方式で表示される。
すなわち、本出願のこの実施形態では、識別情報が宛先デバイスの画面に表示されてもよく、その結果、新しいソースデバイスが識別情報をスキャンして投影を行う。識別情報は、宛先デバイスの画面の複数の位置に配置されてもよく、複数の方法で表示されてもよい。上記は、特定のシナリオにおける単なる一例であり、本出願のこの実施形態を限定することを意図するものではない。
一可能な実装形態では、識別情報が画面の右側に配置される場合、または識別情報が画面の右上隅または右下隅に配置される場合、宛先デバイスは、第1の画面サブエリアに第1の表示データを表示し、第2の画面サブエリアに第2の表示データを表示し、第1のスピーカデバイスを使用して第1のオーディオデータを再生し、第2のスピーカデバイスを使用して第2のオーディオデータを再生する。あるいは、識別情報が画面の左側に配置される場合、または識別情報が画面の左上隅または左下隅に配置される場合、宛先デバイスは、第2の画面サブエリアに第1の表示データを表示し、第1の画面サブエリアに第2の表示データを表示し、第2のスピーカデバイスを使用して第1のオーディオデータを再生し、第1のスピーカデバイスを使用して第2のオーディオデータを再生する。
言い換えれば、本出願のこの実施形態では、識別情報が宛先デバイスの画面に表示されてもよく、その結果、新しいソースデバイスが識別情報をスキャンして投影を行う。宛先デバイスの画面の識別情報の位置については複数の実装形態がある。宛先デバイスの画面の識別情報の異なる表示位置は、表示データが表示される画面サブエリアを決定するために使用されてもよく、またはオーディオデータに対応する再生デバイスを決定するために使用されてもよい。上記は、特定のシナリオにおける単なる一例であり、本出願のこの実施形態を限定することを意図するものではない。
一可能な実装形態では、識別情報はQRコードである。具体的には、QRコードは、宛先デバイスの識別子を搬送することができる。例えば、QRコードは、宛先デバイスのMACアドレスまたはIPアドレスなどを搬送することができる。ユーザは、宛先デバイスの識別子を取得するために、携帯電話に設けられたコードスキャン機能を使用してQRコードをスキャンすることができる。携帯電話は、宛先デバイスの識別子に基づいて宛先デバイスへの通信接続を確立することができる。
一可能な実装形態では、本方法は、第1のソースデバイスによって送信された第1の投影データを受信するとき、宛先デバイスは、第2のソースデバイスによって送信された投影終了命令を受信し、第2のソースデバイスの投影終了命令に応答して、宛先デバイスは、第1の表示データを宛先デバイスの画面に表示し、第1のオーディオデータを、宛先デバイスのすべてのスピーカデバイスを使用して再生することをさらに含む。
具体的には、第2のソースデバイスによって送信された投影終了命令を受信した後、宛先デバイスは、第2のソースデバイスの第2の表示データを表示するステップをさらに停止し、同時に第2のソースデバイスの第2のオーディオデータを再生するステップを停止することができる。加えて、第2のソースデバイスによって送信された投影終了命令を受信した後、宛先デバイスは第2のソースデバイスによって送信された第2の投影データをもはや受信しない。
あるいは、第1のソースデバイスは、投影終了命令を最初に開始してもよい。第1のソースデバイスによって送信された投影終了命令を受信した後、宛先デバイスは、第1のソースデバイスの投影データを再生するステップを停止し、第2のソースデバイスの投影データを再生するステップを継続することができる。具体的には、宛先デバイスは、第1の画面サブエリア、第2の画面サブエリア、または全画面で第2のソースデバイスの表示データを再生し、すべてのスピーカデバイスを使用して第2のソースデバイスのオーディオデータを再生することができる。
すなわち、ソースデバイスが投影に参加するように宛先デバイスに要求を開始した後、宛先デバイスは、すべてのソースデバイスの表示データを表示し、宛先デバイスのスピーカデバイスを使用してすべてのソースデバイスのオーディオデータを再生することができる。また、投影共有に参加したソースデバイスは途中で投影共有を終了するようにしてもよい。この場合、宛先デバイスは、1つ以上のソースデバイスによって送信された投影終了命令を動的に受信することができる。宛先デバイスのソースデバイスの数が変化すると、宛先デバイスによって各画面サブエリアに割り当てられたスピーカデバイスも動的に変化する。すなわち、第2のソースデバイスが投影を終了すると、宛先デバイスは第2のソースデバイスに画面サブエリアをもはや割り当てず、第2のソースデバイスに対応する画面サブエリアのためのスピーカデバイスをもはや構成しない。この場合、すべてのスピーカデバイスは、引き続き第1のソースデバイスのオーディオデータを再生する。このようにして、投影者は、オーディオを感覚的にビデオと関連付けて、オーディオビジュアル体験を改善する。
一可能な実装形態では、1つ以上の第1のスピーカデバイスおよび／または1つ以上の第2のスピーカデバイスが存在する。第1のスピーカデバイスおよび／もしくは第2のスピーカデバイスは、宛先デバイスの複数の内蔵オーディオモジュール／内蔵オーディオモジュールであるか、または第1のスピーカデバイスおよび／もしくは第2のスピーカデバイスは、宛先デバイスの複数の外部オーディオモジュールもしくはスピーカ／外部オーディオモジュールもしくはスピーカである。すなわち、本出願のこの実施形態では、宛先デバイスのスピーカデバイスは、宛先デバイスの内部または外部に設けられてもよく、画面に対応するスピーカデバイスは、複数の形態のスピーカデバイスを使用して動的に調整されてもよく、その結果、投影者は、オーディオを感覚的にビデオと関連付けて、オーディオビジュアル体験を改善する。
第2の態様によれば、本出願の一実施形態は、投影されたオーディオおよびビデオ再生方法をさらに提供し、本方法は、宛先デバイスが、スピーカデバイスと、投影表示のために宛先デバイスで分割された画面サブエリアの間のマッピング関係を決定し、マッピング関係は、投影表示のために宛先デバイスで分割された画面サブエリアの数、ならびに各画面サブエリアに対応するスピーカデバイスの数およびスピーカデバイスの位置を含み、宛先デバイスは、投影中に使用される第1の画面サブエリアを第1のソースデバイスに割り当て、マッピング関係に基づいて、第1の画面サブエリアに対応する第1のスピーカデバイスを決定し、宛先デバイスは、第1のソースデバイスによって送信された第1の表示データおよび第1のオーディオデータを受信し、宛先デバイスは、投影インターフェースの第1の画面サブエリアに第1の表示データを表示し、第1のスピーカデバイスを使用して第1のオーディオデータを再生することを含む。
すなわち、第1のソースデバイスが宛先デバイスへの投影を要求するとき、宛先デバイスは、第1のソースデバイスに割り当てられた第1の画面サブエリアに基づいて対応する第1のスピーカデバイスを決定して、第1の表示データを投影インターフェースの第1の画面サブエリアに表示し、第1のスピーカデバイスを使用して第1のオーディオデータを再生することができる。本出願のこの実施形態では、宛先デバイスは、ソースデバイス用に分割された画面エリアまたは画面サブエリアの画面に対応するスピーカデバイスを動的に調整することができ、その結果、投影者は、オーディオを感覚的にビデオと関連付けて、オーディオビジュアル体験を改善する。
一可能な実装形態では、宛先デバイスが、スピーカデバイスと投影表示のために宛先デバイスで分割された画面サブエリアの間のマッピング関係を決定することは、2つ以上のスピーカデバイスが宛先デバイス内に設けられている場合、宛先デバイスは、初期化中に、スピーカデバイスと投影表示のために宛先デバイスで分割された画面サブエリアの間のマッピング関係を取得するか、または宛先デバイスが2つ以上の外部スピーカデバイスに接続されている場合、宛先デバイスは、接続が成功したとき、スピーカデバイスと投影表示のために宛先デバイスで分割された画面サブエリアの間のマッピング関係を取得することを含む。すなわち、本出願のこの実施形態では、宛先デバイスのスピーカデバイスは、宛先デバイスの内部または外部に設けられてもよく、画面に対応するスピーカデバイスは、複数の形態のスピーカデバイスを使用して動的に調整されてもよく、その結果、投影者は、オーディオを感覚的にビデオと関連付けて、オーディオビジュアル体験を改善する。
一可能な実装形態では、宛先デバイスが、投影中に使用される第1の画面サブエリアを第1のソースデバイスに割り当て、マッピング関係に基づいて、第1の画面サブエリアに対応する第1のスピーカデバイスを決定することは、第1のソースデバイスが第1の投影されたソースデバイスであると決定したとき、宛先デバイスは、投影インターフェースの全画面エリアが第1の画面サブエリアであると決定し、宛先デバイスは、第1のスピーカデバイスが宛先デバイスに接続されたすべてのスピーカデバイスであると決定することを含む。すなわち、宛先デバイスは、第1のソースデバイスの画像が宛先デバイスの全画面に投影されうるように、複数の表示方法、例えば全画面表示で第1の表示データを画面に表示する。無制限に、第1の表示データを画面に表示するとき、宛先デバイスは、あるいは第1の表示データを画面の左側もしくは右側の画面サブエリアまたは中央エリアに表示することができ、その結果、第1のソースデバイスの画像は、第1のソースデバイスの投影共有を実装するために、宛先デバイスの画面の全画面または一部に投影されうる。
一可能な実装形態では、宛先デバイスが投影インターフェースの第1の画面サブエリアに第1の表示データを表示し、第1のスピーカデバイスを使用して第1のオーディオデータを再生した後、本方法は、第1のソースデバイスが投影を行っており、第2のソースデバイスが投影に参加していると決定したとき、宛先デバイスは、第1のソースデバイスへの投影に使用される第2の画面サブエリアおよび第2のソースデバイスへの投影に使用される第3の画面サブエリアを割り当て、宛先デバイスは、マッピング関係に基づいて、第2の画面サブエリアに対応する第2のスピーカデバイスおよび第3の画面サブエリアに対応する第3のスピーカデバイスを決定し、宛先デバイスは、第1のソースデバイスによって送信された第2の表示データおよび第2のオーディオデータを受信し、第2のソースデバイスによって送信された第3の表示データおよび第3のオーディオデータを受信し、宛先デバイスは、投影インターフェースの第2の画面サブエリアに第2の表示データを表示し、第3の画面サブエリアに第3の表示データを表示し、第2のスピーカデバイスを使用して第2のオーディオデータを再生し、第3のスピーカデバイスを使用して第3のオーディオデータを再生することをさらに含む。
すなわち、本出願のこの実施形態では、宛先デバイスは、第1のソースデバイスが投影を行っていると決定し、第2のソースデバイスは投影に参加する。すなわち、宛先デバイスは、2つのソースデバイスの両方が投影を行う必要があると決定する。この場合、宛先デバイスは、画面サブエリアおよび各画面サブエリアに対応するスピーカデバイスを2つのソースデバイスの各々に再割り当てし、最終的に、再分割された画面サブエリアに各ソースデバイスの表示データを表示し、再構成されたスピーカデバイスを使用して各ソースデバイスのオーディオデータを再生することができ、その結果、投影者は、オーディオを感覚的にビデオと関連付けて、オーディオビジュアル体験を改善する。
一可能な実装形態では、宛先デバイスが投影インターフェースの第2の画面サブエリアに第2の表示データを表示し、第3の画面サブエリアに第3の表示データを表示し、第2のスピーカデバイスを使用して第2のオーディオデータを再生し、第3のスピーカデバイスを使用して第3のオーディオデータを再生した後、本方法は、第1のソースデバイスが投影を行っており、第2のソースデバイスが宛先デバイスに投影の終了を要求していると決定したとき、宛先デバイスは、投影中に使用された第1の画面サブエリアを第1のソースデバイスに割り当て、マッピング関係に基づいて、第1の画面サブエリアに対応する第1のスピーカデバイスを決定し、宛先デバイスは、第1のソースデバイスによって送信された第1の表示データおよび第1のオーディオデータを受信し、宛先デバイスは、投影インターフェースの第1の画面サブエリアに第1の表示データを表示し、第1のスピーカデバイスを使用して第1のオーディオデータを再生することをさらに含む。
すなわち、宛先デバイスは、1つ以上のソースデバイスによって送信された表示データおよびオーディオデータを動的に受信し、投影されたオーディオ再生を行うことができる。宛先デバイスのソースデバイスの数が変化して、各ソースデバイスが宛先デバイスに投影を行うと、スマートTVによって各画面サブエリアに割り当てられたスピーカデバイスも動的に変化する。加えて、投影共有に参加したソースデバイスは途中で投影共有を終了するようにしてもよい。この場合、宛先デバイスは、1つ以上のソースデバイスによって送信された投影終了命令を動的に受信することができる。宛先デバイスのソースデバイスの数が変化して、各ソースデバイスが宛先デバイスに投影を行うと、スマートTVによって各画面サブエリアに割り当てられたスピーカデバイスも動的に変化する。
一可能な実装形態では、宛先デバイスが投影インターフェースの第1の画面サブエリアに第1の表示データを表示し、第1のスピーカデバイスを使用して第1のオーディオデータを再生した後に、本方法は、第1のソースデバイスが投影を行っており、第2のソースデバイスが投影に参加していると決定したとき、宛先デバイスは、投影中に使用される第3の画面サブエリアを第2のソースデバイスに割り当て、マッピング関係に基づいて、第3の画面サブエリアに対応する第3のスピーカデバイスを決定し、宛先デバイスは、第1のソースデバイスによって送信された第1の表示データおよび第1のオーディオデータを受信し、第2のソースデバイスによって送信された第3の表示データおよび第3のオーディオデータを受信し、宛先デバイスは、第1の表示データを投影インターフェースの第1の画面サブエリアに表示し、第3の表示データを第2の画面サブエリアに表示し、宛先デバイスは、第1のスピーカデバイスを使用して第1のオーディオデータを再生し、第3のスピーカデバイスを使用して第3のオーディオデータを再生することをさらに含む。
すなわち、本出願のこの実施形態では、宛先デバイスは、第1のソースデバイスが投影を行っていると決定し、第2のソースデバイスは投影に参加する。すなわち、宛先デバイスは、2つのソースデバイスの両方が投影を行う必要があると決定する。この場合、宛先デバイスは、第1のソースデバイスおよび対応するスピーカデバイスの画面サブエリアを変更する代わりに、新たに追加された第2のソースデバイスに画面サブエリアおよび画面サブエリアに対応するスピーカデバイスのみを割り当てる。最後に、宛先デバイスは、分割された画面サブエリアおよび構成されたスピーカデバイスを使用して各ソースデバイスの表示データおよびオーディオデータを再生することができ、その結果、投影者は、オーディオを感覚的にビデオと関連付けて、オーディオビジュアル体験を改善する。
一可能な実装形態では、宛先デバイスが第2のソースデバイスへの投影中に使用される第3の画面サブエリアを割り当てることは、宛先デバイスが第2のソースデバイスによって送信された投影命令を受信し、投影命令は、第2のソースデバイスが投影インターフェースから投影識別子を取得したときに送信され、宛先デバイスは、投影インターフェースの投影識別子のものである、第2のソースデバイスによって取得された位置に基づいて第3の画面サブエリアを決定することを含む。
すなわち、本出願のこの実施形態では、第1のソースデバイスが投影を行っているとき、第2のソースデバイスは、宛先デバイスの画面に表示された投影識別子をスキャンして、宛先デバイスへの投影を要求することができる。例えば、第2のソースデバイスは、宛先デバイスの画面に表示されたQRコードをスキャンして、宛先デバイスの識別子を取得する。次いで、第2のソースデバイスは、宛先デバイスへの投影要求を開始することができる。
第3の態様によれば、本出願は電子デバイスを提供し、電子デバイスは投影中の宛先デバイスである。宛先デバイスは、ディスプレイ、通信モジュール、スピーカデバイスであって、スピーカデバイスは、第1のスピーカデバイスおよび第2のスピーカデバイスを含み、第1のスピーカデバイスは、宛先デバイスの左側に配置され、第2のスピーカデバイスは、宛先デバイスの右側に配置される、スピーカデバイス、1つ以上のプロセッサ、1つ以上のメモリ、および1つ以上のコンピュータプログラムを含み、1つ以上のコンピュータプログラムは、1つ以上のメモリに記憶され、命令を含み、命令が宛先デバイスによって実行されるとき、宛先デバイスは、第1の態様または第2の態様のいずれか1つによる方法を行うことが可能にされる。任意選択で、第1のスピーカデバイスおよび第2のスピーカデバイスは、電子デバイスの外部スピーカであってもよい。言い換えれば、電子デバイスは、第1のスピーカデバイスおよび第2のスピーカデバイスを含んでいなくてもよい。第1のスピーカデバイスおよび第2のスピーカデバイスは外部スピーカデバイスであり、2つのスピーカは電子デバイスに接続（物理的に接続または無線接続）されている。この場合、前述の実施形態の方法によれば、電子デバイスは、対応するスピーカデバイスを制御して再生を行う。加えて、外部スピーカが電子デバイスに接続されているとき、電子デバイスは、外部スピーカを適切な位置に配置するようにユーザに促してもよく、例えば、一方の外部スピーカを電子デバイスの左側に配置し、他方の外部スピーカを電子デバイスの右側に配置してもよい。したがって、2つのソースデバイスの投影されたオーディオを再生するとき、電子デバイスは、2つの外部スピーカを通して別々に異なるオーディオを再生することができる。
第4の態様によれば、本出願は、コンピュータ命令を含む、コンピュータ記憶媒体を提供する。コンピュータ命令が電子デバイス上で動作させられるとき、電子デバイスは第1の態様および第2の態様ならびに第1の態様および第2の態様の可能な実装形態のいずれか1つによる方法を行うことが可能にされる。
第5の態様によれば、本出願はコンピュータプログラム製品を提供する。コンピュータプログラム製品が電子デバイス上で動作させられるとき、電子デバイスは第1の態様および第2の態様ならびに第1の態様および第2の態様の可能な実装形態のいずれか1つによる方法を行うことが可能にされる。
上記で提供された第3の態様の電子デバイス、第4の態様のコンピュータ記憶媒体、および第5の態様のコンピュータプログラム製品は、すべて上記で提供された対応する方法を行うように構成されることが理解されよう。したがって、電子デバイス、コンピュータ記憶媒体およびコンピュータプログラム製品によって達成されうる有益な効果については、上記で提供された対応する方法の有益な効果を参照されたい。本明細書では、詳細は重ねて記載されない。
本出願の一実施形態による投影されたオーディオ再生システムのシナリオアーキテクチャの図1である。 本出願の一実施形態による投影されたオーディオ再生システムのシナリオアーキテクチャの図2である。 本出願の一実施形態による投影されたオーディオ再生システムのシナリオアーキテクチャの図2である。 本出願の一実施形態による電子デバイスの構造の概略図1である。 本出願の一実施形態による投影されたオーディオおよびビデオ再生方法の概略的な相互作用図1である。 本出願の一実施形態による投影されたオーディオおよびビデオ再生方法の適用シナリオの概略図1である。 本出願の一実施形態による投影されたオーディオおよびビデオ再生方法の適用シナリオの概略図1である。 本出願の一実施形態による投影されたオーディオおよびビデオ再生方法の適用シナリオの概略図1である。 本出願の一実施形態による投影されたオーディオおよびビデオ再生方法の適用シナリオの概略図1である。 本出願の一実施形態による投影されたオーディオおよびビデオ再生方法の適用シナリオの概略図1である。 本出願の一実施形態による投影されたオーディオおよびビデオ再生方法の適用シナリオの概略図1である。 本出願の一実施形態による投影されたオーディオおよびビデオ再生方法の適用シナリオの概略図2である。 本出願の一実施形態による投影されたオーディオおよびビデオ再生方法の適用シナリオの概略図3である。 本出願の一実施形態による投影されたオーディオおよびビデオ再生方法の適用シナリオの概略図3である。 本出願の一実施形態による投影されたオーディオおよびビデオ再生方法の適用シナリオの概略図3である。 本出願の一実施形態による投影されたオーディオおよびビデオ再生方法の適用シナリオの概略図3である。 本出願の一実施形態による投影されたオーディオおよびビデオ再生方法の適用シナリオの概略図3である。 本出願の一実施形態による投影されたオーディオおよびビデオ再生方法の適用シナリオの概略図3である。 本出願の一実施形態による投影されたオーディオおよびビデオ再生方法の適用シナリオの概略図3である。 本出願の一実施形態による投影されたオーディオおよびビデオ再生方法の適用シナリオの概略図3である。 本出願の一実施形態による投影されたオーディオおよびビデオ再生方法の適用シナリオの概略図3である。 本出願の一実施形態による投影されたオーディオおよびビデオ再生方法の適用シナリオの概略図3である。 本出願の一実施形態による投影されたオーディオおよびビデオ再生方法の適用シナリオの概略図4である。 本出願の一実施形態による投影されたオーディオおよびビデオ再生方法の概略的な相互作用図2である。 本出願の一実施形態による投影されたオーディオおよびビデオ再生方法の適用シナリオの概略図5である。 本出願の一実施形態による投影されたオーディオおよびビデオ再生方法の適用シナリオの概略図5である。 本出願の一実施形態による投影されたオーディオおよびビデオ再生方法の適用シナリオの概略図5である。 本出願の一実施形態による投影されたオーディオおよびビデオ再生方法の適用シナリオの概略図5である。 本出願の一実施形態による投影されたオーディオおよびビデオ再生方法の適用シナリオの概略図5である。 本出願の一実施形態による投影されたオーディオおよびビデオ再生方法の適用シナリオの概略図5である。 本出願の一実施形態による投影されたオーディオおよびビデオ再生方法の適用シナリオの概略図5である。 本出願の一実施形態による投影されたオーディオおよびビデオ再生方法の適用シナリオの概略図5である。 本出願の一実施形態による投影されたオーディオおよびビデオ再生方法の適用シナリオの概略図5である。 本出願の一実施形態による投影されたオーディオおよびビデオ再生方法の適用シナリオの概略図6である。 本出願の一実施形態による投影されたオーディオおよびビデオ再生方法の適用シナリオの概略図6である。 本出願の一実施形態による投影されたオーディオおよびビデオ再生方法の適用シナリオの概略図6である。 本出願の一実施形態による投影されたオーディオおよびビデオ再生方法の適用シナリオの概略図6である。 本出願の一実施形態による投影されたオーディオおよびビデオ再生方法の概略的な相互作用図3である。 本出願の一実施形態による投影されたオーディオおよびビデオ再生方法の適用シナリオの概略図7である。 本出願の一実施形態による投影されたオーディオおよびビデオ再生方法の適用シナリオの概略図8である。 本出願の一実施形態による投影されたオーディオおよびビデオ再生方法の適用シナリオの概略図9である。 本出願の一実施形態による投影されたオーディオおよびビデオ再生方法の適用シナリオの概略図9である。 本出願の一実施形態による電子デバイスの構造の概略図2である。
以下で、添付の図面を参照して本出願の実施形態を記載する。
本出願の明細書、特許請求の範囲および添付の図面において、「第1の」、「第2の」などの用語は、類似した対象物を区別するためのものであり、必ずしも特定の順序またはシーケンスを示すものではない。このように使用される用語は適切な状況においては交換可能であり、これは本出願の実施形態において同じ属性を有する対象を記述するための区別のし方にすぎないことを理解されたい。加えて、用語「含む（include）」、「有する（have）」およびその任意の他の変形は、非排他的な包含をカバーすることを意味するため、一連のユニットを含むプロセス、方法、システム、製品、またはデバイスが、それらのユニットに必ずしも限定されないが、そのようなプロセス、方法、製品、またはデバイスに明確に列挙されていないまたは固有でない他のユニットを含むことができる。
本出願の実施形態で提供される投影されたオーディオおよびビデオ再生方法は、図1に示されるデバイスグループ200に適用されうる。デバイスグループ200の電子デバイス100は、ローカルエリアネットワーク（local area network、LAN）またはワイドエリアネットワーク（wide area network、WAN）を通して互いに通信を行ってもよい。
例えば、ユーザの携帯電話、タブレットコンピュータ、デスクトップコンピュータ、スマートウォッチ、ノートコンピュータ、大画面デバイス（例えば、スマートTVまたはより大画面を伴い、オーディオおよびビデオファイルを再生することができる別の電子デバイス）、スピーカなどの複数のデバイスがデバイスグループ200として使用されてもよい。ユーザが同じアカウントを使用してこれらのデバイスにログインすると、これらのデバイスは広域ネットワークを通して互いに通信することができる。
別の例の場合、ユーザの携帯電話、タブレットコンピュータ、デスクトップコンピュータ、スマートウォッチ、ノートブックコンピュータ、大画面デバイス、およびスピーカなどの複数のデバイスが、同じルータに接続されてもよい。この場合、これらのデバイスは、ルータにより提供されるLANを通して互いに通信することができる。
別の例の場合、複数の電子デバイス100は、無線通信（例えば、Bluetooth、Wi－Fi、またはZigBeeネットワーク）を通してピアツーピアネットワーク（P2Pネットワークとも呼ばれる）を代替として確立してもよい。例えば、ユーザは、1つのWi－Fiネットワークに複数の電子デバイスを追加することができる。Wi－Fiネットワークの電子デバイス100はP2Pネットワークを形成し、P2Pネットワーク内のすべてのデバイスはデバイスグループ200のメンバである。
当然ながら、デバイスグループ200の電子デバイス100は、セルラネットワークを介して代替として相互接続されてもよく、または電子デバイス100は、デバイスグループ200の電子デバイス100間の通信機能を実装するために、転送デバイス（例えば、USBケーブルまたはDockデバイス）を通して相互接続されてもよい。これについては本発明の実施形態では限定されない。
本出願の実施形態では、デバイスグループ200の1つ以上の電子デバイス100は、ソースデバイスとして使用されてもよく、デバイスグループ200の1つ以上の電子デバイス100は、宛先デバイスとして使用されてもよい。ソースデバイスは、表示のためにソースデバイスの表示インターフェース上の表示コンテンツを宛先デバイス上に投影することができる。加えて、ソースデバイスは、再生のためにオーディオデータを宛先デバイスにさらに送信することができる。
例えば、図2aに示されるように、電子デバイス101がソースデバイスとして使用され、電子デバイス102および電子デバイス103の両方が電子デバイス101の宛先デバイスとして使用されうる。電子デバイス101は、電子デバイス101の表示インターフェースの表示コンテンツを、表示のために電子デバイス102と電子デバイス103の両方に投影することができる。言い換えれば、1つのソースデバイスが複数の宛先デバイスへの投影されたオーディオ再生を同時に行ってもよい。加えて、ソースデバイスは、再生のためにオーディオデータを宛先デバイスに投影することもできる。
代替として、図2bに示されるように、電子デバイス101が宛先デバイスとして使用され、電子デバイス102と電子デバイス103の両方が電子デバイス101のソースデバイスとして使用されてもよい。この場合、電子デバイス102および電子デバイス103は、電子デバイス102および電子デバイス103の表示インターフェースの表示コンテンツを表示のために電子デバイス101上に同時に投影することができる。言い換えれば、1つの宛先デバイスは、複数のソースデバイスによって送信された表示コンテンツを受信および表示することができる。
加えて、ソースデバイスは、再生のためにオーディオデータを宛先デバイスに投影することもできる。例えば、図2bを参照して、一例が説明される。電子デバイス102および電子デバイス103は、それぞれのオーディオデータを電子デバイス101にさらに送信することができる。ビデオコンテンツを表示するとき、電子デバイス101は、各ソースデバイスのオーディオデータを同期して再生する。本出願のこの実施形態では、電子デバイス101は、複数のスピーカデバイスを通してオーディオデータを再生することができる。例えば、スピーカデバイスは、電子デバイス101とは独立した外部スピーカであってもよいし、電子デバイス101の内部に配置されたサウンドモジュールであってもよい。電子デバイス101は、異なるスピーカデバイスを通して電子デバイス102のオーディオデータおよび電子デバイス103のオーディオデータを再生することができる。電子デバイス102および電子デバイス103が同じ電子デバイス101とオーディオおよびビデオを共有するとき、オーディオデータは、ビデオ追加位置に基づいて動的かつ適応的に出力されうる。
多対一のオーディオおよびビデオ共有シナリオでは、例えば、二対一の投影シナリオでは、電子デバイス101の画面は左右の部分に分割されてもよく、投影されたコンテンツの各々が画面の一部に表示される。例えば、1つの投影されたコンテンツが画面の左側に表示され、別の投影されたコンテンツが画面の右側に表示される。電子デバイス101が左スピーカデバイスおよび右スピーカデバイスで構成される場合、投影者に多感覚多次元の次元でユーザ側にオーディオビジュアル体験を集中させるため、対応するオーディオデータはユーザ側で再生される必要があり、他方側のオーディオデータのユーザへの影響が弱められる。すなわち、画面の左側に表示されるコンテンツに対応するオーディオが左スピーカデバイスで再生され、画面の右側に表示されるコンテンツに対応するオーディオが右スピーカデバイスで再生される。
本出願のいくつかの実施形態では、電子デバイス102は、投影者1によって操作される携帯電話端末であり、電子デバイス103は、投影者2によって操作される携帯電話端末である。2人の投影者は、同じ大画面の前に立っている。例えば、2人の投影者は、大画面の左右に分かれて配置され、投影を行う。電子デバイス101の画面は左右部分に分割されており、電子デバイス101は、左スピーカデバイスおよび右スピーカデバイスを含む。画面画像とスピーカの間にはマッピング関係がある。左スピーカは、左画面サブエリアにマッピングされて取り付けられ、右スピーカは、右画面サブエリアにマッピングされて取り付けられる。したがって、ユーザは、ユーザ側の投影の感覚的体験に集中することができ、大画面を使用して投影共有体験を改善することができる。
いくつかの実施形態では、前述のデバイスグループ200の電子デバイスの特定の構造は、同じであっても異なっていてもよい。
例えば、各電子デバイスは、具体的には、携帯電話、タブレットコンピュータ、スマートTV、ウェアラブル電子デバイス、ヘッドユニット、ラップトップコンピュータ、ウルトラモバイルパーソナルコンピュータ（ultra－mobile personal computer、UMPC）、ハンドヘルドコンピュータ、ネットブック、携帯情報端末（personal digital assistant、PDA）、および仮想現実デバイスであってもよい。これは、本出願の実施形態において限定されない。
例えば、図3は、電子デバイスの構造の概略図である。
電子デバイスは、プロセッサ110、外部メモリインターフェース120、内部メモリ121、ユニバーサルシリアルバス（universal serial bus、USB）インターフェース130、充電管理モジュール140、電力管理モジュール141、バッテリ142、アンテナ1、アンテナ2、移動通信モジュール150、無線通信モジュール160、オーディオモジュール170、スピーカ170A、受信機170B、マイクロフォン170C、ヘッドセットジャック170D、センサモジュール180、カメラ193、ディスプレイ194などを含んでもよい。
本出願のこの実施形態で示される構造は、電子デバイスに対する特定の限定も構成しないことが理解されよう。本出願のいくつかの他の実施形態では、電子デバイスは、図に示されている構成要素よりも多いかもしくは少ない構成要素を含んでいてもよく、またはいくつかの構成要素が組み合わされてもよく、またはいくつかの構成要素が分割されてもよく、または異なる構成要素レイアウトがあってもよい。図に示されている構成要素は、ハードウェア、ソフトウェア、またはソフトウェアとハードウェアとの組み合わせで実施されてもよい。
プロセッサ110は、1つ以上の処理ユニットを含みうる。例えば、プロセッサ110は、アプリケーションプロセッサ（application processor、AP）、モデムプロセッサ、グラフィックス・プロセッシング・ユニット（graphics processing unit、GPU）、画像信号プロセッサ（image signal processor、ISP）、コントローラ、ビデオコーデック、デジタル信号プロセッサ（digital signal processor、DSP）、ベースバンドプロセッサ、および／またはニューラルネットワークプロセッシングユニット（neural－network processing unit、NPU）を含みうる。異なる処理ユニットは、独立した構成要素であってもよく、または1つもしくは複数のプロセッサに統合されてもよい。
メモリは、プロセッサ110にさらに配置されることができ、命令およびデータを記憶するように構成される。いくつかの実施形態では、プロセッサ110内のメモリはキャッシュである。メモリは、プロセッサ110によって使用されたばかりのまたはプロセッサ110によって周期的に使用される命令またはデータを記憶することができる。プロセッサ110は、命令またはデータを再び使用する必要がある場合に、メモリから命令またはデータを直接に呼び出すことができる。これは、アクセスの繰り返しを回避し、プロセッサ110の待ち時間を低減する。したがって、システム効率が改善される。
いくつかの実施形態では、プロセッサ110は、1つ以上のインターフェースを含みうる。インターフェースは、集積回路間（inter－integrated circuit、I2C）インターフェース、集積回路間サウンド（inter－integrated circuit sound、I2S）インターフェース、パルスコード変調（pulse code modulation、PCM）インターフェース、汎用非同期送受信機（universal asynchronous receiver／transmitter、UART）インターフェース、モバイルインダストリプロセッサインターフェース（mobile industry processor interface、MIPI）、汎用入出力（general－purpose input／output、GPIO）インターフェース、加入者識別モジュール（subscriber identity module、SIM）インターフェース、ユニバーサルシリアルバス（universal serial bus、USB）インターフェースなどを含んでもよい。
充電管理モジュール140は、充電器から充電入力を受け取るように構成される。充電器は、無線充電器であっても有線充電器であってもよい。有線充電のいくつかの実施形態では、充電管理モジュール140は、USBインターフェース130を通じて有線充電器から充電入力を受け取ることができる。無線充電のいくつかの実施形態では、充電管理モジュール140は、電子デバイスの無線充電コイルを通じて無線充電入力を受け取ることができる。充電管理モジュール140は、バッテリ142が充電されているときに、電力管理モジュール141を使用して電子デバイスに電力をさらに供給しうる。
電力管理モジュール141は、バッテリ142、充電管理モジュール140、および、プロセッサ110に接続するように構成される。電力管理モジュール141は、バッテリ142および／または充電管理モジュール140からの入力を受けて、プロセッサ110、内部メモリ121、ディスプレイ194、カメラ193、無線通信モジュール160などに電力を供給する。電力管理モジュール141は、バッテリ容量、バッテリサイクル数、バッテリ健全状態（漏電またはインピーダンス）などのパラメータを監視するように、さらに構成されうる。いくつかの他の実施形態において、電力管理モジュール141は、代替として、プロセッサ110に配置されてもよい。いくつかの他の実施形態では、電力管理モジュール141および充電管理モジュール140は、代替として、同じデバイスに配置されてもよい。
電子デバイスの無線通信機能は、アンテナ1、アンテナ2、移動通信モジュール150、無線通信モジュール160、モデムプロセッサ、ベースバンドプロセッサなどによって実現されうる。
アンテナ1およびアンテナ2は、電磁波信号を送受信するように構成される。電子デバイスの各アンテナは、1つ以上の通信周波数帯域をカバーするように構成されうる。アンテナ利用を向上させるために、異なるアンテナがさらに多重化されてもよい。例えば、アンテナ1は、無線ローカルエリアネットワークにおいてダイバーシティアンテナとして多重化されうる。いくつかの他の実施形態では、アンテナがチューニングスイッチと組み合わせて用いられてもよい。
移動通信モジュール150は、電子デバイスに使用される2G／3G／4G／5Gなどを含む無線通信のためのソリューションを提供することができる。移動通信モジュール150は、1つ以上のフィルタ、スイッチ、電力増幅器、および低ノイズ増幅器（low noise amplifier、LNA）などを含みうる。移動通信モジュール150は、アンテナ1を介して処理された電磁波を受信し、受信された電磁波に対してフィルタリングまたは増幅などの処理を行い、この電磁波を復調のためにモデムプロセッサに送信することができる。移動通信モジュール150は、モデムプロセッサによって変調される信号をさらに増幅し、その信号を放射のためにアンテナ1を使用することにより電磁波に変換しうる。いくつかの実施形態では、移動通信モジュール150の少なくともいくつかの機能モジュールは、プロセッサ110に配置されてもよい。いくつかの実施形態では、移動通信モジュール150の少なくともいくつかの機能モジュールとプロセッサ110の少なくともいくつかのモジュールとが、同じデバイスに配置されうる。
モデムプロセッサは、変調器および復調器を含みうる。変調器は、送信されるべき低周波数ベースバンド信号を中－高周波数信号に変調するように構成される。復調器は、受信した電磁波信号を低周波数ベースバンド信号に復調するように構成される。次いで、復調器は、復調によって取得された低周波数ベースバンド信号を処理のためにベースバンドプロセッサに送信する。低周波数ベースバンド信号はベースバンドプロセッサによって処理され、次いで、処理された低周波数ベースバンド信号はアプリケーションプロセッサに転送される。アプリケーションプロセッサは、スピーカデバイス（スピーカ170Aや受信機170Bなどに限定されない）を使用することによって音響信号を出力するか、またはディスプレイ194上に画像もしくはビデオを表示する。いくつかの実施形態では、モデムプロセッサは、独立した構成要素であってもよい。いくつかの他の実施形態では、モデムプロセッサは、プロセッサ110から独立していてもよく、移動通信モジュール150または別の機能モジュールと一緒に同じ構成要素に配置される。
無線通信モジュール160は、電子デバイスに適用され、無線ローカルエリアネットワーク（wireless local area networks、WLAN）（例えば、ワイヤレスフィデリティ（wireless fidelity、Wi－Fi）ネットワーク）、ブルートゥース（登録商標）（Bluetooth、BT）、グローバル・ナビゲーション・サテライト・システム（global navigation satellite system、GNSS）、周波数変調（frequency modulation、FM）、近距離無線通信（near field communication、NFC）技術、および赤外線（infrared、IR）技術を含む無線通信ソリューションを提供してもよい。無線通信モジュール160は、1つ以上の通信プロセッサモジュールを組み込む1つ以上の構成要素であってもよい。無線通信モジュール160は、アンテナ2を介して電磁波を受信し、電磁波信号に対して周波数変調およびフィルタリング処理を行い、処理された信号をプロセッサ110に送信する。無線通信モジュール160はさらに、送信されるべき信号をプロセッサ110から受信し、信号に対して周波数変調と増幅を行い、処理した信号を、アンテナ2を通じて放射するため、電磁波に変換しうる。
いくつかの実施形態では、電子デバイスのアンテナ1は移動通信モジュール150に結合され、アンテナ2は無線通信モジュール160に結合され、これにより電子デバイスは、無線通信技術を使用してネットワークおよび他のデバイスと通信しうる。無線通信技術は、グローバル・システム・フォー・モバイル・コミュニケーションズ（global system for mobile communications、GSM）、汎用パケット無線サービス（general packet radio service、GPRS）、符号分割多元接続（code division multiple access、CDMA）、広帯域符号分割多元接続（wideband code division multiple access、WCDMA（登録商標））、時分割符号分割多元接続（time－division code division multiple access、TD－SCDMA）、ロングタームエボルーション（long term evolution、LTE）、BT、GNSS、WLAN、NFC、FM、IR技術、および／または、同様のものを含んでもよい。GNSSは、全地球測位システム（global positioning system、GPS）、全地球航法衛星システム（global navigation satellite system、GLONASS）、北斗衛星導航系統（beidou navigation satellite system、BDS）、準天頂衛星システム（quasi－zenith satellite system、QZSS）、および／または静止衛星型衛星航法補強システム（satellite based augmentation system、SBAS）を含みうる。
電子デバイスは、GPU、ディスプレイ194、アプリケーションプロセッサなどを使用することによって表示機能を実装する。GPUは、画像処理用のマイクロプロセッサであり、ディスプレイ194およびアプリケーションプロセッサに接続される。GPUは、数学的および幾何学的計算を行い、画像をレンダリングするように構成される。プロセッサ110は、1つ以上のGPUを含んでいてもよく、GPUはプログラム命令を実行して表示情報を生成または変更する。
ディスプレイ194は、画像、ビデオなどを表示するように構成される。ディスプレイ194は、表示パネルを含む。表示パネルは、液晶ディスプレイ（liquid crystal display、LCD）、有機発光ダイオード（organic light－emitting diode、OLED）、アクティブマトリックス式有機発光ダイオード（active－matrix organic light emitting diode、AMOLED）、フレキシブル発光ダイオード（flexible light－emitting diode、FLED）、ミニLED、マイクロLED、マイクロOLED、量子ドット発光ダイオード（quantum dot light emitting diodes、QLED）などでありうる。いくつかの実施形態では、電子デバイスは、1つまたはN個のディスプレイ194を含んでもよく、Nは1よりも大きい正の整数である。
電子デバイスは、ISP、カメラ193、ビデオコーデック、GPU、ディスプレイ194、アプリケーションプロセッサなどによって撮影機能を実施しうる。
ISPは、カメラ193によってフィードバックされるデータを処理するように構成される。例えば、撮影時には、シャッタが押され、レンズを通してカメラの受光素子に光が伝えられる。光信号が電気信号に変換される。カメラの受光素子は、処理のためにISPに電気信号を送り、電気信号を可視画像に変換する。ISPは、画像のノイズ、輝度、および顔色に対してアルゴリズム最適化をさらに行うことができる。ISPは、撮影シナリオの露出および色温度などのパラメータをさらに最適化することができる。いくつかの実施形態では、ISPは、カメラ193に配置されてもよい。
カメラ193は、静止画像またはビデオをキャプチャするように構成される。物体の光学画像がレンズを通して生成され、受光素子上に投影される。感光素子は、電荷結合素子（charge coupled device、CCD）、または相補形金属酸化膜半導体（complementary metal－oxide－semiconductor、CMOS）フォトトランジスタであってよい。感光素子は、光信号を電気信号に変換し、その後、電気信号をデジタル画像信号に変換するために電気信号をISPへ送信する。ISPはデジタル画像信号を処理のためにDSPに出力する。DSPは、例えばRGBまたはYUVなどの標準フォーマットの画像信号にデジタル画像信号を変換する。いくつかの実施形態では、電子デバイスが1つまたはN個のカメラ193を含んでもよく、Nは1より大きい正の整数である。
デジタル信号プロセッサは、デジタル信号を処理するように構成され、デジタル画像信号に加えて他のデジタル信号を処理することができる。例えば、電子デバイスが周波数を選択すると、デジタル信号プロセッサは、周波数エネルギーに対するフーリエ変換を行うように構成される。
ビデオコーデックは、デジタルビデオを圧縮または解凍するように構成される。電子デバイスは、1つ以上のビデオコーデックをサポートしうる。したがって、電子デバイスは、複数のコーディングフォーマット、例えば、ムービングピクチャエキスパーツグループ（moving picture experts group、MPEG）1、MPEG2、MPEG3、および、MPEG4でビデオを再生または録画しうる。
外部メモリインターフェース120は、電子デバイスのストレージ能力を拡張するために、外部ストレージカード、例えば、Micro SDカードに接続するように構成されてもよい。外部ストレージカードは、データ記憶機能を実装するために、外部メモリインターフェース120を介してプロセッサ110と通信する。例えば、外部ストレージカードには、音楽およびビデオなどのファイルが記憶される。
内部メモリ121は、1つ以上のコンピュータプログラムを記憶するように構成されてもよく、1つ以上のコンピュータプログラムは命令を含む。プロセッサ110は、内部メモリ121に記憶された前述の命令を実行することができ、その結果、電子デバイスは、本出願のいくつかの実施形態、様々な機能アプリケーション、データ処理などで提供される投影されたオーディオおよびビデオ再生方法を行うことが可能にされる。内部メモリ121は、プログラム記憶領域およびデータ記憶領域を含みうる。プログラム記憶領域は、オペレーティングシステムを記憶しうる。プログラム記憶領域は、1つ以上のアプリケーション（例えば、ギャラリーおよび連絡先）などをさらに記憶しうる。データ記憶領域は、電子デバイスの使用中に作成されたデータ（例えば、写真および連絡先）を記憶しうる。加えて、内部メモリ121は、高速ランダムアクセスメモリを含んでもよく、例えば、1つ以上のディスク記憶構成要素、フラッシュ構成要素、またはユニバーサルフラッシュストレージ（universal flash storage、UFS）などの不揮発性メモリをさらに含んでもよい。いくつかの他の実施形態では、プロセッサ110は、本出願のいくつかの実施形態で提供される投影されたオーディオおよびビデオ再生方法、様々な機能アプリケーション、データ処理などを電子デバイスが行うことを可能にするために、内部メモリ121に記憶された命令および／またはプロセッサに配置されたメモリに記憶された命令を実行する。
電子デバイスは、オーディオモジュール170、スピーカ170A、受信機170B、マイクロフォン170C、ヘッドセットジャック170D、アプリケーションプロセッサなどを使用することによって、オーディオ機能を、例えば音楽の再生および録音を、実施できる。
オーディオモジュール170は、デジタルオーディオ情報を出力のためにアナログオーディオ信号に変換するように構成され、アナログオーディオ入力をデジタルオーディオ信号に変換するようにも構成される。オーディオモジュール170は、オーディオ信号を符号化および復号するようにさらに構成されうる。いくつかの実施形態では、オーディオモジュール170がプロセッサ110に配置されてもよく、または、オーディオモジュール170のいつかの機能モジュールがプロセッサ110に配置される。複数のオーディオモジュール170は、電子デバイスに配置され、複数の方法で配置される。例えば、偶数（例えば、2Nであり、Nは正の整数である）のオーディオモジュール170が電子デバイスに配置され、それは左のオーディオモジュールアレイおよび右のオーディオモジュールアレイである。別の例として、奇数（例えば、2N＋1であり、Nは正の整数である）のオーディオモジュール170が電子デバイスに配置され、それは、左のオーディオモジュールアレイ、中央のオーディオモジュールアレイ、および右のオーディオモジュールアレイである。
スピーカ170Aは、「ラウドスピーカ」とも呼ばれ、オーディオ電気信号を音響信号に変換するように構成される。電子デバイスは、スピーカ170Aを使用することによって音楽を聴いたり、ハンズフリー通話に応答したりするために使用されうる。
受信機170Bは、「イヤホン」とも呼ばれ、オーディオ電気信号を音響信号に変換するように構成される。電子デバイスを使用して電話に出たり音声情報を受け取ったりする場合は、音声を受け取るために、受信機170Bが人の耳に近づけられうる。
マイクロフォン170Cは、「マイク（mike）」または「マイク（mic）」とも呼ばれ、音響信号を電気信号に変換するように構成される。ユーザは、電話をかけたり音声情報を送ったりする際に、マイクロフォン170Cにヒトの口を近づけて音声を発し、マイクロフォン170Cに音声信号を入力できる。1つ以上のマイクロフォン170Cが電子デバイスに配置されてもよい。いくつかの他の実施形態では、音響信号の収集に加えて、ノイズ低減機能を実施するために、2つのマイクロフォン170Cが電子デバイスに配置されてもよい。いくつかの他の実施形態においては、音響信号の収集およびノイズの低減のために、3つ、4つ、またはそれ以上のマイクロフォン170Cが、電子デバイスに代替として配置されてもよい。さらに、マイクロフォンは、指向性の録音機能の実現、など音源を識別しうる。
ヘッドセットジャック170Dは、有線ヘッドセットに接続するように構成される。ヘッドセットジャック170Dは、USBインターフェース130でありうるか、または3．5mmオープンモバイル端末プラットフォーム（open mobile terminal platform、OMTP）標準インターフェース、または米国セルラー通信工業会（cellular telecommunications industry association of the USA、CTIA）標準インターフェースでありうる。
センサモジュール180は、圧力センサ、ジャイロスコープセンサ、気圧センサ、磁気センサ、加速度センサ、距離センサ、光学近接センサ、指紋センサ、温度センサ、タッチセンサ、周囲光センサ、骨伝導センサなどを含んでいてもよい。タッチセンサはディスプレイ上に配置されてよい。タッチセンサおよびディスプレイは、「タッチ画面」とも呼ばれるタッチ画面を形成する。
加えて、電子デバイスは、ボタン、モータ、インジケータ、およびSIMカードインターフェースなどの1つ以上の構成要素をさらに含んでもよい。これは、本出願の実施形態において限定されない。
以下では、添付の図面を参照して、本出願の一実施形態で提供される投影されたオーディオおよびビデオ再生方法を詳細に説明する。本出願のこの実施形態では、複数のソースデバイスは、1つ以上の宛先デバイスとオーディオおよびビデオを共有することができる。以下では、説明のために、複数のソースデバイスが1つの宛先デバイスとオーディオおよびビデオを共有する一例を使用する。複数のソースデバイスが複数の宛先デバイスとオーディオおよびビデオを共有する場合については、複数のソースデバイスが1つの宛先デバイスとオーディオおよびビデオを共有する実施形態を参照されたい。これは本明細書では限定されない。
複数のソースデバイスが1つの宛先デバイスとオーディオおよびビデオを共有するとき、各ソースデバイスのオーディオデータは、ビデオ追加位置に基づいて宛先デバイスのオーディオ出力方向に動的に適合させられうる。宛先デバイスは、画面で分割されたサブエリアと接続されたスピーカデバイス（統合スピーカデバイスおよび外部スピーカを含むが、これらに限定されない）の間のトポロジマッピング関係を確立することができる。オーディオおよびビデオ共有者が投影共有に動的に参加または終了すると、オーディオ出力方向は、確立されたマッピング関係に基づいて動的かつ適応的に変化されうる。
図4に示されるように、投影時に、宛先デバイスがスマートTVであり、ソースデバイスが携帯電話である一例が説明に使用される。本出願の一実施形態で提供される投影されたオーディオおよびビデオ再生方法は、以下のステップを含む。
ステップ401：スマートTVは、画面に表示される必要がある画面サブエリアの数に基づいて、画面サブエリアとスピーカデバイスの間のマッピング関係表を確立する。
本出願のこの実施形態では、スマートTVは、投影共有のための宛先デバイスである。スマートTVはインテリジェントな大画面を有し、大画面はソースデバイスのビデオコンテンツおよび画像コンテンツの表示に使用されうる。インテリジェント大画面は、投影共有を必要とする異なる数のソースデバイスに基づいて1つ以上の画面サブエリアに分割されうる。画面サブエリアの数は限定されない。例えば、1つの画面エリアがあってもよい。すなわち、1つの画面エリアが全画面を占有する。別の例では、2つの画面サブエリアがあってもよい。すなわち、大画面は、左右の画面サブエリアに分割されてもよい。さらに別の例では、3つの画面サブエリアがあってもよい。すなわち、大画面は、左、中央、および右の画面サブエリアに分割されてもよい。
ステップ401において、スマートTVは、携帯電話が投影を開始する前に分割によって取得された画面サブエリアの数に基づいてマッピング関係表を確立することができ、またはスマートTVの初期化中にマッピング関係表を確立することができることに留意されたい。例えば、マッピング関係表は、スマートTVが工場から出荷されるときに予め構成されてもよい。スマートTVによってステップ401でマッピング関係表を確立する具体的な実装形態は、本明細書では限定されない。
本出願のこの実施形態では、スマートTVは、大画面でビデオおよび画像の投影共有を行うだけでなく、大画面でオーディオの投影共有も行うことができる。スマートTVは、2つ以上のスピーカデバイスを使用してもよい。例えば、スマートTVには、2つ以上のスピーカデバイスが内蔵されていてもよいし、2つ以上の外部スピーカデバイスが接続されていてもよい。すなわち、ソースデバイスのオーディオデータを再生するように構成されたスピーカデバイスは、スマートTV内のオーディオモジュールであってもよいし、スマートTV外の独立したスピーカであってもよい。
図5aに示されるように、スピーカデバイスがスマートTVに内蔵される場合、スピーカデバイスはオーディオモジュールであってもよい。例えば、スマートTVには、左オーディオモジュールおよび右オーディオモジュールが内蔵されている。無制限に、2つ以上のオーディオモジュールがスマートTVの内部に含まれてもよい。画面サブエリアとスピーカデバイスの結合関係は、スマートTVが工場から出荷される前に予め設定される。例えば、1つのソースデバイスのみの投影されたコンテンツが表示されるとき、左右のオーディオモジュールが同時に使用される。2つのソースデバイスの投影されたコンテンツが左画面サブエリアおよび右画面サブエリアに別々に表示されるとき、左オーディオモジュールは、左画面サブエリアに表示されたコンテンツのオーディオを再生し、右オーディオモジュールは、右画面サブエリアに表示されたコンテンツのオーディオを再生する。
図5bに示されるように、スピーカデバイスがスマートTVに内蔵される場合、スピーカデバイスはオーディオモジュールであってもよい。例えば、スマートTVには、左オーディオモジュール、中央オーディオモジュール、および右オーディオモジュールが内蔵されている。画面サブエリアとスピーカデバイスの結合関係は、スマートTVが工場から出荷される前に予め設定される。例えば、1つのソースデバイスのみの投影されたコンテンツが表示されるとき、左、中央、および右のオーディオモジュールが同時に使用される。3つのソースデバイスの投影されたコンテンツが左画面サブエリア、中央画面サブエリア、および右画面サブエリアに別々に表示されるとき、左オーディオモジュールは、左画面サブエリアに表示されたコンテンツのオーディオを再生し、中央オーディオモジュールは、中央画面サブエリアに表示されたコンテンツのオーディオを再生し、右オーディオモジュールは、右画面サブエリアに表示されたコンテンツのオーディオを再生する。
スマートTVには、複数のオーディオモジュールが内蔵されていてもよい。図5cに示されるように、スマートTVには、左オーディオモジュールアレイおよび右オーディオモジュールアレイが内蔵されている。各オーディオモジュールアレイは、1つ以上のオーディオモジュールを含んでもよい。図5cに示されるように、左オーディオモジュールアレイは、左オーディオモジュール1および左オーディオモジュール2を含んでもよい。右オーディオモジュールアレイは、右オーディオモジュール1および右オーディオモジュール2を含んでもよい。画面サブエリアとスピーカデバイスの結合関係は、スマートTVが工場から出荷される前に予め設定される。例えば、1つのソースデバイスのみの投影されたコンテンツが表示されるとき、左右のオーディオモジュールアレイが同時に使用される。2つのソースデバイスの投影されたコンテンツが左画面サブエリアおよび右画面サブエリアに別々に表示されるとき、左オーディオモジュールアレイは、左画面サブエリアに表示されたコンテンツのオーディオを再生し、右オーディオモジュールアレイは、右画面サブエリアに表示されたコンテンツのオーディオを再生する。
図5dに示されるように、スマートTVは外部スピーカデバイスに代替として接続されてもよい。この場合、スピーカデバイスは、スマートTVの外部の独立したスピーカとなる。スピーカデバイスがスマートTVに接続されているとき、スマートTVは、画面サブエリアとスピーカデバイスの結合関係を取得することができる。図5dでは、説明のために、スマートTVが2つの外部スピーカデバイスに接続される一例が使用される。例えば、1つのソースデバイスのみの投影されたコンテンツが表示されるとき、左スピーカデバイスおよび右スピーカデバイス（すなわち、スピーカデバイス1およびスピーカデバイス2）が同時に使用される。2つのソースデバイスの投影されたコンテンツが左画面サブエリアおよび右画面サブエリアに別々に表示されるとき、左スピーカデバイス2は、左画面サブエリアに表示されたコンテンツのオーディオを再生し、右スピーカデバイス1は、右画面サブエリアに表示されたコンテンツのオーディオを再生する。
図5eに示されるように、スマートTVは、外部スピーカデバイスに代替として接続されてもよい。スピーカデバイスがスマートTVに接続されているとき、スマートTVは、画面サブエリアとスピーカデバイスの結合関係を取得することができる。例えば、1つのソースデバイスのみの投影されたコンテンツが表示されるとき、左スピーカデバイス、中央スピーカデバイス、および右スピーカデバイスが同時に使用される。3つのソースデバイスの投影されたコンテンツが左画面サブエリア、中央画面サブエリア、および右画面サブエリアに別々に表示されるとき、左スピーカデバイス2は、左画面サブエリアに表示されたコンテンツのオーディオを再生し、中央スピーカデバイス3は、中央画面サブエリアに表示されたコンテンツのオーディオを再生し、右スピーカデバイス1は、右画面サブエリアに表示されたコンテンツのオーディオを再生する。
図5fに示されるように、スマートTVは、外部スピーカデバイスに代替として接続されてもよい。例えば、スマートTVは、外部の左スピーカデバイスアレイおよび外部の右スピーカデバイスアレイに接続される。例えば、右スピーカデバイスアレイは、右スピーカデバイス1および右スピーカデバイス2を含んでもよく、左スピーカデバイスアレイは、左スピーカデバイス3および左スピーカデバイス4を含んでもよい。スピーカデバイスがスマートTVに接続されているとき、スマートTVは、画面サブエリアとスピーカデバイスの結合関係を取得することができる。例えば、1つのソースデバイスのみの投影されたコンテンツが表示されるとき、左スピーカデバイスアレイおよび右スピーカデバイスアレイが同時に使用される。2つのソースデバイスの投影されたコンテンツが左画面サブエリアおよび右画面サブエリアに別々に表示されるとき、左スピーカデバイスアレイは、左画面サブエリアに表示されたコンテンツのオーディオを再生し、右スピーカデバイスアレイは、右画面サブエリアに表示されたコンテンツのオーディオを再生する。例えば、画面が4つの画面サブエリアに分割されている場合、2つのソースデバイスの投影されたコンテンツが2つの左画面サブエリアに別々に表示されると、左スピーカデバイス3および左スピーカデバイス4は、2つの左画面サブエリアに表示されたコンテンツのオーディオを別々に再生し、2つのソースデバイスの投影されたコンテンツが2つの右画面サブエリアに別々に表示されると、右スピーカデバイス1および右スピーカデバイス2は、2つの右画面サブエリアに表示されたコンテンツのオーディオを別々に再生する。
本出願のこの実施形態では、スマートTV上に複数のスピーカデバイスの分散位置がある。例えば、スピーカデバイスが大画面の左右に分散されたり、スピーカデバイスが大画面の左、中央、および右に分散させたり、スピーカデバイスがスマートTVの画面周辺に分散されたりする。スピーカデバイスの分散位置は限定されない。
本出願のこの実施形態では、大画面を分割することによって取得された画面サブエリアを決定した後、スマートTVは、各画面サブエリアに、スマートTVに接続されたスピーカデバイスを割り当て、異なるスピーカデバイスを異なる画面サブエリアに割り当てることができる。スマートTVは、分割を通して取得された画面サブエリアと対応して割り当てられたスピーカデバイスの間の関係に基づいて、画面サブエリアとスピーカデバイスの間のマッピング関係表を確立する。
マッピング関係表は、1つの画面エリアのみが表示されるとき、スマートTVに接続されたすべてのスピーカデバイスが画面サブエリアに割り当てられるか、または画面が2つの画面サブエリアに分割されるとき、各画面サブエリアは1つ以上のスピーカデバイスに対応し、異なる画面サブエリアは異なるスピーカデバイスに対応することを含みうる。例えば、左画面サブエリアは1つ以上の左スピーカデバイスに対応し、右画面サブエリアは1つ以上の右スピーカデバイスに対応する。画面が3つの画面サブエリアに分割されるとき、各画面サブエリアは1つ以上のスピーカデバイスに対応する。
例えば、画面サブエリアとスピーカデバイスの間のマッピング関係表を確立するプロセスは、以下の通りである、すなわち、投影者が1人しかいないとき、大画面の左右のスピーカデバイスは同じビデオディスプレイにマッピングされて取り付けられる。左右に2人の投影者がいるとき、大画面の左側の1つ以上のスピーカデバイスは左画面サブエリアにマッピングされて取り付けられ、大画面の右側の1つ以上のスピーカデバイスは右画面サブエリアに取り付けられる。左、中央、および右に3人の投影者がいるとき、大画面の左側の1つ以上のスピーカデバイスは左画面サブエリアにマッピングされて取り付けられ、大画面の中央にある1つ以上のスピーカデバイスは中央画面サブエリアに取り付けられ、大画面の右側の1つ以上のスピーカデバイスは右画面サブエリアに取り付けられる。
ステップ402：スマートTVと携帯電話1が通信接続を確立する。
例えば、スマートTVおよび携帯電話1は、無線方式（例えば、ブルートゥース、Wi－Fi、またはWLAN直接接続）で通信接続を確立してもよい。代替として、スマートTVおよび携帯電話1は有線方式（例えば、USBデータケーブルまたはdockデバイス）で通信接続を確立してもよい。スマートTVと携帯電話の間の通信方式は限定されない。
例えば、スマートTVと携帯電話1とはWi－Fi接続を確立する。ユーザは、スマートTVおよび携帯電話1のWi－Fi機能を有効にすることができ、スマートTVおよび携帯電話1は同じWi－Fiネットワークにアクセスする。ユーザは、携帯電話1の表示コンテンツおよびオーディオデータをスマートTVに投影して表示したい場合、スマートTVおよび携帯電話1にインストールされた投影アプリを開くことができる。別の例では、ユーザは携帯電話インターフェースの投影ボタンを直接タップすることができ、その結果、携帯電話1はスマートTVへの通信接続を開始する。投影ボタンは、例えば、ビデオアプリの設定インターフェース、プルアップメニュー、ドロップダウンメニュー、または再生インターフェースのボタンであってもよい。
図6に示されるように、ユーザが携帯電話1で投影アプリを開いた後、携帯電話1はインターフェース601を表示することができる。携帯電話1は、インターフェース601に、同じWi－Fiネットワークで発見されたデバイスのリスト602を表示することができる。例えば、デバイスリスト602は、スマートTVの識別子603を含む。さらに、ユーザがデバイスリスト602において識別子603を選択したことが検出された場合、携帯電話1は、WLAN直接接続機能を使用してスマートTVとのWi－Fi接続を確立してもよい。Wi－Fi接続を通してスマートTVと携帯電話1の間の通信を確立する方法は、上記の説明のための一例として使用される。これは、本明細書における単なる一例であり、本出願の実施形態を限定することが意図されるものではない。
加えて、ユーザがデバイスリスト602の識別子603を選択した後、スマートTVは、携帯電話1へのWi－Fi接続を確立することを決定するようにユーザにさらに促すことができる。例えば、ユーザがWi－Fi接続を確立することを決定したことをスマートTVが検出した後、携帯電話1は、WLAN直接接続機能を使用してスマートTVとのWi－Fi接続を確立してもよい。
本出願のこの実施形態では、QRコードがスマートTVの大画面に表示されてもよく、ユーザは、スマートTVとの通信を確立するために、携帯電話1を使用して大画面のQRコードをスキャンする。スマートTVの大画面にQRコードを表示する方法は複数ある。以下では、例を使用して説明を個別に提供する。
例えば、ユーザが携帯電話1でスマートTVおよび投影アプリを開いた後、図7aに示されるように、スマートTVはQRコード701を表示することができ、QRコード701は大画面の全エリアを占めることができる。すなわち、QRコード701は、大画面に全画面占有で表示される。QRコード701は、スマートTVの識別子、例えば、TVの識別子のMACアドレスまたはIPアドレスを搬送することができる。さらに、ユーザは、携帯電話1の投影アプリによって提供されるコードスキャン機能を使用してQRコード701をスキャンし、スマートTVの識別子を取得してもよい。このように、携帯電話1は、スマートTVの識別子に基づきWLAN直接接続機能を使用してスマートTVとのWi－Fi接続を確立してもよい。Wi－Fi接続を通してスマートTVと携帯電話1の間で通信が確立されうる方法が、上記の説明のための一例として使用される。これは、本明細書における単なる一例であり、本出願の実施形態を限定することが意図されるものではない。
スマートTVと携帯電話1が通信接続を確立した後、スマートTVと携帯電話1はデバイスグループを形成する。デバイスグループのメンバは、動的に増加または減少されうる。
本出願のこの実施形態では、ソースデバイスは、スマートTVのQRコードをスキャンすることによって投影に参加することができる。画面でのQRコードの画像サイズおよび表示位置は限定されない。図7bに示されるように、スマートTVは、1つのQRコード701を表示することができ、QRコード701は、大画面の一部のエリアを占有することができる。例えば、QRコード701は、大画面にズームアウトされた画像で表示される。QRコード701は、大画面の中央に、中央にズームアウトされた方法で表示されてもよい。
図7cに示されるように、スマートTVは、1つのQRコード701を表示することができ、QRコード701は、大画面の一部のエリアを占有することができる。例えば、QRコード701は、大画面にズームアウトされた画像で表示される。QRコード701は、大画面の左上隅に、左揃えでズームアウトされた方法で表示されてもよい。
図7dに示されるように、スマートTVは、1つのQRコード701を表示することができ、QRコード701は、大画面の一部のエリアを占有することができる。例えば、QRコード701は、大画面にズームアウトされた画像で表示される。QRコード701は、大画面の左下隅に、左揃えでズームアウトされた方法で表示されてもよい。
図7eに示されるように、スマートTVは、1つのQRコード701を表示することができ、QRコード701は、大画面の一部のエリアを占有することができる。例えば、QRコード701は、大画面にズームアウトされた画像で表示される。QRコード701は、大画面の右上隅に、右揃えでズームアウトされた方法で表示されてもよい。
図7fに示されるように、スマートTVは、1つのQRコード701を表示することができ、QRコード701は、大画面の一部のエリアを占有することができる。例えば、QRコード701は、大画面にズームアウトされた画像で表示される。QRコード701は、大画面の右下隅に、右揃えでズームアウトされた方法で表示されてもよい。
図7gに示されるように、スマートTVは、1つのQRコード701を表示することができ、QRコード701は、大画面の一部のエリアを占有することができる。例えば、QRコード701は、大画面にズームアウトされた画像で表示される。QRコード701は、大画面の上部に、中央にズームアウトされた方法で表示されてもよい。
図7hに示されるように、スマートTVは、1つのQRコード701を表示することができ、QRコード701は、大画面の一部のエリアを占有することができる。例えば、QRコード701は、大画面にズームアウトされた画像で表示される。QRコード701は、大画面の下部に、中央にズームアウトされた方法で表示されてもよい。
無制限に、本出願のこの実施形態では、QRコードは、大画面の中央、大画面の右側、大画面の左側、大画面の上部、または大画面の下部に配置されてもよい。具体的には、QRコードを大画面に表示する方法は、適用シナリオを参照して設定されうる。加えて、QRコードは、他の方法で大画面に表示されてもよい。例えば、QRコードを画面に浮動させてもよい。任意選択的に、QRコードを表示するためのインターフェースでは、関連する紹介画像がさらに表示されてもよく、その結果、ユーザは、対応する投影機能の使用方法を知る。
加えて、QRコードをスマートTVに表示する方法も限定されない。例えば、QRコードは、ポップアップボックスに表示されてもよいし、表示命令を受けた後に暗い状態から明るい状態まで表示されてもよいし、透かし入りで表示されてもよい。
本出願のこの実施形態では、1つ以上のQRコードが大画面に表示されうる。例えば、図7aから図7hにおいて、1つのQRコードが大画面に表示されうる。図7iに示されるように、2つのQRコード（QRコード701およびQRコード702）が大画面に表示されてもよい。図7jに示されるように、3つのQRコード（QRコード701、QRコード702、QRコード703）が大画面に表示されてもよい。図7aから図7jの例示的な説明から、1つのQRコードがスマートTVの画面に表示されてもよいし、2つ、3つ、またはそれ以上のQRコードが同時にスマートTVの画面に表示されてもよく、各ソースデバイスが1つのQRコードをスキャンして投影共有に参加してもよいことが知りうる。大画面に表示されるQRコードの数は、本出願の実施形態では限定されない。
図7iに示されるように、ユーザ1は、携帯電話1を使用して大画面のQRコードをスキャンしてスマートTVとの通信接続を確立することができ、ユーザ2は、携帯電話2を使用して大画面のQRコードをスキャンしてスマートTVとの通信接続を確立することができる。例えば、携帯電話1のビデオデータは大画面の画面サブエリア1に投影されてもよいし、携帯電話2のビデオデータを大画面の画面サブエリア2に投影してもよい。携帯電話1と携帯電話2は、スマートTVを通して投影共有を行うことができる。
スマートTVについては、以前にソースデバイスが接続されていない場合、スマートTVの大画面に1つのQRコードのみを表示してもよいし、スマートTVの大画面に2つのQRコードを同時に表示してもよいことに留意されたい。QRコードをスキャンすることによってソースデバイスが追加された後、別のQRコードがスマートTVの大画面に表示されてもよく、または元々表示された第2のQRコードがズームアウトされて大画面の左、右、上、または下に表示されてもよく、またはQRコードが現在のインターフェースに浮動方式で表示されてもよく、またはQRコードがピクチャインピクチャ方式で現在のインターフェースに表示されてもよい。詳細については、以下の内容および例示的な説明を参照されたい。
ステップ403：携帯電話1は、スマートTVに第1の投影命令を送信する。
例えば、ユーザは、携帯電話1の投影アプリを使用して、スマートTVとのWi－Fi接続を確立する。図6に示されるように、携帯電話1によって表示されるインターフェース601は、投影オプション604をさらに含むことができる。スマートTVの識別子603を選択した後にユーザが投影オプション604をタップしたことが検出された場合、携帯電話はソースデバイスとして機能し、ユーザによって選択された宛先デバイス（すなわち、スマートTV）に第1の投影命令を送信することができる。例えば、投影命令は携帯電話1の識別子を含み、スマートTVは、第1の投影命令を受信した後に、次に投影を行うソースデバイスが携帯電話1であると決定してもよい。代替として、携帯電話は、ユーザによって投影オプション604をタップする代わりに、大画面のQRコードをスキャンし、スマートTVへの接続を確立した後に投影を自動的に行ってもよい。具体的な投影方法は本明細書では限定されない。
もちろん、スマートTVの識別子603を選択した後、ユーザはあるいは、投影アプリのソースデバイスまたは宛先デバイスとしてスマートTVを手動で設定してもよい。ユーザがスマートテレビを宛先デバイスに設定すると、携帯電話1はスマートテレビのソースデバイスとなる。ユーザがスマートテレビをソースデバイスに設定すると、携帯電話1はスマートテレビの宛先デバイスとなる。これは、本出願の実施形態において限定されない。
ステップ404：スマートTVは、画面サブエリアとスピーカデバイスの間のマッピング関係表に基づいて、画面サブエリアに対応するスピーカデバイスを構成する。
本出願のこの実施形態では、携帯電話1の第1の投影命令を受信した後、第1の投影命令に応答して、スマートTVは、現在のソースデバイスを決定し、ソースデバイスによって占有される画面サブエリアに対応するスピーカデバイスを構成する。例えば、大画面に1つの画面エリアのみが表示される場合、スマートTVに接続されているすべてのスピーカデバイスは画面エリアに割り当てられる。図5aから図5dに示されるように、すべてのオーディオモジュールまたはスピーカデバイスが画面エリアに割り当てられる。
本出願のこの実施形態では、投影の画面サブエリアの位置は、スピーカデバイスに結合される。具体的には、左の投影場所が左スピーカデバイスに対応し、右の投影場所が右スピーカデバイスに対応する。携帯電話1がQRコードをスキャンして投影を行うとき、携帯電話1が左側のQRコードをスキャンすると、左スピーカデバイスが投影に使用され、携帯電話1が右側のQRコードをスキャンすると、右スピーカデバイスが投影に使用される。
複数のデバイスが投影を行うとき、スマートTVは、ソースデバイスによってスキャンされたQRコードの位置に基づいて、ソースデバイスに割り当てられるべき1つ以上のスピーカデバイスを決定することができることに留意されたい。例えば、第1のソースデバイスが投影を行うとき、すべてのスピーカデバイスが第1のソースデバイスに割り当てられる。第2のソースデバイスが投影に参加するとき、第2のソースデバイスが画面の右側のQRコードをスキャンする場合、スマートTVは、画面の右サブエリアおよび右スピーカデバイスを第2のソースデバイスに割り当て、画面の左サブエリアおよび左スピーカデバイスを第1のソースデバイスに割り当てることができる。別の例として、第2のソースデバイスが画面の左側のQRコードをスキャンする場合、スマートTVは、画面の左サブエリアおよび左スピーカデバイスを第2のソースデバイスに割り当て、画面の右サブエリアおよび右スピーカデバイスを第1のソースデバイスに割り当てることができる。代替として、スマートTVは、第2のソースデバイスが投影に参加したとき、デフォルトで、左または右の画面エリアおよび対応するスピーカデバイスを第2の投影ソースデバイスに割り当て、反対側の画面エリアおよびスピーカデバイスを第1の投影ソースデバイスに割り当ててもよい。代替として、第1のソースデバイスが投影を行った後、スマートTVの画面の左右に2つのQRコードが同時に表示されてもよい。すなわち、2つのQRコードが画面に同時に表示され、一方は左側にあり、他方は右側にある。第2のソースデバイスが左側のQRコードをスキャンする場合、左画面エリアおよび左スピーカデバイスが第2のソースデバイスに割り当てられ、右画面エリアおよび右スピーカデバイスが第1のソースデバイスに割り当てられる。第2のソースデバイスが右QRコードをスキャンする場合、右画面エリアおよび右スピーカデバイスが第2のソースデバイスに割り当てられ、左画面エリアおよび左スピーカデバイスが第1のソースデバイスに割り当てられる。
ステップ405：携帯電話1は、投影のために携帯電話1の第1の表示データおよび第1のオーディオデータをスマートTVに送信する。
スマートTVは、携帯電話1によって送信された第1の表示データおよび第1のオーディオデータを受信することができる。例えば、現在占有されている画面サブエリアに対応するスピーカデバイスを決定した後、スマートTVは、第1の表示データおよび第1のオーディオデータを受信する。スマートTVによって表示される第1の表示データは、具体的には、第1の表示データに対応する画像であることに留意されたい。スマートTVによって再生される第1のオーディオデータは、具体的には、第1のオーディオデータに対応するオーディオである。
無制限に、スマートTVによって携帯電話の表示データおよびオーディオデータを受信することと、スマートTVによって画面サブエリアに対応するスピーカデバイスを構成することの間の論理的シーケンスに制限はない。すなわち、ステップ404はステップ405の前に行われてもよく、または、ステップ405はステップ404の前に行われてもよく、または、ステップ404とステップ405は同時に行われてもよい。これは本明細書では限定されない。
無制限に、携帯電話1が第1の投影命令を送信した後、携帯電話1は、現在の投影の第1の投影パラメータをスマートTVとさらにネゴシエートすることができる。ネゴシエーションプロセスは、本明細書では詳細に説明されない。携帯電話は、第1の投影パラメータに基づいて、スマートTVに投影される必要がある表示データおよびオーディオデータを生成することができる。
例えば、図8に示されるように、携帯電話1において投影機能を有効にした後、ユーザはゲームアプリを開き、第1のインターフェースが表示される。この場合、携帯電話1は、第1のインターフェースを表示のためにスマートTVに投影し、第1のオーディオデータをスマートTVに送信する必要がある。図8に示されるように、第1のインターフェースを表示するとき、スマートTVは、携帯電話1によって占有される画面サブエリアに割り当てられたスピーカデバイスを使用して第1のオーディオデータをさらに再生することができる。
携帯電話1によってスマートTVに送信される第1のオーディオデータは、携帯電話1の元のオーディオであってもよく、または第1の投影パラメータに基づいて携帯電話1によって符号化されたオーディオデータであってもよいことに留意されたい。これは本明細書では限定されない。
ステップ406：スマートTVは、第1の表示データを表示し、決定されたスピーカデバイスを使用して第1のオーディオデータを再生する。
例えば、携帯電話1は、第1のインターフェースをスマートTVに投影する。図8に示されるように、携帯電話1によって送信された第1の表示データを受信した後、スマートTVは、ネゴシエートされた第1の投影パラメータに基づいて第1の表示データを復号および表示することができる。例えば、スマートTVは、第1の投影パラメータの符号化圧縮率に対応する復号方式で第1のインターフェースを復元し、第1の投影パラメータの投影解像度に基づいて第1のインターフェースを表示することができる。第1の表示データを表示するとき、スマートTVはさらに、決定されたスピーカデバイスを使用して第1のオーディオデータを再生する必要がある。投影者は、スピーカデバイスによって再生されるオーディオデータを通して投影共有を体験することができる。
前述の実施形態では、スマートTVのソースデバイス（すなわち、携帯電話1）の数が1つである一例が説明に使用された。スマートTVは、1つ以上のソースデバイスによって送信された表示データおよびオーディオデータを動的に受信し、投影およびオーディオ再生を行うことができることが理解されよう。スマートTVのソースデバイスの数が変化し、各ソースデバイスがスマートTVに投影を行うと、スマートTVによって各画面サブエリアに割り当てられるスピーカデバイスも動的に変化する。スマートTVによって表示される第1の表示データは、具体的には、第1の表示データに対応する画像であることに留意されたい。スマートTVによって再生される第1のオーディオデータは、具体的には、第1のオーディオデータに対応するオーディオである。
例えば、携帯電話1が表示データおよびオーディオデータをスマートTVに送信するプロセスにおいて、別のソースデバイスがスマートTVとの通信接続をさらに確立し、表示データおよびオーディオデータをスマートTVに投影してもよい。例えば、携帯電話2は、スマートTVの新たに追加されたソースデバイスである。図9に示されるように、本出願のこの実施形態で提供される投影されたオーディオおよびビデオ再生方法は、以下のステップをさらに含む。
ステップ901：スマートTVと携帯電話2が通信接続を確立する。
スマートTVと携帯電話2が通信接続を確立するプロセスは、ステップ402のスマートTVと携帯電話1が通信接続を確立するプロセスと同様である。例えば、携帯電話2は、図10aに示されるQRコードをスキャンして、スマートTVの識別子を取得し、スマートTVの識別子に基づいてスマートTVとのWi－Fi接続を確立してもよい。本出願のこの実施形態では詳細は説明されない。
例えば、図8に示されるように、スマートTVは、携帯電話1によって投影される第1のインターフェースを途中に表示してもよい。別の例として、図10aに示されるように、スマートTVは、あるいは、予め設定された左画面サブエリアに第1のインターフェースを表示し、予め設定された右画面サブエリアにQRコードを表示し続けてもよい。別のソースデバイスは、QRコードをスキャンして投影を開始することによって、スマートTVとの通信接続を引き続き確立してもよい。図10aでは、説明のために、QRコードが右画面サブエリアのすべてを占有する一例が使用される。
別の例として、図8に示されるように、スマートTVは、携帯電話1によって投影された第1のインターフェースを表示するとき、あるいはQRコードを非表示にしてもよい。加えて、スマートTVは、QRコードを呼び出すために使用されるオプションを表示してもよい。ユーザがスマートTVのオプションを選択したことが検出された場合、図10aに示されるように、スマートTVは、第1のインターフェースを表示しながらQRコードを再表示することができ、その結果、別のソースデバイスは、QRコードをスキャンすることによってスマートTVとの通信接続を確立し、投影を開始する。
図10aに示されるように、スマートTVは、あるいは、予め設定された左画面サブエリアに第1のインターフェースを表示し、予め設定された右画面サブエリアにQRコードを表示し続けてもよい。別のソースデバイスは、QRコードをスキャンすることによってスマートTVとの通信接続を確立し、投影を開始してもよい。図10aでは、説明のために、QRコードが右画面サブエリアのすべてを占有する一例が使用される。
図10bに示されるように、スマートTVは、あるいは、予め設定された左画面サブエリアに第1のインターフェースを表示してもよい。携帯電話1の第1のインターフェースは画面サブエリアにおいてポートレートモードで表示され、スマートTVは、予め設定された右画面サブエリアにおいてQRコードの表示を続けることができる。別のソースデバイスは、QRコードをスキャンして投影を開始することによって、スマートTVとの通信接続を引き続き確立してもよい。QRコードは、大画面の右エリアの一部を占めてもよい。例えば、QRコードは、大画面にズームアウトされた画像で表示される。QRコードは、大画面の右画面サブエリアに、中央にズームアウトされた方法で表示されてもよい。あるいは、携帯電話1のインターフェースは、画面サブエリアにランドスケープモードで表示されてもよい。
あるいは、別の実装形態では、第1のインターフェースは画面の中央エリアに表示されてもよく、QRコードは画面の左側または右側に表示される。図10cに示されるように、第1のインターフェースは画面の中央エリアに表示され、QRコードは画面の右下隅に表示される。図10dに示されるように、第1のインターフェースは画面の中央エリアに表示され、QRコードは画面の右上隅に表示される。図10eに示されるように、第1のインターフェースは画面の中央エリアに表示され、QRコードは画面の左上隅に表示される。図10fに示されるように、第1のインターフェースは画面の中央エリアに表示され、QRコードは画面の左下隅に表示される。図10gに示されるように、第1のインターフェースは画面の中央エリアに表示され、QRコードは画面の中央上部に表示される（または画面の中央下部に表示されてもよい）。図10hに示されるように、第1のインターフェースは全画面モードで画面に表示され、QRコードは第1のインターフェースの右上隅に浮動方式で表示され、2つのスピーカデバイスが携帯電話1のオーディオデータを再生する。図10hのものと同様に、QRコードは、あるいは、別の場所、例えば画面の左下隅、右下隅、または左上隅に、浮動方式またはピクチャインピクチャ方式で表示されてもよいことが理解されよう。
図10iに示されるように、本出願のこの実施形態では、1つ以上のQRコードが大画面に表示されうる。例えば、図10aから図10hでは、大画面に1つのQRコードが表示されてもよく、図10iでは、大画面に2つのQRコードが表示されてもよい。図10aから図10iの例示的な説明から、1つのQRコードがスマートTVの画面に表示されてもよいし、2つ、3つ、またはそれ以上のQRコードが同時にスマートTVの画面に表示されてもよく、各ソースデバイスが1つのQRコードをスキャンして投影共有に参加してもよいことが知りうる。大画面に表示されるQRコードの数は、本出願の実施形態では限定されない。
スマートTVと携帯電話2が通信接続を確立した後、スマートTVが携帯電話1との通信接続を引き続き維持している場合、スマートTV、携帯電話1、および携帯電話2はデバイスグループを形成する。同様に、デバイスグループのメンバは、動的に増加または減少されうる。
ステップ902：携帯電話2は、スマートTVに第2の投影命令を送信する。
携帯電話2が第2の投影命令をスマートTVに送信するプロセスは、携帯電話1がステップ403で第1の投影命令をスマートTVに送信するプロセスと同様である。したがって、本明細書では詳細が再度説明されない。
ステップ903：スマートTVは、画面サブエリアとスピーカデバイスの間のマッピング関係表に基づいて、画面サブエリアに対応するスピーカデバイスを構成する。
本出願のこの実施形態では、携帯電話2の第2の投影命令を受信した後、第2の投影命令に応答して、スマートTVは、現在のソースデバイスを決定し、ソースデバイスによって占有される画面サブエリアに対応するスピーカデバイスを構成する。例えば、1つのソースデバイス（携帯電話1）のみの画像が以前に表示されていた場合、スマートTVに接続されているすべてのスピーカデバイスは、携帯電話1によって占有される画面サブエリアに割り当てられる。この場合、スピーカデバイスと携帯電話1によって占有される画面サブエリアの対応関係は変更されうる。携帯電話1の画面サブエリアに元々割り当てられているスピーカデバイスのいくつかは、携帯電話2によって占有される画面サブエリアに割り当てられる。別の例では、投影の画面サブエリアの位置は、スピーカデバイスに結合される。具体的には、左の投影場所が左スピーカデバイスに対応し、右の投影場所が右スピーカデバイスに対応する。携帯電話2がQRコードをスキャンして投影を行うとき、携帯電話2が左側のQRコードをスキャンすると、左スピーカデバイスが投影に使用され、携帯電話2が右側のQRコードをスキャンすると、右スピーカデバイスが投影に使用される。
2つの携帯電話が同時に投影を行うとき、2つの携帯電話のランドスケープインターフェースが（図11aに示されるように）大画面に同時に表示されてもよいし、または2つの携帯電話のポートレートインターフェースが大画面に同時に表示されてもよいし、または一方の携帯電話のランドスケープインターフェースおよび他方の携帯電話のポートレートインターフェースが大画面に表示されてもよいことに留意されたい。本出願のこの実施形態では、異なる投影されたインターフェースの表示方法は限定されない。
図11bに示されるように、スピーカデバイス1は携帯電話1のオーディオデータを再生し、スピーカデバイス2は携帯電話2のオーディオデータを再生する。
図11cに示されるように、携帯電話1のポートレートインターフェースは画面サブエリア1に投影され、携帯電話2のポートレートインターフェースは画面サブエリア2に投影される。携帯電話1のポートレートインターフェースおよび携帯電話2のポートレートインターフェースは、大画面に同時に表示されてもよく、QRコードも大画面に表示されてもよい。携帯電話3はまた、QRコードをスキャンし、投影共有に参加することができる。
図11dに示されるように、1つのソースデバイス（例えば、携帯電話1）の画像は大画面に表示されてもよく、QRコードは左側と右側の各々に表示されてもよい。携帯電話2は、左側のQRコードをスキャンしてもよいし、右側のQRコードをスキャンしてもよい。携帯電話2が左側のQRコードをスキャンする場合、携帯電話2は左画面サブエリアに投影を行うことができ、または携帯電話2が右側のQRコードをスキャンする場合、携帯電話2は右画面サブエリアに投影を行うことができる。携帯電話1のインターフェースは、全画面または大画面の中央に表示されてもよいことが理解されよう。大画面に投影するために新しいソースデバイスが追加された後、携帯電話1の投影は、左画面サブエリアから右画面サブエリアに移動される必要がある。同時に、携帯電話1に対応する画面サブエリアに対応するスピーカデバイスが切り替えられ、スピーカデバイスと携帯電話1に対応する画面サブエリアの間のリアルタイムの対応が確保される。
本出願のこの実施形態は、デュアルチャネルまたはマルチチャネルのオーディオおよびビデオ共有、ならびにオーディオ付きテキストストリームの表示などのシナリオに適用されてもよく、スマートTVなどの電子デバイスで使用される。一例として、ゲーム対戦の投影が使用される。2人以上のプレーヤが対戦のために同じゲームに同時に参加する場合、電子デバイスに対するビデオおよび音響効果は大画面の宛先デバイスに共有され、大画面で公正な競争が行われる。画面は2つ以上の画面サブエリアに分割され、左プレーヤのゲーム音響効果が大画面の左スピーカで再生され、右プレーヤのゲーム音響効果が大画面の右スピーカで再生される。それぞれの視点のオーディオおよびビデオが共有されるとき、プレーヤは、それぞれの側のオーディオビジュアル体験に集中することができる。
ステップ904：携帯電話1は、投影のために携帯電話1の第1の表示データおよび第1のオーディオデータをスマートTVに送信する。
ステップ905：携帯電話2は、投影のために携帯電話2の第2の表示データおよび第2のオーディオデータをスマートTVに送信する。
スマートTVが現在占有されている画面サブエリアに対応するスピーカデバイスを決定した後、スマートTVは、携帯電話2によって送信された受信した第2の表示データを表示し、携帯電話2によって送信された受信した第2のオーディオデータを再生することができる。無制限に、携帯電話2が第2の投影命令を送信した後、携帯電話2は、現在の投影の第2の投影パラメータをスマートTVとさらにネゴシエートすることができる。ネゴシエーションプロセスは、本明細書では詳細に説明されない。携帯電話は、第2の投影パラメータに基づいて、スマートTVに投影される必要がある表示データおよびオーディオデータを生成することができる。
例えば、図8に示されるように、携帯電話2の第2のインターフェースは、携帯電話1の第1のインターフェースと同様である。携帯電話2の第2のインターフェースは本明細書では説明されない。携帯電話2において画面投影機能を有効にした後、ユーザはゲームアプリを開き、第2のインターフェースが表示される。この場合、携帯電話2は、表示のために第2のインターフェースをスマートTVに投影し、第2のオーディオデータをスマートTVに送信し、携帯電話2によって占有された画面サブエリアに基づいてスマートTVによって割り当てられたスピーカデバイスを使用して第2のオーディオデータを再生する必要がある。
携帯電話2によってスマートTVに送信される第2のオーディオデータは、携帯電話2の元のオーディオであってもよく、または第2の投影パラメータに基づいて携帯電話2によって符号化されたオーディオデータであってもよいことに留意されたい。これは本明細書では限定されない。
ステップ906：スマートTVは、第1の表示データおよび第2の表示データを表示し、決定されたスピーカデバイスを使用して第1のオーディオデータおよび第2のオーディオデータを再生する。
スマートTVは、異なるスピーカデバイスを使用して、携帯電話1のオーディオデータおよび携帯電話2のオーディオデータを再生してもよい。携帯電話1および携帯電話2がスマートTVとオーディオおよびビデオを共有するとき、オーディオデータは、ビデオ追加位置に基づいて動的かつ適応的に出力されうる。多対一のオーディオおよびビデオ共有シナリオでは、例えば、二対一の投影シナリオでは、スマートTVの大画面は左右のサブエリアに分割され、投影者は対応する側に配置される。スマートTVが2つのスピーカデバイスで構成されている場合、投影者が多感覚多次元の次元でユーザ側のオーディオビジュアル体験に集中することを可能にするために、対応するオーディオデータがその側で再生される必要があり、これは、ユーザ側の反対側への投影におけるオーディオデータの影響を低減する。
本出願のこの実施形態では、携帯電話1は投影者1によって操作される端末であり、携帯電話2は投影者2によって操作される端末であり、2人の投影者はそれぞれ同じ大画面の左右に立ち、投影を行う。大きな画面は左右の画面サブエリアに分割され、スマートTVは左スピーカおよび右スピーカを含む。この場合、画面サブエリアとスピーカデバイスの間には対応関係がある。大画面の左側に立っているユーザは、携帯電話1を使用して大画面の左側のQRコードをスキャンすることができ、大画面の左スピーカは、左画面サブエリアにマッピングされて取り付けられる。大画面の右側に立っているユーザは、携帯電話2を使用して大画面の右側のQRコードをスキャンすることができ、右スピーカは右画面サブエリアに取り付けられる。したがって、ユーザは、ユーザ側の投影されたコンテンツの感覚的体験に集中することができ、大画面を使用して投影共有体験を改善することができる。携帯電話が投影のために大画面に接続されるときまたは前に、プロンプト情報が大画面のインターフェースに表示されて、前述の実施形態で説明された画面投影ソリューションのユーザを促すことができる。例えば、複数のユーザ（例えば、2人のユーザ）が投影を行うとき、左側のQRコードをスキャンするソースデバイスには画面の左部分と左スピーカデバイスが割り当てられ、右側のQRコードをスキャンするソースデバイスには画面の右部分と右スピーカデバイスが割り当てられる。
本出願のいくつかの実施形態では、携帯電話1と携帯電話2の両方が投影共有を行っており、スマートTVは、ユーザによって送信された画面切り替え命令をさらに受信することができ、その結果、スマートTVは、携帯電話1および携帯電話2の各々によって元々占有されている画面サブエリアに対応するスピーカデバイスを変更することができる。携帯電話の位置が変化した後、スピーカデバイスによって再生される音源の方向も変化する。このようにして、ユーザは、ユーザ側の投影の感覚的体験に集中することができ、大画面を使用して投影共有体験を改善することができる。
上記実施形態では、スマートTVが2つのソースデバイス（すなわち、携帯電話1および携帯電話2）を有する一例が説明に使用された。スマートTVは、1つ以上のソースデバイスによって送信された表示データおよびオーディオデータを動的に受信し、投影されたオーディオ再生を行うことができることが理解されよう。スマートTVのソースデバイスの数が変化し、各ソースデバイスがスマートTVに投影を行うとき、スマートTVによって各画面サブエリアに割り当てられるスピーカデバイスも動的に変化する。加えて、投影共有に参加したソースデバイスは途中で投影共有を終了するようにしてもよい。この場合、スマートTVは、1つ以上のソースデバイスによって送信された投影終了命令を動的に受信することができる。スマートTVのソースデバイスの数が変化し、各ソースデバイスがスマートTVに投影を行うとき、スマートTVによって各画面サブエリアに割り当てられるスピーカデバイスも動的に変化する。
例えば、携帯電話1および携帯電話2がスマートTVにオーディオ再生データおよびオーディオデータを投影するプロセスにおいて、投影共有に参加した携帯電話は投影を終了することができる。例えば、携帯電話2は、投影終了命令を開始する。図12に示されるように、本出願のこの実施形態で提供される投影されたオーディオおよびビデオ再生方法は、以下のステップをさらに含む。
ステップ1201：携帯電話2は、スマートTVに第2の投影終了命令を送信する。
携帯電話2は、第2の投影終了命令をスマートTVに送信して、携帯電話2が投影を終了する必要があることをスマートTVに命令する。
携帯電話2は、投影共有に動的に参加してもよいし、投影共有を動的に終了してもよい。同様に、携帯電話1は、投影共有に動的に参加してもよいし、投影共有を動的に終了してもよい。これは本明細書では限定されない。携帯電話1が投影を終了する必要がある場合、携帯電話1はスマートTVに第1の投影終了命令を送信することもできる。
ステップ1202：スマートTVは、携帯電話2によって占有された画面サブエリアに割り当てられたスピーカデバイスをキャンセルする。
スマートTVは、携帯電話2から送信された第2の投影終了命令を受信した後、携帯電話2のオーディオデータを再生しなくなる。したがって、スマートTVによって、携帯電話2により占有された画面サブエリアに以前に割り当てられたスピーカデバイスが保持される必要がない。スマートTVは、携帯電話2によって占有された画面サブエリアに割り当てられたスピーカデバイスをキャンセルすることができる。
ユーザは、マルチ端末投影共有を終了することができる。すなわち、ユーザは、投影共有をキャンセルすることができる。この場合、スマートTVの大画面は、2つの画面サブエリアの表示から単一の画面エリアの表示に切り替えてもよい。
ステップ1203：スマートTVは、画面サブエリアとスピーカデバイスの間のマッピング関係表に基づいて、現在の画面サブエリアに対応するスピーカデバイスを構成する。
本出願のこの実施形態では、図13に示されるように、携帯電話2の第2の投影終了命令を受信した後、第2の投影終了命令に応答して、スマートTVは、現在のソースデバイスを決定し、ソースデバイスによって占有される画面サブエリアに対応するスピーカデバイスを構成する。例えば、携帯電話1および携帯電話2が投影共有を行っているとき、携帯電話2のユーザは投影終了命令を送信することができる。この場合、スマートTVは、画面サブエリアとスピーカデバイスの間のマッピング関係表に基づいて、携帯電話2に割り当てられたスピーカデバイスを取り消し、スピーカデバイスを携帯電話1に再割り当てして、すべてのスピーカデバイスの適切な利用を実現することができる。携帯電話2が投影の終了を申請した場合、スマートTVは、携帯電話2によって占有される画面サブエリアに対応するスピーカデバイスをもはや割り当てなくてもよい。
投影前に、ユーザは、画面サイズに基づいて画面を異なる数の投影画面のための画面サブエリアに分割し、環境内の接続されたスピーカに関する統計を収集し、異なる数の投影画面のためのマッピング表を確立する。マッピング表は、後続のオーディオ適応調整ポリシーとして使用される。投影中、投影者が終了すると、割り当てられたスピーカは予め設定されたポリシーにより取り消され、その結果、オーディオ出力方向は動的に調整されうる。
上記実施形態では、スマートTVが2つのソースデバイス（すなわち、携帯電話1および携帯電話2）を有する一例が説明に使用された。スマートTVは、1つ以上のソースデバイスによって送信された表示データおよびオーディオデータを動的に受信し、投影されたオーディオ再生を行うことができることが理解されよう。スマートTVのソースデバイスの数が変化し、各ソースデバイスがスマートTVに投影を行うとき、スマートTVによって各画面サブエリアに割り当てられるスピーカデバイスも動的に変化する。加えて、投影共有に参加したソースデバイスは途中で投影共有を終了するようにしてもよい。この場合、スマートTVは、1つ以上のソースデバイスによって送信された投影終了命令を動的に受信することができる。スマートTVのソースデバイスの数が変化し、各ソースデバイスがスマートTVに投影を行うとき、スマートTVによって各画面サブエリアに割り当てられるスピーカデバイスも動的に変化する。
図14に示されるように、以下では、画面サブエリアとスピーカデバイスの間のマッピング関係表を確立するプロセスを説明し、主に以下のステップを含む。
1401：異なる投影数量の分割によって取得された画面サブエリアを決定する。
1402：各画面サブエリアおよび対応するオーディオ出力方向に対応するスピーカデバイスを決定する。
1403：異なる投影数量についての画面サブエリアとスピーカデバイスの間のマッピング関係表を確立する。
スピーカデバイスは、オーディオ出力デバイスと表現されてもよい。具体的には、投影者が1人しかいないときには、大画面の左スピーカデバイスおよび右スピーカデバイスは同一のビデオディスプレイにマッピングされて取り付けられる。左右に2人の投影者がいるとき、大画面の左スピーカデバイスは左画面サブエリアにマッピングされて取り付けられ、右スピーカデバイスは右画面サブエリアに取り付けられる。
例えば、携帯電話1のみが投影共有を行っているとき、スマートTVのすべてのスピーカデバイスを通して携帯電話1のオーディオデータが再生される。携帯電話2は、画面に表示されたQRコードを通してスマートTVの投影共有に参加してもよい。例えば、携帯電話2は、QRコードをスキャンして、スマートTVに投影命令を送信する。スマートTVは、画面サブエリアとスピーカデバイスの間のマッピング関係表に基づいて、携帯電話1に元々対応するスピーカデバイスを変更する、すなわち、携帯電話1に元々割り当てられているスピーカデバイスのいくつかが携帯電話2に割り当てられうる。したがって、画面サブエリアとスピーカデバイスの間の元のマッピング関係が変更され、その結果、携帯電話2は投影共有に参加することができ、対応する位置のスピーカデバイスは携帯電話2に割り当てられうる。このようにして、携帯電話1のユーザは対応する側でオーディオデータを聞くことができ、携帯電話2のユーザも対応する側でオーディオデータを聞くことができる。
投影前に、ユーザは、画面サイズに基づいて画面を異なる投影数量の画面サブエリアに分割し、環境内の接続されたスピーカデバイスに関する統計を収集し、異なる投影数量のマッピング表を確立する。マッピング表は、後続のオーディオ適応調整ポリシーとして使用される。投影中、新しい投影者が投影に加わると、スピーカデバイスは予め設定されたポリシーにより割り当てられ、その結果、オーディオ出力方向は動的に調整されうる。例えば、投影者が1人しかいないとき、すべてのスピーカデバイスが画面にマッピングされてもよいし、スピーカデバイスのいくつかのみが画面にマッピングされてもよい。
図15aおよび図15bに示されるように、携帯電話とスマートTVの間の投影ネゴシエーションのプロセスが一例を使用して以下で説明される。
1501：大画面がP2Pネットワークを確立して、QRコードを生成し、携帯電話1が接続のためにQRコードをスキャンする。
大画面はグループオーナー（Group Owner、GO）として機能し、携帯電話はグループクライアント（Group Client、GC）として機能して、P2Pネットワークを確立し、ネットワークQRコードを生成する。例えば、ネットワークQRコードは、MacAddressおよびネットワーキング情報を含み、確認なしの接続をサポートする。
1502：大画面は投影デバイスの数を配信し、携帯電話1は大画面と解像度などのパラメータをネゴシエートし、大画面の確認を待つ。
携帯電話1は、P2P接続のためにQRコードをスキャンする。大画面は、現在の投影デバイスの数が1に変更されたことをブロードキャストして配信する。携帯電話は、現在の投影デバイスの数に基づいて投影解像度および符号化パラメータを調整し報告する。大画面は、解像度および符号化パラメータを受け取る。この場合、ネゴシエーションは完了され、大画面は再生通知を送信する。
1503：携帯電話1は肯定応答を受信し、オーディオおよびビデオデータの送信を開始する。
1504：大画面は携帯電話1のビデオを再生し、ポリシーにより、オーディオを再生するスピーカを選択する（例えば、すべてのスピーカを通してオーディオを再生する）。
再生通知を受信した後、携帯電話は投影データストリームの送信を開始する。大画面は、左右のスピーカを通して携帯電話1のオーディオを再生する。
1505：大画面はQRコードを右に移動させ、携帯電話2は接続のためにQRコードをスキャンする。別の実装形態では、大画面は、あるいはQRコードを左に移動させ、携帯電話2のアクセスを待つことができることが理解されよう。
1506a：大画面は投影デバイス（この場合、投影デバイスの数は2である）の数を更新して配信し、携帯電話1は大画面と解像度などのパラメータをネゴシエートして大画面の確認を待つ。
1507a：携帯電話1は肯定応答を受信し、オーディオおよびビデオデータの送信を続ける。
1508a：大画面は、分割画面モードで携帯電話1のビデオを再生し、ポリシーにより、オーディオを再生するスピーカを選択する（例えば、左スピーカを通してオーディオを再生する）。
1506b：大画面は、投影デバイスの更新された数を携帯電話2に送信し、携帯電話2は、大画面と解像度などのパラメータをネゴシエートし、大画面の確認を待つ。
1507b：携帯電話2は肯定応答を受信し、オーディオおよびビデオデータの送信を開始する。
1508b：大画面は、分割画面モードで携帯電話2のビデオを再生し、ポリシーにより、オーディオを再生するスピーカを選択する（例えば、右スピーカを通してオーディオを再生する）。
大画面は、QRコードを左または右に移動させる。携帯電話2は、P2P接続のためにQRコードをスキャンする。大画面は、現在の投影デバイスの数が2に変更されたことをブロードキャストして配信する。携帯電話1および携帯電話2は、現在の投影デバイスの数に基づいて投影解像度および符号化パラメータを調整し報告する。大画面は、解像度および符号化パラメータを受け取る。この場合、ネゴシエーションは完了し、大画面は再生通知を送信する。再生通知を受信した後、携帯電話1および携帯電話2は投影データストリームの送信を開始する。大画面は、左スピーカを通して携帯電話1のオーディオを再生し、右スピーカを通して携帯電話2のオーディオを再生する。
加えて、携帯電話2が投影を行うことに成功した後、大画面はQRコードを非表示にしてもよい。
本出願の前述の実施形態では、2つの携帯電話が無線方式でP2P接続されており、同時に大画面に投影されるとき、対応するユーザのオーディオビジュアル体験を改善するために、新たに追加されたデバイスに適合するように異なるオーディオ出力方向が選択される。携帯電話1のみが投影を行うとき、携帯電話1のオーディオデータは、両側のスピーカを使用して再生される。携帯電話2が投影に加わった後、携帯電話1のビデオが画面の左部分に表示され、オーディオが左スピーカを通して再生される。画面の右部分には携帯電話2のビデオが表示され、右スピーカを通して対応するオーディオが再生される。あるいは、携帯電話2が投影に加わった後、携帯電話1のビデオが画面の右部分に表示され、オーディオが右スピーカを通して再生される。画面の左部分には携帯電話2のビデオが表示され、左スピーカを通して対応するオーディオが再生される。このようにして、投影者は、ユーザ側の投影されたコンテンツの感覚的体験に集中することができ、大画面を使用して共有体験を改善することができる。
上記の実施形態の例から、複数の投影チャネルが入力され、大画面に取り付けられたスピーカデバイス（外部接続スピーカデバイスを含む）の数が十分であるとき、オーディオの各チャネルが復号されて再生のために異なるスピーカデバイスに送信され、ビデオが追加された後にオーディオ出力方向が適応的に選択されて、ユーザのオーディオビジュアル体験を向上させ、対話および共有の視点を必要とするがユーザ側の音響効果に焦点を当てているアプリまたはゲームをサポートすることができることが知られうる。このようにして、投影者は、オーディオを感覚的にビデオと関連付けて、オーディオビジュアル体験を改善する。
本出願の実施形態は、電子デバイスを開示する。電子デバイスは、ソースデバイスであってもよいし、宛先デバイスであってもよい。具体的には、電子デバイスは、プロセッサと、プロセッサに接続されたメモリ、入力デバイス、および出力デバイスとを含むことができる。入力デバイスおよび出力デバイスは、1つのデバイスに統合されてもよい。例えば、タッチセンサが入力デバイスとして使用されてもよく、ディスプレイが出力デバイスとして使用されてもよく、タッチセンサおよびディスプレイはタッチ画面に統合されてもよい。
この場合、図16に示されるように、電子デバイスは、タッチ画面1601と、1つ以上のプロセッサ1602と、メモリ1603と、通信モジュール1608と、1つ以上のアプリケーション（図示せず）と、1つ以上のコンピュータプログラム1604とを含んでもよい。タッチ画面1601は、タッチセンサ1606およびディスプレイ1607を含む。前述の構成要素は1つ以上の通信バス1605を介して接続されてもよい。1つ以上のコンピュータプログラム1604はメモリ1603に記憶され、1つ以上のプロセッサ1602によって実行されるように構成されている。1つ以上のコンピュータプログラム1604は命令を含み、命令は対応する実施形態のステップを行うために使用されうる。前述の方法実施形態におけるステップのすべての関連する内容は、対応する物理的構成要素の機能説明において引用されてもよい。本明細書では、詳細は重ねて記載されない。電子デバイスはまた、ディスプレイを含んでもよいことが理解されよう。タッチセンサおよびディスプレイはタッチ画面に統合されない。入力は、別の入力方法、例えば、キーボード、マウス、リモートコントロール、またはディスプレイと統合されていないタッチセンサで行われてもよい。
例えば、プロセッサ1602は具体的には図3に示されるプロセッサ110であってもよく、メモリ1603は具体的には図3に示される内部メモリ116および／または外部メモリ160であってもよく、ディスプレイ1607は具体的には図3に示されるディスプレイ194であってもよく、タッチセンサ1606は具体的には図3に示されるセンサモジュール180のタッチセンサであってもよい。これは、本出願の実施形態において限定されない。
実装形態の前述の説明に基づいて、当業者は、便利で簡単な説明のために、前述の機能モジュールへの分割が説明のための一例として使用されているにすぎないことを明確に理解しうる。実際の応用においては、上述の機能が要件に基づく実装のために様々な機能モジュールに割り当てられることができ、すなわち、装置の内部構造が様々な機能モジュールに分割されて、上述の機能のすべてまたは一部を実装する。上記システム、装置、およびユニットの詳細な動作プロセスについては、上記方法実施形態における対応するプロセスを参照されたく、ここでは細部を説明しない。
本出願の実施形態における機能ユニットは1つの処理ユニットに統合されてよく、またはユニットの各々は物理的に単独で存在してよく、または2つ以上のユニットが1つのユニットに統合されてもよい。統合ユニットは、ハードウェアの形態で実装されてもよく、またはソフトウェア機能ユニットの形態で実装されてもよい。
統合ユニットが、ソフトウェア機能ユニットの形態で実装され、単独の製品として販売または使用される場合、統合ユニットはコンピュータ可読記憶媒体に記憶されてもよい。そのような理解に基づき、本出願の技術的ソリューションが本質的に、または従来技術に寄与する部分が、または技術的ソリューションの全部もしくは一部が、ソフトウェア製品の形態で実装されてもよい。コンピュータソフトウェア製品は記憶媒体に記憶され、コンピュータデバイス（パーソナルコンピュータ、サーバやネットワークデバイスであってもよい）に本出願の実施形態で説明されている方法のステップの全部または一部を行うように命令するためのいくつかの命令を含む。記憶媒体は、フラッシュメモリ、リムーバブルハードディスク、読み取り専用メモリ、ランダムアクセスメモリ、磁気ディスク、または光ディスクなど、プログラムコードを記憶できる何らかの媒体を含む。
以上の説明は本出願の実施形態の具体的な実装形態にすぎず、本出願の実施形態の保護範囲を限定するためのものではない。本出願の実施形態で開示された技術範囲内の変形または置換は、本出願の実施形態の保護範囲内に入るものとする。したがって、本出願の実施形態の保護範囲は、特許請求の範囲の保護範囲に従うものとする。
100、101、102、103 電子デバイス
110 プロセッサ
120 外部メモリインターフェース
121 内部メモリ
130 USBインターフェース
140 充電管理モジュール
141 電力管理モジュール
142 バッテリ
150 移動通信モジュール
160 無線通信モジュール
170 オーディオモジュール
170A スピーカ
170B 受信機
170C マイクロフォン
170D ヘッドセットジャック
180 センサモジュール
193 カメラ
194 ディスプレイ
200 デバイスグループ
601 インターフェース
602 デバイスリスト
603 識別子
604 投影オプション
701、702、703 QRコード
1601 タッチ画面
1602 プロセッサ
1603 メモリ
1604 コンピュータプログラム
1605 通信バス
1606 タッチセンサ
1607 ディスプレイ
1608 通信モジュール

Claims (11)

  1. 投影されたオーディオおよびビデオ再生方法であって、
    宛先デバイスによって、第1のソースデバイスによって送信された第1の投影データを受信するステップであって、前記第1の投影データは、第1の表示データおよび第1のオーディオデータを含む、ステップと、
    前記宛先デバイスによって、前記宛先デバイスの画面に前記第1の表示データを表示し、前記宛先デバイスのすべてのスピーカデバイスを使用して前記第1のオーディオデータを再生するステップであって、前記宛先デバイスの前記スピーカデバイスは、第1のスピーカデバイスおよび第2のスピーカデバイスを含み、前記第1のスピーカデバイスは、前記宛先デバイスの左側に配置され、前記第2のスピーカデバイスは、前記宛先デバイスの右側に配置される、ステップと、
    前記宛先デバイスが投影を通して前記第1の投影データを表示および再生するとき、前記宛先デバイスによって、第2のソースデバイスによって送信された投影要求および第2の投影データを受信するステップであって、前記第2の投影データは、第2の表示データおよび第2のオーディオデータを含む、ステップと、
    前記第2のソースデバイスによって送信された前記第2の投影データを受信した後、前記宛先デバイスによって、前記宛先デバイスの第1の画面サブエリアに前記第1の表示データを表示し、前記宛先デバイスの第2の画面サブエリアに前記第2の表示データを表示し、前記宛先デバイスによって、前記第1のスピーカデバイスを使用して前記第1のオーディオデータを再生し、前記第2のオーディオデバイスを使用して前記第2のオーディオデータを再生するステップ、または
    前記第2のソースデバイスによって送信された前記第2の投影データを受信した後、前記宛先デバイスによって、前記第2の画面サブエリアに前記第1の表示データを表示し、前記第1の画面サブエリアに前記第2の表示データを表示し、前記宛先デバイスによって、前記第2のスピーカデバイスを使用して前記第1のオーディオデータを再生し、前記第1のスピーカデバイスを使用して前記第2のオーディオデータを再生するステップと
    を含み、
    前記宛先デバイスの前記画面は前記第1の画面サブエリアおよび前記第2の画面サブエリアを含み、前記第1の画面サブエリアは前記画面の左側に配置され、前記第2の画面サブエリアは前記画面の右側に配置される方法。
  2. 前記宛先デバイスによって、前記宛先デバイスの画面に前記第1の表示データを表示する前記ステップは、
    前記宛先デバイスによって、全画面モードで前記画面に前記第1の表示データを表示するステップ、または
    前記宛先デバイスによって、前記第1の画面サブエリアまたは前記第2の画面サブエリアに前記第1の表示データを表示するステップ、または
    前記宛先デバイスによって、前記画面の中央エリアに前記第1の表示データを表示するステップ
    を含む、請求項1に記載の方法。
  3. 前記宛先デバイスが前記宛先デバイスの前記画面に前記第1の表示データを表示するとき、前記宛先デバイスによって、識別情報を表示するステップであって、前記識別情報は前記宛先デバイスの識別子を含む、ステップと、
    前記第2のソースデバイスが前記識別情報をスキャンした後に、前記宛先デバイスによって、前記第2のソースデバイスによって送信された前記投影要求および前記第2の投影データを受信するステップと
    をさらに含む、請求項1または2に記載の方法。
  4. 前記識別情報は、前記画面の左側または右側に配置されるか、または
    前記識別情報は、前記画面の左上隅、右上隅、左下隅、もしくは右下隅に配置され、および
    前記識別情報は、前記画面に現在表示されている画像の上方に浮動するか、または前記識別情報は、前記画面に現在表示されている前記画像にピクチャインピクチャ方式で表示される、
    請求項3に記載の方法。
  5. 前記識別情報が前記画面の右側に配置されるか、または前記識別情報が前記画面の前記右上隅もしくは前記右下隅に配置される場合、前記宛先デバイスは、前記第1の画面サブエリアに前記第1の表示データを表示し、前記第2の画面サブエリアに前記第2の表示データを表示し、前記第1のスピーカデバイスを使用して前記第1のオーディオデータを再生し、前記第2のスピーカデバイスを使用して前記第2のオーディオデータを再生するか、あるいは
    前記識別情報が前記画面の左側に配置されるか、または前記識別情報が前記画面の前記左上隅もしくは前記左下隅に配置される場合、前記宛先デバイスは、前記第1の表示データを前記第2の画面サブエリアに表示し、前記第2の表示データを前記第1の画面サブエリアに表示し、前記第2のスピーカデバイスを使用して前記第1のオーディオデータを再生し、前記第1のスピーカデバイスを使用して前記第2のオーディオデータを再生する、
    請求項4に記載の方法。
  6. 前記識別情報はQRコードである、請求項3から5のいずれか一項に記載の方法。
  7. 前記宛先デバイスが前記第1のソースデバイスによって送信された前記第1の投影データを受信したとき、前記宛先デバイスによって、前記第2のソースデバイスによって送信された投影終了命令を受信するステップと、
    前記第2のソースデバイスの前記投影終了命令に応答して、前記宛先デバイスによって、前記第1の表示データを前記宛先デバイスの前記画面に表示し、前記宛先デバイスのすべての前記スピーカデバイスを使用して前記第1のオーディオデータを再生するステップと
    をさらに含む、請求項1から6のいずれか一項に記載の方法。
  8. 1つ以上の第1のスピーカデバイスおよび／もしくは1つ以上の第2のスピーカデバイスが存在し、
    前記第1のスピーカデバイスおよび／もしくは前記第2のスピーカデバイスは、前記宛先デバイスの複数の内蔵オーディオモジュール／内蔵オーディオモジュールであるか、または前記第1のスピーカデバイスおよび／もしくは前記第2のスピーカデバイスは、前記宛先デバイスの複数の外部オーディオモジュールもしくはスピーカ／外部オーディオモジュールもしくはスピーカである、
    請求項1から7のいずれか一項に記載の方法。
  9. 電子デバイスであって、前記電子デバイスは、投影中の宛先デバイスであり、前記宛先デバイスは、
    ディスプレイと、
    通信モジュールと、
    スピーカデバイスであって、前記スピーカデバイスは、第1のスピーカデバイスおよび第2のスピーカデバイスを備え、前記第1のスピーカデバイスは、前記宛先デバイスの左側に配置され、前記第2のスピーカデバイスは、前記宛先デバイスの右側に配置される、スピーカデバイスと、
    1つ以上のプロセッサと、
    1つ以上のメモリと、
    1つ以上のコンピュータプログラムであって、前記1つ以上のコンピュータプログラムは、前記1つ以上のメモリに記憶され、命令を含み、前記命令が前記宛先デバイスによって実行されると、前記宛先デバイスは、請求項1から8のいずれか一項に記載の方法を行うことが可能になる、1つ以上のコンピュータプログラムと
    を含む、電子デバイス。
  10. コンピュータ可読記憶媒体であって、前記コンピュータ可読記憶媒体は命令を記憶し、前記命令が電子デバイスで実行されると、前記電子デバイスは請求項1から8のいずれか一項に記載の方法を行うことが可能にされる、コンピュータ可読記憶媒体。
  11. 命令を含むコンピュータプログラム製品であって、前記コンピュータプログラム製品が電子デバイス上で動作すると、前記電子デバイスは請求項1から8のいずれか一項に記載の方法を行うことが可能にされる、コンピュータプログラム製品。
JP2022530285A 2019-11-25 2020-10-19 投影されたオーディオおよびビデオ再生方法ならびに電子デバイス Active JP7408803B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201911169032.3A CN111131866B (zh) 2019-11-25 2019-11-25 一种投屏音视频播放方法及电子设备
CN201911169032.3 2019-11-25
PCT/CN2020/121756 WO2021103846A1 (zh) 2019-11-25 2020-10-19 一种投屏音视频播放方法及电子设备

Publications (2)

Publication Number Publication Date
JP2023503956A true JP2023503956A (ja) 2023-02-01
JP7408803B2 JP7408803B2 (ja) 2024-01-05

Family

ID=70496687

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022530285A Active JP7408803B2 (ja) 2019-11-25 2020-10-19 投影されたオーディオおよびビデオ再生方法ならびに電子デバイス

Country Status (5)

Country Link
US (1) US11812098B2 (ja)
EP (1) EP4050900A4 (ja)
JP (1) JP7408803B2 (ja)
CN (3) CN111131866B (ja)
WO (1) WO2021103846A1 (ja)

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111131866B (zh) 2019-11-25 2021-06-15 华为技术有限公司 一种投屏音视频播放方法及电子设备
CN111600977A (zh) * 2020-05-15 2020-08-28 魏天骋 一种以移动终端为数据处理器的共享装置
CN113938738A (zh) * 2020-06-29 2022-01-14 阿里巴巴集团控股有限公司 显示设备的控制方法和系统、播放设备及存储介质
CN111796787B (zh) * 2020-06-30 2022-07-26 联想(北京)有限公司 一种显示方法及显示装置
CN111984215A (zh) * 2020-08-19 2020-11-24 Oppo广东移动通信有限公司 多媒体数据播放方法、终端及存储介质
CN111988653A (zh) * 2020-08-25 2020-11-24 京东方科技集团股份有限公司 多视频投屏信息的交互方法、装置、设备及存储介质
US20230305792A1 (en) * 2020-08-27 2023-09-28 Beijing Bytedance Network Technology Co., Ltd. Screen projection method and apparatus, electronic device, and computer-readable medium
CN112019896B (zh) * 2020-08-27 2022-03-01 北京字节跳动网络技术有限公司 投屏方法、装置、电子设备及计算机可读介质
CN114189946A (zh) * 2020-09-15 2022-03-15 华为技术有限公司 数据分享的方法、电子设备和系统
CN112181342B (zh) * 2020-10-15 2023-08-18 Oppo广东移动通信有限公司 显示方法、装置、电子设备以及存储介质
CN112181343B (zh) * 2020-10-15 2023-05-02 Oppo广东移动通信有限公司 显示方法、装置、电子设备以及存储介质
CN114442969B (zh) * 2020-10-30 2024-06-18 华为技术有限公司 一种设备间屏幕协同方法及设备
CN112337100B (zh) * 2020-11-05 2022-11-18 北京字节跳动网络技术有限公司 基于直播的数据处理方法、装置、电子设备和可读介质
CN112565854A (zh) * 2020-11-12 2021-03-26 深圳康佳电子科技有限公司 一种多信源显示的MicroLED电视及其显示控制方法
CN112306442B (zh) * 2020-11-20 2023-05-12 Oppo广东移动通信有限公司 跨设备的内容投屏方法、装置、设备及存储介质
CN112565876B (zh) * 2020-11-30 2023-03-24 深圳乐播科技有限公司 投屏方法、装置、设备、系统及存储介质
CN112637671B (zh) * 2020-12-11 2023-04-28 深圳乐播科技有限公司 一种屏幕共享方法及系统
CN112738621A (zh) * 2020-12-25 2021-04-30 广州长嘉电子有限公司 一种非智能电视的无线投屏方法、装置及系统
CN114691064A (zh) * 2020-12-29 2022-07-01 华为技术有限公司 一种双路投屏的方法及电子设备
CN114827700B (zh) * 2021-01-18 2023-06-09 Oppo广东移动通信有限公司 投屏内容的显示方法、装置、终端及存储介质
CN112866749B (zh) * 2021-02-18 2022-02-18 北京仁光科技有限公司 多终端信号上屏显示控制系统和方法
CN113225610B (zh) * 2021-03-31 2023-08-11 北京达佳互联信息技术有限公司 投屏方法、装置、设备及存储介质
CN113050916A (zh) * 2021-04-09 2021-06-29 深圳Tcl新技术有限公司 音频播放方法、装置及存储介质
WO2022228097A1 (zh) * 2021-04-29 2022-11-03 维沃移动通信有限公司 显示方法、显示装置和电子设备
CN114296579A (zh) * 2021-04-30 2022-04-08 海信视像科技股份有限公司 显示设备及用户界面的控制方法
CN113542841A (zh) * 2021-06-16 2021-10-22 杭州当贝网络科技有限公司 投屏方法和投屏系统
CN113868084A (zh) * 2021-09-27 2021-12-31 联想(北京)有限公司 智能控制方法、装置及电子设备
KR20230053204A (ko) * 2021-10-14 2023-04-21 삼성전자주식회사 전자 장치들 간의 위치 관계에 기반하여 사용자 인터페이스를 제공하는 방법 및 그를 위한 전자 장치
CN113992966A (zh) * 2021-10-26 2022-01-28 Oppo广东移动通信有限公司 重定向方法、装置、设备、存储介质及程序产品
CN114125547A (zh) * 2021-11-16 2022-03-01 深圳康佳电子科技有限公司 基于多协议共存的投屏处理方法、装置、智能终端及介质
CN114827686A (zh) * 2022-05-09 2022-07-29 维沃移动通信有限公司 录制数据处理方法、装置及电子设备
CN114915833B (zh) * 2022-06-24 2023-11-10 Vidaa国际控股(荷兰)公司 一种显示器控制方法及显示设备、终端设备
CN115278348B (zh) * 2022-07-05 2023-11-17 深圳乐播科技有限公司 一种投屏方法及装置
CN115412756A (zh) * 2022-08-29 2022-11-29 北京奇艺世纪科技有限公司 信息投放方法、装置、电子设备及存储介质
CN218957016U (zh) 2023-01-07 2023-05-02 深圳博浪科技有限公司 自动识别播放音频的图案投影装置
CN117119615A (zh) * 2023-10-25 2023-11-24 吉林藤兴科技有限公司 一种智能移动终端在车辆中控大屏的投屏方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0898102A (ja) * 1994-09-22 1996-04-12 Sony Corp テレビジョン受信機
JP2007189633A (ja) * 2006-01-16 2007-07-26 Sharp Corp 放送番組予約装置
CN103888808A (zh) * 2013-11-26 2014-06-25 小米科技有限责任公司 视频显示方法、显示设备、辅助设备及系统
CN110381197A (zh) * 2019-06-27 2019-10-25 华为技术有限公司 多对一投屏中音频数据的处理方法、装置及系统
CN110381345A (zh) * 2019-07-05 2019-10-25 华为技术有限公司 一种投屏显示方法及电子设备

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5867223A (en) * 1995-07-17 1999-02-02 Gateway 2000, Inc. System for assigning multichannel audio signals to independent wireless audio output devices
US8955020B2 (en) * 2002-12-11 2015-02-10 Broadcom Corporation Transcoding and data rights management in a mobile video network with STB as a hub
JP2004206581A (ja) * 2002-12-26 2004-07-22 Toshiba Corp 音響装置、音響装置における音声情報取得方法
US8730322B2 (en) * 2004-07-30 2014-05-20 Eyesee360, Inc. Telepresence using panoramic imaging and directional sound and motion
CN100405832C (zh) 2004-12-17 2008-07-23 Tcl王牌电子(深圳)有限公司 一种实现可同时接收播放多套节目的电视机装置
US20100002151A1 (en) * 2008-07-01 2010-01-07 Yang Pan Handheld media and communication device with a detachable projector
CN103563346B (zh) * 2011-03-31 2017-10-24 索尼移动通信公司 用于建立通信会话的系统和方法
US8521900B2 (en) * 2011-05-05 2013-08-27 Awind Inc. Remote audio-video sharing method and application program for the same
CN102355587A (zh) 2011-08-17 2012-02-15 冠捷显示科技（厦门）有限公司 同步接收转播电视子节目的实现方法及其装置
US20140333508A1 (en) * 2012-08-31 2014-11-13 Game Concourse Inc. System and method for communicating and interacting with a display screen using a remote device
US10735408B2 (en) * 2013-03-14 2020-08-04 Samsung Electronics Co., Ltd. Application connection for devices in a network
KR101999958B1 (ko) 2013-05-22 2019-07-15 엘지전자 주식회사 이동 단말기 및 그것의 제어 방법
US10136182B2 (en) * 2014-05-16 2018-11-20 Verizon Patent And Licensing Inc. Presenting multimedia content from multiple sources at a same time
US20210344991A1 (en) * 2016-10-13 2021-11-04 Skreens Entertainment Technologies, Inc. Systems, methods, apparatus for the integration of mobile applications and an interactive content layer on a display
CN108366062B (zh) * 2018-01-24 2021-03-16 南京哇嗨网络科技有限公司 通过邀请建立投屏连接的方法、客户端、服务器和系统
US11477516B2 (en) * 2018-04-13 2022-10-18 Koji Yoden Services over wireless communication with high flexibility and efficiency
CN110147199A (zh) * 2019-05-23 2019-08-20 北京硬壳科技有限公司 同屏显示方法、装置及触控显示器
CN110213646A (zh) * 2019-05-24 2019-09-06 深圳市朗强科技有限公司 一种显示控制装置、显示控制系统以及显示控制方法
CN110191350A (zh) * 2019-05-28 2019-08-30 上海哔哩哔哩科技有限公司 多端投屏方法、计算机设备及存储介质
CN110351407A (zh) * 2019-08-08 2019-10-18 维沃移动通信有限公司 一种音频播放方法及移动终端
CN111131866B (zh) 2019-11-25 2021-06-15 华为技术有限公司 一种投屏音视频播放方法及电子设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0898102A (ja) * 1994-09-22 1996-04-12 Sony Corp テレビジョン受信機
JP2007189633A (ja) * 2006-01-16 2007-07-26 Sharp Corp 放送番組予約装置
CN103888808A (zh) * 2013-11-26 2014-06-25 小米科技有限责任公司 视频显示方法、显示设备、辅助设备及系统
CN110381197A (zh) * 2019-06-27 2019-10-25 华为技术有限公司 多对一投屏中音频数据的处理方法、装置及系统
CN110381345A (zh) * 2019-07-05 2019-10-25 华为技术有限公司 一种投屏显示方法及电子设备

Also Published As

Publication number Publication date
CN116320556A (zh) 2023-06-23
EP4050900A4 (en) 2022-12-28
CN113940089B (zh) 2023-03-03
EP4050900A1 (en) 2022-08-31
CN111131866A (zh) 2020-05-08
CN113940089A (zh) 2022-01-14
CN111131866B (zh) 2021-06-15
US20220408136A1 (en) 2022-12-22
US11812098B2 (en) 2023-11-07
JP7408803B2 (ja) 2024-01-05
WO2021103846A1 (zh) 2021-06-03

Similar Documents

Publication Publication Date Title
JP7408803B2 (ja) 投影されたオーディオおよびビデオ再生方法ならびに電子デバイス
EP3972262A1 (en) Screencasting display method, and electronic apparatus
CN112835549B (zh) 一种切换音频输出设备的方法及设备
CN112988102B (zh) 投屏方法和装置
EP4030276B1 (en) Content continuation method and electronic device
JP7324311B2 (ja) オーディオ及びビデオ再生方法、端末、並びにオーディオ及びビデオ再生装置
WO2022121775A1 (zh) 一种投屏方法及设备
WO2023015940A1 (zh) 防漏音的移动终端及移动终端的声音输出方法
WO2021017909A1 (zh) 一种通过nfc标签实现功能的方法、电子设备及系统
WO2024021736A1 (zh) 蓝牙多媒体包的传输方法、装置、设备和系统
WO2022042261A1 (zh) 屏幕共享方法、电子设备及系统
WO2022267974A1 (zh) 一种投屏方法及相关装置
WO2022042151A1 (zh) 一种录音方法和设备
WO2022160967A1 (zh) 通信方法、移动设备、电子设备和计算机可读存储介质
WO2024131110A1 (zh) 一种短距离通信的方法、装置和电子设备
CN115277919B (zh) 通话融合方法、电子设备及存储介质
WO2023160214A1 (zh) 蓝牙耳机、音频输出方法及音频输出系统
WO2023078162A1 (zh) 控制设备切换系统、控制设备切换方法及其设备
WO2023005713A1 (zh) 声道配置方法、电子设备及系统
EP4383731A1 (en) Screen projection method, device and system
CN114980238A (zh) Wi-Fi接入的方法及相关设备
CN115145517A (zh) 一种投屏方法、电子设备和系统
TWM522524U (zh) 機上盒網路電話系統

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220704

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220704

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230718

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230925

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231211

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231220

R150 Certificate of patent or registration of utility model

Ref document number: 7408803

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150