CN108304152B - 手持式电子装置、影音播放装置以及其影音播放方法 - Google Patents

手持式电子装置、影音播放装置以及其影音播放方法 Download PDF

Info

Publication number
CN108304152B
CN108304152B CN201710067966.0A CN201710067966A CN108304152B CN 108304152 B CN108304152 B CN 108304152B CN 201710067966 A CN201710067966 A CN 201710067966A CN 108304152 B CN108304152 B CN 108304152B
Authority
CN
China
Prior art keywords
display
playing
image
sound
sound signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710067966.0A
Other languages
English (en)
Other versions
CN108304152A (zh
Inventor
郑志强
李淳民
唐汉熙
陈雷
黄金国
杨秀博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HTC Corp
Original Assignee
HTC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by HTC Corp filed Critical HTC Corp
Publication of CN108304152A publication Critical patent/CN108304152A/zh
Application granted granted Critical
Publication of CN108304152B publication Critical patent/CN108304152B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4396—Processing of audio elementary streams by muting the audio signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/40—Details of arrangements for obtaining desired directional characteristic by combining a number of identical transducers covered by H04R1/40 but not provided for in any of its subgroups
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/01—Aspects of volume control, not necessarily automatic, in sound systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/11—Transducers incorporated or for use in hand-held devices, e.g. mobile phones, PDA's, camera's
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/13—Aspects of volume control, not necessarily automatic, in stereophonic sound systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Stereophonic System (AREA)
  • Television Receiver Circuits (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

手持式电子装置、影音播放装置以及播放方法。影音播放装置包括多个声音信号提取器、图像提取器、控制器以及扬声器。声音信号提取器提取多个声音信号。图像提取器获得显示图像。控制器区分显示图像为多个显示区域；建立配置位置与显示区域的相对位置间的对应关系；接收选中区域的播放设置命令，并据以设置命令设置各显示区域的播放权重；以及，依据各显示区域的播放权重以及对应关系以调整对应声音信号的音量播放设置，并依据音量播放设置以及声音信号产生输出声音信号。扬声器进行声音播放动作。

Description

手持式电子装置、影音播放装置以及其影音播放方法
技术领域
本发明涉及一种手持式电子装置、其影音播放装置以及其影音播放方法，且特别涉及一种依据图像中的位置信息来播放声音的影音播放装置以及其影音播放方法。
背景技术
随着电子科技的进步，手持式电子装置已成为人们生活中不可或缺的工具。例如，在会议中，人们常利用手持式电子装置进行录音，以记录会议中所讨论相关内容。然而，若光只有录制声音信息，在听取会议内容时，可能无法完全理解通过身体姿态配合所要表达的信息，因此，将声音信息配合图像信息进行录制是较佳的选择。
然而，在相同的环境中，多个参与者可能同时发音并讨论多个不同的议题。因此，要如何通过手持式电子装置录制的影音信息中，提取最有效的信息，是本领域技术人员的重要课题。
发明内容
本发明提供一种手持式电子装置、影音播放装置以及影音播放方法。可通过选定显示图像中的特定目标，来控制声音信号播放的来源及音量。
本发明的影音播放装置包括多个声音信号提取器、图像提取器、控制器以及扬声器。声音信号提取器配置在影音播放装置的多个配置位置上，用以提取环境中的多个声音信号。图像提取器提取环境中的图像以获得显示图像。控制器耦接声音信号提取器以及图像提取器，用以区分该显示图像为多个显示区域；建立配置位置与显示区域的相对位置间的对应关系；接收对应显示区域中的选中区域的播放设置命令，并依据播放设置命令设置各显示区域的播放权重；以及，依据各显示区域的播放权重以及对应关系以调整对应声音信号的音量播放设置，并依据音量播放设置以及声音信号产生输出声音信号。扬声器依据输出声音信号进行声音播放动作。
本发明的手持式电子装置包括主体以及如上所述的影音播放装置。影音播放装置配置在主体中，其中，声音信号提取器的配置位置分别对应主体的多个侧面。
本发明的影音播放方法包括：在影音播放装置的多个配置位置上提取环境中的多个声音信号；区分显示图像为多个显示区域；建立配置位置与显示区域的相对位置的对应关系；接收对应显示区域中的选中区域的播放设置命令，并依据播放设置命令设置各显示区域的播放权重；依据各显示区域的播放权重以及对应关系以调整对应声音信号的音量播放设置，并依据音量播放设置以及声音信号产生输出声音信号；以及，依据输出声音信号进行声音播放动作。
基于上述，通过本发明提供的影音播放装置及其播放方法，影音播放装置可通过显示图像的选取动作，来进行播放声音的位置的调整动作。如此一来，可进一步针对所要听取的声音以及图像信息进行加强的动作，影音播放装置的播放效率。
为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合附图作详细说明如下。
附图说明
图1绘示本发明一实施例的影音播放装置的示意图。
图2绘示本发明实施例的显示区域的产生方式的示意图。
图3绘示发明实施例的手持式电子装置的声音信号提取器的配置位置与参考平面的关系示意图。
图4A绘示投影位置与参考平面的位置关系的示意图。
图4B则绘示选定方位以进行声音合成的示意图。
图5A至图5D分别绘示本发明实施例的选中区域与扇形区域的权重设置的关系图。
图6绘示本发明一实施例的图像调整方式的示意图。
图7A以及图7B分别绘示本发明不同实施方式的声音提取装置的配置位置示意图。
图8绘示本发明实施例的影音播放方法的流程图。
【符号说明】
100：影音播放装置
111-113：声音信号提取器
120、721-724：图像提取器
130：控制器
140：扬声器
200：显示图像
DZ1-DZ3：显示区域
IAD：图像提取方向
300、600、720：手持式电子装置
RSUF：参考平面
PP1-PP3、PP21-PP24：投影位置
γ0°、γ45°、γ90°：向量
SE1-SE8：扇形区域
O：中心点
A：圆心角
n1、n2、n3：传递方向
USR：使用者
SD1-SD3：声波
MK1-MK3：标示
S810-S860：影音播放方法的步骤
SDZ：选中区域
具体实施方式
请参照图1，图1绘示本发明一实施例的影音播放装置的示意图。影音播放装置100包括声音信号提取器111-113、图像提取器120、控制器130以及扬声器140。声音信号提取器111-113耦接至控制器130。声音信号提取器111-113可分别配置在影音播放装置100的多个不同的配置位置上，并提取相同环境中的多个声音信号。图像提取器120耦接至控制器130，用以提取环境中的图像以获得显示图像。控制器130则接收声音信号提取器111-113所产生的声音信号以及图像提取器120所获得的显示图像。
附带一提的，在本实施例中，声音信号提取器111-113可以是麦克风，或为本领域技术人员所熟知的声音接收装置。图像提取器120则可以为本领域技术人员所熟知的任意的图像接收装置，如照相机、摄影装置等。
在声音播放动作的控制方面，控制器130并区分显示图像为多个显示区域。在此请同步参照图1以及图2，其中图2绘示本发明实施例的显示区域的产生方式的示意图。在图2中，控制器130针对显示图像200进行区分，并通过区隔线段DL1以及DL2将显示图像200区分为三个显示区域DZ1-DZ3。其中，显示区域DZ1-DZ3彼此间的尺寸大小可以相同也可以不相同。另外，在本发明其他实施例中，控制器130也可以区隔显示图像200为多于三个或少于三个的显示区域。另外，所区隔出的显示区域也可以不需要如图2所绘示的相互平行排列，在本发明不同实施例中，显示区域可以各种方式进行排列，没有固定的限制。
接着，控制器130建立声音信号提取器111-113的配置位置与显示区域的相对位置间的一对应关系。在此请同步参照图1以及图3，图3绘示发明实施例的手持式电子装置的声音信号提取器的配置位置与参考平面的关系示意图。其中，手持式电子装置300被立起，并依据图像提取方向IAD进行图像提取动作。影音播放装置100可设置在手持式电子装置300的本体中，而其中的声音信号提取器111-113设置在手持式电子装置300的本体上的不同的设置位置上。通过设置与图像提取方向IAD实质上平行的参考平面RSUF，声音信号提取器111-113可在参考平面RSUF上分别投影出三个投影位置PP1-PP3。
在获得投影位置PP1-PP3后，请参照图4A以及图4B，其中图4A绘示投影位置与参考平面的位置关系的示意图，图4B则绘示选定方位以进行声音合成的示意图。其中，在图4A中，参考平面RSUF可被多个向量(例如向量γ0°、γ45°、γ90°…)区分为多个扇形区域SE1-SE8，各个扇形区域SE1-SE8是依据参考平面RSUF的中心点O(声音接收点)，利用预设的圆心角A来进行区分。在图4A的实施方式中，圆心角A等于45度。
进一步来说明，在图4A的绘示中，参考平面RSUF上的多个扇形区域SE1-SE8可与显示图像中的多个显示区域相对应。以图2绘示的显示图像200为范例，具体来说，若影音播放装置的图像提取方向与向量γ0°同方向时，扇形区域SE1及SE8对应至显示区域DZ2，扇形区域SE1及SE2可对应至显示区域DZ3，而扇形区域SE7及SE8则可对应至显示区域DZ1。
如此一来，控制器130可有效建立配置位置111-113与显示区域DZ1-DZ3的相对位置间的对应关系。
接着，当进行影音播放的过程中，控制器130可接收对应显示区域中的选中区域所进行的播放设置命令。并依据播放设置命令设置各显示区域的播放权重。同时参照图2以及图4A，依据上述的扇形区域SE1-SE8与显示区域的相对位置间的对应关系，若显示区域DZ1被设置为选中区域时，显示区域DZ1的播放权重被调高，而显示区域DZ2及DZ3的播放权重对应被调低。在此，可通过设置扇形区域SE1-SE8上的权重来完成上述的播放权重调整动作。
以下请参照图5A至图5D，图5A至图5D分别绘示本发明实施例的选中区域与扇形区域的权重设置的关系图。其中，在图5A中，整个显示图像被选为选中区域SDZ，此时所有的扇形区域SE1-SE8都被设置为具有相同的权重1。在图5B中，中央的显示区域DZ2被设置为选中区域SDZ，对应于显示区域DZ2的扇形区域SE1、SE8被设置具有较高的权重1，而扇形区域SE2、SE7被设置具有相对低的权重0.5，扇形区域SE3、SE6被设置具有相对低的权重0.3、而扇形区域SE4、SE5则被设置具有最低的权重0。
此外，在图5C中，显示区域DZ3被设置为选中区域SDZ，在此，对应于显示区域DZ3的扇形区域SE1、SE2可被设置具有较高的权重1，而扇形区域SE8、SE3被设置具有相对低的权重0.5，扇形区域SE7、SE4被设置具有相对低的权重0.3、而扇形区域SE6、SE5则被设置具有最低的权重0。
在图5D中，显示区域DZ1被设置为选中区域SDZ，在此，对应于显示区域DZ1的扇形区域SE7、SE8被设置具有较高的权重1，而扇形区域SE6、SE1被设置具有相对低的权重0.5，扇形区域SE5、SE2被设置具有相对低的权重0.3、而扇形区域SE4、SE3则被设置具有最低的权重0。
通过上述的扇形区域的权重，针对各扇形区域上的投影位置所对应声音信号提取装置所接收的声音信号进行调整，并加以合成，并可获得输出声音信号，并使扬声器140进行输出声音信号的播放动作。
关于声音信号的合成方面，请参照图4A，在图4A中，投影位置PP1-PP3分别落在扇形区域SE3、SE6以及SE8中。而要对水平360°的空间进行声音分析最少要有3个声音信号提取器以进行收音，根据三个声音信号提取器111-113在参考平面RSUF上的投影位置PP1-PP3可以定义出个声音信号提取器111-113声音传递方向n1、n2以及n3。再由平面声波传递的理论可推算出各方位的组合声如数学式(1)所示：
Figure GDA0001302267730000061
其中P1、P2、P3分别为投影位置PP1-PP3在参考平面RSUF上的坐标，ω为声音信号的频率，C为声速。
根据心理声学模型或相关模型(声学头部关系转移函数，Head-related transferfunction，HRTF)可将使用者选定的方位声音合成输出双耳音频。其中，心理声学模型或相关模型是用来描述不同方向的声音传递至人耳的响应，即使是相同音源，由于脸部轮廓等物理上的因素造成双耳聆听差异，使用假人头的耳内麦克风收音，在可控的单音源情况下即能用数学表达两者间的转移函数，藉此达到模拟人耳实际对于不同方向声音的响应。
依据图4B所绘示的，使用者USR的右耳听到声波，可以依据不同方向的声波SD1-SD3合成来获得。
接着请参照图6，图6绘示本发明一实施例的图像调整方式的示意图。其中，手持式电子装置600中设置影音播放装置100。其中，控制器130可以通过脸部辨识动作来针对显示图像进行处理，并显示图像中显示出标示MK1-MK3以作为操作界面。当使用者要选择要听取显示图像中其中一个发言者发出的语音时，可通过选择标示(例如标式MK2)。据此，手持式电子装置600可放大显示标示MK2对应的使用者的图像，并对应放大声音提取装置所提取到的标示MK2对应的使用者所发送的声音。
在细节方面，控制器130可以通过脸部辨识动作来识别出显示图像中的多个人物。并针对这些识别出的人物进行标号，并在显示图像中显示出这些编号以作为操作界面。使用者可通过这个操作界面，通过选择编号接收对应的人物的发言内容。在此，被选取的人物的发言内容的音量可以被调大，未被选取的人物的发言内容的音量则可以被调小，甚至被消音。
当然，上述的产生操作界面的方式并不限于使用脸部辨识的动作来完成。本发明实施例中也可利用物件辨识、手势辨识以及其他本领域技术人员所熟知的技术来产生。关于物件辨识方面，例如，控制器130可以针对显示图像中的物件(例如车辆、电器等同种类或不同种类的物件)进行识别，并提供操作界面让使用者选择其中之一的物件来读取其声音信号。关于手势辨识的部分，控制器130可以通过辨识显示图像中的人物有无作出特殊手势来进行辨识并加以标示(编号)，再提供这些编号以建立操作界面，以提供使用者可通过操作界面选择编号以接收对应的人物的发言内容。
另外，在手持式电子装置600放大显示标式MK2对应的使用者的图像时，使用者可以通过指令使手持式电子装置600还原显示图像，或变更放大显示标式MK1对应的使用者的图像，并同步调整播放的输出声音信号。
以下请参照图7A以及图7B，图7A以及图7B分别绘示本发明不同实施方式的声音提取装置的配置位置示意图。在图7A中，手持式电子装置710具有三个声音信号提取器711-713，分别配置在手持式电子装置710的不同侧边。声音信号提取器711-713分别投影至参考平面RSUF的投影位置PP11-PP13，其中，投影位置PP11-PP13均匀分布在参考平面RSUF的不同位置上。
在图7B中，手持式电子装置720则具有四个声音信号提取器721-724，分别配置在手持式电子装置720的不同侧边。声音信号提取器721-724分别投影至参考平面RSUF的投影位置PP21-PP24，其中，投影位置PP21-PP24同样可均匀分布在参考平面RSUF的不同位置上。
在此，在本发明实施例中，声音信号提取器的数量是没有特定的限制。
以下请参照图8，图8绘示本发明实施例的影音播放方法的流程图。其中，影音播放方法的步骤包括：步骤S810在影音播放装置的多个配置位置上提取环境中的多个声音信号；步骤S820区分显示图像为多个显示区域；步骤S830则建立配置位置与显示区域的相对位置的对应关系；步骤S840接收对应显示区域中的选中区域的播放设置命令，并依据播放设置命令设置各显示区域的播放权重；步骤S850则依据各显示区域的播放权重以及对应关系以调整对应声音信号的音量播放设置，并依据音量播放设置以及声音信号产生输出声音信号；以及，步骤S860依据输出声音信号进行声音播放动作。
关于上述步骤的多个实施细节，在前述的多个实施例及实施方式都有详细的说明，以下恕不多赘述。
综上所述，本发明通过区分该显示图像为多个显示区域，并针对显示区域以及声音信号提取器的配置位置建立相对位置的对应关系。并且，在进行影音播放时，通过选择显示区域，影音播放装置可以加强选中区域对应的声音信号提取器所提取的声音信号，并进行声音播放的动作。如此一来，使用者可以更清晰的获得所要接收的声音信号，提升影音播放装置的使用效能。
虽然本发明已以实施例公开如上，然其并非用以限定本发明，本领域技术人员在不脱离本发明的精神和范围内，当可作些许的更动与润饰，故本发明的保护范围当视所附权利要求书界定范围为准。

Claims (19)

1.一种影音播放装置，包括：
多个声音信号提取器，配置在该影音播放装置的不同位置上，用以提取环境中的多个声音信号；
图像提取器，提取该环境中的图像以获得显示图像；
控制器，耦接该些声音信号提取器以及该图像提取器，用以：
区分该显示图像为多个显示区域；
建立各该声音信号提取器的配置位置与各该显示区域之间的相对位置关系；
接收对应该些显示区域中的选中区域的播放设置命令，并依据该播放设置命令设置各该显示区域的播放权重；以及
依据各该显示区域的该播放权重以及该相对位置关系以调整对应该些声音信号的音量播放设置，并依据该音量播放设置以及该些声音信号产生输出声音信号；以及
扬声器，依据该输出声音信号进行声音播放动作，
其中该些声音信号在声音合成点进行合成，该控制器依据该声音合成点与该图像提取器的图像提取方向来设置参考平面，且该控制器将该些声音信号提取器投影于该参考平面而形成多个投影位置，
其中该控制器以该声音合成点为中心点，并依据预设角度来划分该参考平面而形成多个扇形区域，且部分的该些扇形区域对应于该些显示区域，
其中该控制器依据该些投影位置与该些扇形区域之间的对应方式来建立各该声音信号提取器的各该配置位置与各该显示区域之间的该相对位置关系。
2.如权利要求1所述的影音播放装置，其中该控制器
还依据各该配置位置，计算各该声音信号提取器在该参考平面的各该投影位置。
3.如权利要求2所述的影音播放装置，其中该控制器依据该播放权重以及该些投影位置，针对该声音信号进行声音信号转换动作，并产生立体声的该输出声音信号。
4.如权利要求2所述的影音播放装置，其中该控制器依据声学头部关系转移函数执行该声音信号转换动作。
5.如权利要求1所述的影音播放装置，其中该控制器依据该播放设置命令使该选中区域的播放权重被调高，并使这些显示区域中非为该选中区域的播放权重被调低。
6.如权利要求1所述的影音播放装置，其中还包括：
图像显示器，用以显示该显示图像，
其中，该控制器依据该播放设置命令使该图像显示器对该选中区域进行放大显示动作。
7.如权利要求6所述的影音播放装置，其中当该选中区域由第一显示区域变更为第二显示区域时，该图像显示器变更为放大第二显示区域进行显示动作。
8.如权利要求6所述的影音播放装置，其中该图像显示器还用以显示操作界面，
其中，该操作界面用以接收该播放设置命令。
9.如权利要求8所述的影音播放装置，其中该控制器针对该显示图像进行特征辨识动作以产生该操作界面。
10.一种手持式电子装置，包括：
主体；
如权利要求1所述的影音播放装置，配至在该主体中，
其中，该些声音信号提取器的该些配置位置分别对应该主体的多个侧面。
11.一种影音播放方法，包括：
使用多个声音信号提取器提取环境中的多个声音信号，其中该些声音信号提取器配置在影音播放装置的不同位置上；
提取该环境中的图像以获得显示图像；
区分该显示图像为多个显示区域；
建立各该声音信号提取器的配置位置与各该显示区域之间的相对位置关系；
接收对应该些显示区域中的选中区域的播放设置命令，并依据该播放设置命令设置各该显示区域的播放权重；
依据各该显示区域的该播放权重以及该相对位置关系以调整对应该些声音信号的音量播放设置，并依据该音量播放设置以及该些声音信号产生输出声音信号；以及
依据该输出声音信号进行声音播放动作，
其中建立该相对位置关系的步骤包括：
依据声音合成点与该显示图像的图像提取方向来设置参考平面，其中该些声音信号在该声音合成点进行合成；
将该些声音信号提取器投影于该参考平面而形成多个投影位置；
以该声音合成点为中心点，并依据预设角度来划分该参考平面而形成多个扇形区域，其中部分的该些扇形区域对应于该些显示区域；以及
依据该些投影位置与该些扇形区域之间的对应方式来建立该相对位置关系。
12.如权利要求11所述的影音播放方法，其中建立该相对位置关系的步骤还包括：
依据各该配置位置，计算各该声音信号提取器在该参考平面的各该投影位置。
13.如权利要求11所述的影音播放方法，其中依据该音量播放设置以及该些声音信号产生该输出声音信号的步骤包括：
依据该播放权重以及该些投影位置，针对该声音信号进行声音信号转换动作，并产生立体声的该输出声音信号。
14.如权利要求13所述的影音播放方法，其中，针对该声音信号进行该声音信号转换动作，并产生立体声的该输出声音信号的步骤包括：
依据声学头部关系转移函数执行该声音信号转换动作以产生立体声的该输出声音信号。
15.如权利要求11所述的影音播放方法，其中接收对应该些显示区域中的该选中区域的该播放设置命令，并依据该播放设置命令设置各该显示区域的该播放权重的步骤包括：
依据该播放设置命令使该选中区域的播放权重被调高，并使该些显示区域中非为该选中区域的播放权重被调低。
16.如权利要求11所述的影音播放方法，其中还包括：
提供图像显示器，用以显示该显示图像；以及
依据该播放设置命令使该图像显示器对该选中区域进行放大显示动作。
17.如权利要求16所述的影音播放方法，其中还包括：
当该选中区域由第一显示区域变更为一第二显示区域时，使该图像显示器变更为放大第二显示区域进行显示动作。
18.如权利要求11所述的影音播放方法，其中还包括：
提供该图像显示器显示操作界面，该操作界面用以接收该播放设置命令。
19.如权利要求18所述的影音播放方法，其中还包括：
针对该显示图像进行特征辨识动作以产生该操作界面。
CN201710067966.0A 2017-01-11 2017-02-07 手持式电子装置、影音播放装置以及其影音播放方法 Active CN108304152B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/403,191 US9992532B1 (en) 2017-01-11 2017-01-11 Hand-held electronic apparatus, audio video broadcasting apparatus and broadcasting method thereof
US15/403,191 2017-01-11

Publications (2)

Publication Number Publication Date
CN108304152A CN108304152A (zh) 2018-07-20
CN108304152B true CN108304152B (zh) 2020-07-17

Family

ID=59053903

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710067966.0A Active CN108304152B (zh) 2017-01-11 2017-02-07 手持式电子装置、影音播放装置以及其影音播放方法

Country Status (4)

Country Link
US (1) US9992532B1 (zh)
EP (1) EP3349473A1 (zh)
CN (1) CN108304152B (zh)
TW (1) TWI622289B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110493621B (zh) * 2019-09-26 2024-08-30 江西省创海科技有限公司 一种双弧幕放映系统及播控系统
CN113676668A (zh) * 2021-08-24 2021-11-19 维沃移动通信有限公司 视频拍摄方法、装置、电子设备和可读存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102823273A (zh) * 2010-03-23 2012-12-12 杜比实验室特许公司 用于局域化感知音频的技术

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5657246A (en) 1995-03-07 1997-08-12 Vtel Corporation Method and apparatus for a video conference user interface
US6795106B1 (en) 1999-05-18 2004-09-21 Intel Corporation Method and apparatus for controlling a video camera in a video conferencing system
JP2001339703A (ja) 2000-05-26 2001-12-07 Nec Corp テレビ会議システム及びテレビ会議システムに於けるカメラの制御装置並びにカメラの制御方法
US7565680B1 (en) * 2000-06-30 2009-07-21 Comcast Ip Holdings I, Llc Advanced set top terminal having a video call feature
US20040008423A1 (en) 2002-01-28 2004-01-15 Driscoll Edward C. Visual teleconferencing apparatus
US7852369B2 (en) 2002-06-27 2010-12-14 Microsoft Corp. Integrated design for omni-directional camera and microphone array
WO2010005413A1 (en) * 2008-07-09 2010-01-14 Hewlett-Packard Development Company, L.P. Method and system for simultaneous rendering of multiple multi-media presentations
US8315366B2 (en) 2008-07-22 2012-11-20 Shoretel, Inc. Speaker identification and representation for a phone
US10154361B2 (en) * 2011-12-22 2018-12-11 Nokia Technologies Oy Spatial audio processing apparatus
US9179232B2 (en) * 2012-09-17 2015-11-03 Nokia Technologies Oy Method and apparatus for associating audio objects with content and geo-location
CN105073073B (zh) * 2013-01-25 2018-12-07 胡海 用于声音可视化及声源定位的设备与方法
US20150277707A1 (en) * 2014-03-28 2015-10-01 Spotify Ab System and method for multi-track playback of media content
WO2015168901A1 (en) * 2014-05-08 2015-11-12 Intel Corporation Audio signal beam forming
US9693009B2 (en) * 2014-09-12 2017-06-27 International Business Machines Corporation Sound source selection for aural interest
US10284956B2 (en) * 2015-06-27 2019-05-07 Intel Corporation Technologies for localized audio enhancement of a three-dimensional video

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102823273A (zh) * 2010-03-23 2012-12-12 杜比实验室特许公司 用于局域化感知音频的技术

Also Published As

Publication number Publication date
TW201826801A (zh) 2018-07-16
CN108304152A (zh) 2018-07-20
US9992532B1 (en) 2018-06-05
EP3349473A1 (en) 2018-07-18
TWI622289B (zh) 2018-04-21

Similar Documents

Publication Publication Date Title
US11838707B2 (en) Capturing sound
US10645518B2 (en) Distributed audio capture and mixing
US10585486B2 (en) Gesture interactive wearable spatial audio system
US9131305B2 (en) Configurable three-dimensional sound system
US11437004B2 (en) Audio performance with far field microphone
US9967693B1 (en) Advanced binaural sound imaging
EP2589231A1 (en) Facilitating communications using a portable communication device and directed sound output
US20150189455A1 (en) Transformation of multiple sound fields to generate a transformed reproduced sound field including modified reproductions of the multiple sound fields
US11109177B2 (en) Methods and systems for simulating acoustics of an extended reality world
JP7100824B2 (ja) データ処理装置、データ処理方法及びプログラム
US20230273290A1 (en) Sound source distance estimation
US20190037308A1 (en) Recording Method, Recording Play Method, Apparatuses, and Terminals
Yang et al. Audio augmented reality: A systematic review of technologies, applications, and future research directions
US10979846B2 (en) Audio signal rendering
JP2021520760A (ja) 音源の位置特定
KR20200087130A (ko) 신호 처리 장치 및 방법, 그리고 프로그램
CN115244952A (zh) 用于使能再现空间音频信号的装置、方法及计算机程序
CN108304152B (zh) 手持式电子装置、影音播放装置以及其影音播放方法
US10708679B2 (en) Distributed audio capture and mixing
US20210014615A1 (en) Combined Near-Field and Far-Field Audio Rendering and Playback
JP2019208185A (ja) 情報処理装置および音発生方法
CN111095951A (zh) 多通道双耳式录音和动态回放
EP3337066A1 (en) Distributed audio mixing
EP4422215A1 (en) Audio playing method and related apparatus
CN118202669A (zh) 信息处理装置、信息处理方法和程序

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant