CN115550597A - 一种拍摄方法、系统及电子设备 - Google Patents

一种拍摄方法、系统及电子设备 Download PDF

Info

Publication number
CN115550597A
CN115550597A CN202210973885.8A CN202210973885A CN115550597A CN 115550597 A CN115550597 A CN 115550597A CN 202210973885 A CN202210973885 A CN 202210973885A CN 115550597 A CN115550597 A CN 115550597A
Authority
CN
China
Prior art keywords
mobile phone
shooting
picture
window
equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210973885.8A
Other languages
English (en)
Inventor
冯可荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202210973885.8A priority Critical patent/CN115550597A/zh
Publication of CN115550597A publication Critical patent/CN115550597A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/451Execution arrangements for user interfaces
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/451Execution arrangements for user interfaces
    • G06F9/453Help systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439Processing of audio elementary streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/478Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Telephone Function (AREA)
  • Studio Devices (AREA)

Abstract

本申请提供一种拍摄方法、系统及电子设备,涉及拍摄领域,电子设备可以灵活、准确的将不同设备的拍摄画面切换至电子设备中显示,提高用户的使用体验。该方法包括:第一设备可在显示界面中显示第一拍摄画面,第一拍摄画面为第一设备使用自身的摄像头采集到的拍摄画面;当第一设备与N个电子设备建立网络连接后,第一设备可指示这N个电子设备开始采集拍摄画面,N为大于1的整数;如果第一设备获取到第二设备采集的第二拍摄画面,第一设备可识别第二拍摄画面中是否包含预设的发声标识,发声标识用于指示用户正在发声;若第二拍摄画面中包含预设的发声标识,说明使用第二设备的用户正在讲话,则第一设备可在显示界面中显示第二拍摄画面。

Description

一种拍摄方法、系统及电子设备
技术领域
本申请涉及拍摄领域,尤其涉及一种拍摄方法、系统及电子设备。
背景技术
目前,许多用户在家庭或工作地点中设置有多个具有拍摄功能的电子设备。在一些场景中,用户可能需要观看不同电子设备拍摄的拍摄画面。
例如,在会议场景或多人进行视频通话的场景中,每个用户都可以使用一个电子设备(例如手机)进行拍摄。当用户A在会议中使用手机1讲话时,其他用户可能希望使用自身的手机接收到来自手机1的音频数据和拍摄画面。后续,当用户B在会议中使用手机2讲话时,其他用户可能希望使用自身的手机接收到来自手机2的音频数据和拍摄画面。在这种场景下,如何灵活、准确的将不同设备的拍摄画面切换至电子设备中显示成为亟需解决的问题。
发明内容
本申请提供一种拍摄方法、系统及电子设备,电子设备可以灵活、准确的将不同设备的拍摄画面切换至电子设备中显示,提高用户的使用体验。
为达到上述目的,本申请采用如下技术方案:
第一方面,本申请提供一种拍摄方法,包括:第一设备可在显示界面中显示第一拍摄画面,第一拍摄画面为第一设备使用自身的摄像头采集到的拍摄画面;当第一设备与N个电子设备建立网络连接后,第一设备可指示这N个电子设备开始采集拍摄画面,N为大于1的整数;如果第一设备获取到第二设备(第二设备为上述N个电子设备中的一个)采集的第二拍摄画面,第一设备可识别第二拍摄画面中是否包含预设的发声标识,发声标识用于指示用户正在发声;若第二拍摄画面中包含预设的发声标识,说明使用第二设备的用户正在讲话,则第一设备可在显示界面中显示第二拍摄画面。此时,第一设备可在显示界面中继续显示第一拍摄画面(即第一设备的拍摄画面),也可以不显示第一拍摄画面。
可以看出,在第一设备与多个电子设备连接的分布式拍摄场景中,当用户向某一电子设备(例如第二设备)输入音频信号时,第二设备可通过在采集到的拍摄画面中添加预设的发声标记的方式,使得第一设备获知有用户向第二设备输入音频信号。进而,第一设备可将携带有发声标记的拍摄画面显示在显示界面中。这样一来,当不同的用户使用各自的设备输入音频信号时,第一设备作为主设备设备可以灵活、准确的将有用户声音输入的从设备采集到的拍摄画面切换至主设备上显示,使用户可以聚焦有用户声音输入的从设备的拍摄画面,提高用户的使用体验。
在一种可能的实现方式中,上述显示界面中可以设置预设按钮,该预设按钮用于同步显示多个设备的拍摄画面;例如,该预设按钮的名称可以为双景模式或多景模式等。以双景模式举例,在第一设备获取第二设备采集到的第二拍摄画面之前,还包括:响应于用户选择预设按钮的操作,第一设备可在显示界面中创建第一窗口和第二窗口,其中,第一窗口用于显示第一设备采集的第一拍摄画面,第二窗口用于显示其他设备采集的拍摄画面;此时,第一设备在显示界面中显示第二拍摄画面,具体包括:第一设备在第二窗口中显示第二拍摄画面,并且,在第一窗口中显示第一拍摄画面。这样一来,用户选择预设按钮后,第一设备可同时显示自身采集的第一拍摄画面,以及有用户声音输入的其他设备的拍摄画面。
在一种可能的实现方式中,响应于用户选择预设按钮的操作,还包括:第一设备与N个电子设备建立网络连接;若第一设备与第三设备首先建立网络连接,则在第一设备获取第二设备采集到的第二拍摄画面之前,还包括:第一设备获取第三设备采集到的第三拍摄画面,第三设备为N个电子设备中除第二设备外的一个电子设备;第一设备在第二窗口中显示第三拍摄画面,并且,在第一窗口中显示第一拍摄画面。也就是说,用户选择预设按钮后,第一设备可先将第一个连接的设备的拍摄画面显示在第二窗口中,后续,当获取到有用户声音输入的拍摄画面时,可在第二窗口中将已显示的拍摄画面切换为有用户声音输入的拍摄画面(例如第二拍摄画面)。
当然,用户选择预设按钮后,第一设备也可先将N个电子设备中其他一个或多个设备的拍摄画面显示在第二窗口中,本申请对此不做任何限制。
在一种可能的实现方式中,若上述第二拍摄画面中包含预设的发声标识,则第一设备在显示界面中显示第二拍摄画面,具体包括:若第二拍摄画面中包含预设的发声标识,则第一设备可判断距离在第二窗口中显示第三拍摄画面的时间是否超过预设时间;若超过预设时间,则第一设备在第二窗口中显示第二拍摄画面。
也就是说,如果距离上一次在第二窗口中切换拍摄画面的时间没有超过预设时间,说明第一设备在第二窗口中切换拍摄画面的时间不久,为了避免频繁切换第二窗口中的拍摄画面给用户带来不好的用户体验,第一设备可以继续在第二窗口中显示第三设备的第三拍摄画面。如果距离上一次在第三拍摄画面中切换拍摄画面的时间超过预设时间,则第一设备可以将第三拍摄画面中显示拍摄画面切换为当前接收到的携带有发声标识的拍摄画面。
在一种可能的实现方式中,在第一设备在第二窗口中显示第二拍摄画面之后,还包括:第一设备获取第三设备采集到的第三拍摄画面;若第三拍摄画面中不包含发声标识,则第一设备可继续在第二窗口中显示第二拍摄画面,不显示第三拍摄画面。这样,没有用户声音输入的从设备采集到的拍摄画面不会显示在第一设备(即主设备)的显示界面中,主设备可以灵活、准确的将有用户声音输入的从设备采集到的拍摄画面切换至主设备上显示,使用户可以聚焦至有用户声音输入的从设备的拍摄画面。
在一种可能的实现方式中,在第一设备获取第三设备采集到的第三拍摄画面之后,还包括:若第三拍摄画面中包含发声标识,则第一设备可以在第二窗口中显示第三拍摄画面,此时,第二窗口不再显示第二设备的第二拍摄画面;或者,若第三拍摄画面中包含发声标识,则第一设备可在显示界面中创建第三窗口,并在第三窗口中显示第三拍摄画面,此时,第二窗口可继续再显示第二设备的第二拍摄画面。
在一种可能的实现方式中,上述第二窗口中可以包括提示消息,提示消息用于提示第二窗口对应的用户正在发声。
在一种可能的实现方式中,若第二拍摄画面中包含预设的发声标识,则第一设备在显示界面中显示第二拍摄画面,包括:若第二拍摄画面中包含预设的发声标识,则第一设备在显示界面中将第一拍摄画面切换为第二拍摄画面,此时,显示界面中不再显示第一设备自身的拍摄画面。
在一种可能的实现方式中,在第一设备与N个电子设备建立网络连接之后,还包括:第一设备可以检测是否有用户向第一设备输入音频信号;若有用户向第一设备输入音频信号,则第一设备可向采集到的第一拍摄画面添加发声标识;进而,第一设备可将携带有发声标识的第一拍摄画面发送给连接的N个电子设备,以使得这N个电子设备根据发声标识显示第一拍摄画面。这样,与第一设备连接的从设备也可以将携带有发声标记的拍摄画面显示在显示界面中,使得分布式拍摄场景中的用户均可以聚焦至有用户声音输入的从设备的拍摄画面。
在一种可能的实现方式中,第一设备检测是否有用户向第一设备输入音频信号,具体包括:第一设备使用摄像头采集第一拍摄画面的时,可像从设备一样使用麦克风检测音频信号;当第一设备检测到音频信号时,可获取与检测到的音频信号对应的M个第一拍摄画面,M为大于1的整数;若M个第一拍摄画面中的口型特征与检测到的音频信号匹配,则第一设备可确定有用户向第一设备输入音频信号。这种检测用户是否向设备输入音频信号的方式不需要预先训练和存储用户的声纹、面部特征等信息,也不需要与服务器交互,可降低实现的复杂度和实现成本。
在一种可能的实现方式中,当第一设备检测到音频信号时,获取与检测到的音频信号对应的M个第一拍摄画面,具体包括:当第一设备检测到音频信号的响度大于预设值时,获取与检测到的音频信号对应的M个第一拍摄画面,从而增加第一设备确定用户向自身输入音频信号的准确度。
在一种可能的实现方式中,在第一设备检测是否有用户向第一设备输入音频信号之后,还包括:若有用户向第一设备输入音频信号,说明此时讲话的用户为使用第一设备的用户,则第一设备可停止显示第二设备的第二拍摄画面。当然,第一设备也可继续显示第二设备的第二拍摄画面,本申请对此不做任何限制。
第二方面,本申请提供一种拍摄方法,包括:第二设备与第一设备建立网络连接后,第二设备可使用摄像头采集拍摄画面,并使用麦克风检测音频信号;当第二设备检测有用户向第二设备输入音频信号时,第二设备可向采集到的拍摄画面中添加预设的发声标识,发声标识用于指示用户正在发声;进而,第二设备可将携带有发声标识的拍摄画面发送至第一设备,使得第一设备可将携带有发声标记的拍摄画面显示在显示界面中。这样一来,当不同的用户使用各自的从设备输入音频信号时,第一设备作为主设备可以灵活、准确的将有用户声音输入的从设备采集到的拍摄画面切换至主设备上显示,使用户可以聚焦有用户声音输入的从设备的拍摄画面,提高用户的使用体验。
在一种可能的实现方式中,在第二设备使用摄像头采集拍摄画面,并使用麦克风检测音频信号之后,还包括:当第二设备检测到音频信号时,获取与检测到的音频信号对应的M个拍摄画面,M为大于1的整数;若M个拍摄画面中的口型特征与检测到的音频信号匹配,则第二设备可确定有用户向第二设备输入音频信号。
在一种可能的实现方式中,当第二设备检测到音频信号时,获取与检测到的音频信号对应的M个拍摄画面,包括:当第二设备检测到音频信号的响度大于预设值时,获取与检测到的音频信号对应的M个拍摄画面。
在一种可能的实现方式中,在第二设备与第一设备建立网络连接之后,还包括:第二设备获取第一设备的拍摄画面;若第一设备的拍摄画面中包含发声标识,则第二设备在显示界面中显示第一设备的拍摄画面。也就是说,第二设备也可以显示携带有发声标识的拍摄画面,使得分布式拍摄场景中的用户均可以聚焦至有用户声音输入的从设备的拍摄画面。
在一种可能的实现方式中,第二设备的显示界面中也可以包括第一窗口和第二窗口,其中,第二设备在显示界面中显示第一设备的拍摄画面,包括:第二设备可在第一窗口中显示第一设备的拍摄画面,并在第二窗口中显示第二设备的拍摄画面。
第三方面,本申请提供一种电子设备(例如上述第一设备),包括:显示屏、通信模块、一个或多个处理器、一个或多个摄像头、一个或多个存储器、以及一个或多个计算机程序;其中,处理器与通信模块、显示屏以及存储器均耦合,上述一个或多个计算机程序被存储在存储器中,当电子设备运行时,该处理器执行该存储器存储的一个或多个计算机程序,以使电子设备执行上述任一方面中的拍摄方法。
第四方面,本申请提供一种电子设备(例如上述第二设备),包括:显示屏、通信模块、一个或多个处理器、一个或多个摄像头、一个或多个存储器、以及一个或多个计算机程序;其中,处理器与通信模块、存储器均耦合,上述一个或多个计算机程序被存储在存储器中,当电子设备运行时,该处理器执行该存储器存储的一个或多个计算机程序,以使电子设备执行上述任一方面中的拍摄方法。
第五方面,本申请提供一种分布式拍摄系统,包括上述第三方面中的第一设备以及上述第四方面中的第二设备。其中,第一设备可在显示界面中显示第一拍摄画面,所述第一拍摄画面为所述第一设备采集到的拍摄画面;当所述第一设备与N个电子设备建立网络连接后,所述第一设备指示所述N个电子设备开始采集拍摄画面,N为大于1的整数;所述第二设备在使用摄像头采集拍摄画面时,还可以使用麦克风检测音频信号;当所述第二设备检测有用户向所述第二设备输入音频信号时,所述第二设备向采集到的拍摄画面(例如第二拍摄画面)中添加预设的发声标识,所述发声标识用于指示用户正在发声;所述第二设备将携带有所述发声标识的第二拍摄画面发送至所述第一设备;所述第一设备获取到第二拍摄画面后,若所述第二拍摄画面中包含预设的发声标识,则所述第一设备在所述显示界面中显示所述第二拍摄画面。
第六方面,本申请提供一种计算机可读存储介质,包括计算机指令,当计算机指令在上述第一设备或第二设备上运行时,使得第一设备或第二设备执行上述任一方面中所述的拍摄方法。
第七方面,本申请提供一种计算机程序产品,当计算机程序产品在上述第一设备或第二设备上运行时,使得第一设备或第二设备执行上述任一方面中所述的拍摄方法。
第八方面提供一种电子设备上的图形用户界面(graphical user interface,GUI),电子设备具有显示屏、摄像头、存储器以及一个或多个处理器,所述一个或多个处理器用于执行存储在所述存储器中的一个或多个计算机程序,所述图形用户界面包括所述电子设备执行上述第一方面及其第一方面任一项或者第二方面及其第二方面任一项可能设计的技术方案时,显示的图形用户界面。
可以理解地,上述各个方面所提供的电子设备、分布式拍摄系统、计算机可读存储介质以及计算机程序产品均应用于上文所提供的对应方法,因此,其所能达到的有益效果可参考上文所提供的对应方法中的有益效果,此处不再赘述。
附图说明
图1为本申请实施例提供的一种分布式拍摄系统的架构示意图;
图2为本申请实施例提供的一种拍摄方法的应用场景示意图一;
图3为本申请实施例提供的一种拍摄方法的应用场景示意图二;
图4为本申请实施例提供的一种拍摄方法的应用场景示意图三;
图5为本申请实施例提供的一种电子设备的结构示意图一;
图6为本申请实施例提供的一种电子设备中操作系统的架构示意图;
图7为本申请实施例提供的一种拍摄方法的应用场景示意图四;
图8为本申请实施例提供的一种拍摄方法的应用场景示意图五;
图9为本申请实施例提供的一种拍摄方法的应用场景示意图六;
图10为本申请实施例提供的一种拍摄方法的应用场景示意图七;
图11为本申请实施例提供的一种拍摄方法的应用场景示意图八;
图12为本申请实施例提供的一种拍摄方法的应用场景示意图九;
图13为本申请实施例提供的一种拍摄方法的应用场景示意图十;
图14为本申请实施例提供的一种拍摄方法的应用场景示意图十一;
图15为本申请实施例提供的一种拍摄方法的应用场景示意图十二;
图16为本申请实施例提供的一种拍摄方法的应用场景示意图十三;
图17为本申请实施例提供的一种拍摄方法的应用场景示意图十四;
图18为本申请实施例提供的一种拍摄方法的应用场景示意图十五;
图19为本申请实施例提供的一种拍摄方法的应用场景示意图十六;
图20为本申请实施例提供的一种电子设备的结构示意图二;
图21为本申请实施例提供的一种电子设备的结构示意图三。
具体实施方式
下面将结合附图对本实施例的实施方式进行详细描述。
本申请实施例提供的一种拍摄方法,可应用于图1所示的分布式拍摄系统200中。如图1所示,该分布式拍摄系统200中可以包括主设备(master)101和N个从设备(slave)102,N为大于0的整数。主设备101与任意一个从设备102之间可通过有线的方式通信,也可以通过无线的方式通信。
示例性的,主设备101与从设备102之间可以使用通用串行总线(universalserial bus,USB)建立有线连接。又例如,主设备101与从设备102之间可以通过全球移动通讯系统(global system for mobile communications,GSM)、通用分组无线服务(generalpacket radio service,GPRS)、码分多址接入(code division multiple access,CDMA)、宽带码分多址(wideband code division multiple access,WCDMA),时分码分多址(time-division code division multiple access,TD-SCDMA),长期演进(long termevolution,LTE)、蓝牙、无线保真(wireless fidelity,Wi-Fi)、NFC、基于互联网协议的语音通话(voice over Internet protocol,VoIP)、支持网络切片架构的通信协议建立无线连接。
其中,主设备101和从设备102中均可设置一个或多个摄像头。
主设备101可使用自身的摄像头采集图像数据(也可称为拍摄画面),从设备102也可以使用自身的摄像头采集图像数据。示例性的,从设备102可以使用自身的摄像头采集图像数据,并且,从设备102可将图像数据发送给主设备101,由主设备101显示来自从设备102的图像数据。或者,主设备101和从设备102可以同时使用自身的摄像头采集图像数据,并且,从设备102可将图像数据发送给主设备101,由主设备101同时显示来自主设备101和从设备102的图像数据,从而实现跨设备的分布式拍摄功能。
示例性的,上述主设备101(或从设备102)具体可以为手机、平板电脑、电视(也可称为智能电视、智慧屏或大屏设备)、笔记本电脑、超级移动个人计算机(Ultra-mobilePersonal Computer,UMPC)、手持计算机、上网本、个人数字助理(Personal DigitalAssistant,PDA)、可穿戴电子设备(例如,智能手表,智能眼镜,智能头盔,智能手环)、车载设备、虚拟现实设备等具有拍摄功能的电子设备,本申请实施例对此不做任何限制。
以手机为主设备101举例,手机中可以安装具有拍摄功能的应用,例如,相机应用、直播应用或视频通话应用等。如图2所示,以相机应用举例,检测到用户打开相机应用后,手机可打开自身的摄像头开始采集拍摄画面,并将拍摄画面实时显示在预览界面201的预览框202中。仍以相机应用举例,仍如图2所示,手机可以在相机应用的预览界面201中设置预设按钮203,预设按钮203用于触发手机获取从设备拍摄的拍摄画面,并显示从设备的拍摄画面。例如,预设按钮203可触发手机将自身和从设备的拍摄画面均显示在预览界面201中。又例如,预设按钮203可触发手机将预览界面201中自身的拍摄画面切换为从设备的拍摄画面,此时,手机可以不显示自身的拍摄画面。
示例性的,手机检测到用户点击预设按钮203后,手机可搜索当前具有拍摄功能的一个或多个电子设备。例如,服务器中可以记录每个电子设备是否具有拍摄功能。那么,手机可以在服务器中查询与手机登录同一账号(例如华为账号)的具有拍摄功能的电子设备。
或者,手机可以搜索与手机位于同一Wi-Fi网络中的电子设备。进而,手机可向同一Wi-Fi网络中的各个电子设备发送查询请求,触发接收到查询请求的电子设备向手机发送响应消息,响应消息中可以指示自身是否具有拍摄功能。这样,手机可以根据接收到的响应消息确定出当前Wi-Fi网络中具有拍摄功能的电子设备。
以手机搜索到的具有拍摄功能的电子设备包括电视1、手表2以及平板电脑3举例,手机可将这三个电子设备作为从设备,分别与电视1、手表2以及平板电脑3建立网络连接。例如,手机可分别与电视1、手表2以及平板电脑3建立Wi-Fi连接或者Wi-Fi P2P连接,或者,手机可直接与电视1、手表2以及平板电脑3建立移动网络连接,该移动网络包括但不限于支持2G,3G,4G,5G以及后续标准协议的移动网络。
当然,手机也可以在用户打开相机应用或者在用户触发相机应用中的某一选项时自动搜索并连接一个或多个电子设备,本申请实施例对此不做任何限制。
作为一种可能的实现方式,手机中可安装用于管理家庭内智能家居设备(例如电视、空调、音箱或冰箱等)的应用。以智能家居应用举例,用户可以在智能家居应用中添加一个或多个智能家居设备,使得用户添加的智能家居设备与手机建立关联。例如,智能家居设备上可以设置包含设备标识等设备信息的二维码,用户使用手机的智能家居应用扫描该二维码后,可将对应的智能家居设备添加至智能家居应用中,从而建立智能家居设备与手机的关联关系。在本申请实施例中,当智能家居应用中添加的一个或多个智能家居设备上线时,例如,当手机检测到已添加智能家居设备发送的Wi-Fi信号时,手机可与该智能家居设备建立网络连接。
示例性的,如果手机首先与电视1建立了网络连接,则手机可向电视1发送拍摄指令,使得电视1可响应该拍摄指令使用自身的摄像头开始采集拍摄画面。并且,如图3所示,电视1可将实时采集到的拍摄画面301发送至手机。此时,手机可在相机应用的预览界面201中显示来自电视1的拍摄画面301。这样,手机可响应用户点击预设按钮203的操作将某一从设备(例如电视1)的拍摄画面切换至手机(即主设备)中显示。当然,手机与手表2(或平板电脑3)建立网络连接后,手机也可以指示手表2(或平板电脑3)开始采集拍摄画面,并将采集到的拍摄画面发送至手机,但手机可以不显示来自手表2(或平板电脑3)的拍摄画面。
后续,电视1、手表2以及平板电脑3在使用摄像头采集拍摄画面的同时,可以实时检测是否有用户输入音频信号。例如,电视1、手表2以及平板电脑3可以使用自身的麦克风检测是否有用户输入音频信号。示例性的,如果平板电脑3检测到用户向自身输入音频信号,说明使用平板电脑3的用户正在发声。此时,如图4所示,平板电脑3可在采集到的拍摄画面401中添加预设的发声标记,并将携带有发声标记的拍摄画面401发送至手机(即主设备)。进而,手机接收到平板电脑3发送的拍摄画面401后,如果识别出拍摄画面401中设置有发声标记,说明此时使用平板电脑3的用户正在发声。进而,仍如图4所示,手机可在相机应用的预览界面201中显示来自平板电脑3的拍摄画面401。此时,手机可以在预览界面201中停止显示电视1发来的拍摄画面。
也就是说,在分布式拍摄场景中,与主设备(例如上述手机)相连的多个从设备可以实时检测是否有用户向自身输入音频信号。当用户向某一从设备(例如上述平板电脑3)输入音频信号时,该从设备可主动在采集到的拍摄画面中添加预设的发声标记。这样,当主设备接收到该从设备发来的拍摄画面时,可通过拍摄画面中的发声标记获知有用户向该从设备输入音频信号。进而,主设备可将携带有发声标记的拍摄画面显示在显示界面中。这样一来,当不同的用户使用各自的从设备输入音频信号时,主设备可以灵活、准确的将有用户声音输入的从设备采集到的拍摄画面切换至主设备上显示,使用户可以聚焦有用户声音输入的从设备的拍摄画面,提高用户的使用体验。
另外,上述平板电脑3除了可以将携带有发声标记的拍摄画面发送至手机(即主设备)外,还可以将携带有发声标记的拍摄画面发送至其他从设备(例如上述电视1和/或手表2),这样,其他从设备也可以将携带有发声标记的拍摄画面显示在显示界面中,使得分布式拍摄场景中的用户均可以聚焦至有用户声音输入的从设备的拍摄画面。
在另一些实施例中,主设备(例如上述手机)在与各个从设备建立连接后,也可以继续使用自身的摄像头采集拍摄画面。此时,手机可以在上述预览界面201中设置两个窗口,其中一个窗口用于按照上述方法显示采集到有用户发声的从设备(例如上述平板电脑3)发送的拍摄画面,另一个窗口用户显示手机(即主设备)采集的拍摄画面,本申请实施例对此不做任何限制。
示例性的,以手机作为上述分布式拍摄系统200中的主设备201举例,图5示出了手机的结构示意图。
手机可以包括处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,USB)接口130,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180等。
可以理解的是,本发明实施例示意的结构并不构成对手机的具体限定。在本申请另一些实施例中,手机可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,存储器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了系统的效率。
手机的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。
移动通信模块150可以提供应用在手机上的包括2G/3G/4G/5G等无线通信的解决方案。在一些实施例中,移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中,移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。
无线通信模块160可以提供应用在手机上的包括无线局域网(wireless localarea networks,WLAN)(如无线保真(wireless fidelity,Wi-Fi)网络),蓝牙(bluetooth,BT),全球导航卫星系统(global navigation satellite system,GNSS),调频(frequencymodulation,FM),近距离无线通信技术(near field communication,NFC),红外技术(infrared,IR)等无线通信的解决方案。
在一些实施例中,手机的天线1和移动通信模块150耦合,天线2和无线通信模块160耦合,使得手机可以通过无线通信技术与网络以及其他设备通信。
手机通过GPU,显示屏194,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏194和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏194用于显示图像,视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD),有机发光二极管(organic light-emittingdiode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的,AMOLED),柔性发光二极管(flex light-emittingdiode,FLED),Miniled,MicroLed,Micro-oLed,量子点发光二极管(quantum dot lightemitting diodes,QLED)等。在一些实施例中,手机可以包括1个或N个显示屏194,N为大于1的正整数。
手机可以通过ISP,摄像头193,视频编解码器,GPU,显示屏194以及应用处理器等实现拍摄功能。
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device,CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB,YUV等格式的图像信号。在一些实施例中,手机可以包括1个或N个摄像头193,N为大于1的正整数。
外部存储器接口120可以用于连接外部存储卡,例如Micro SD卡,实现扩展手机的存储能力。外部存储卡通过外部存储器接口120与处理器110通信,实现数据存储功能。例如将音乐,视频等文件保存在外部存储卡中。
内部存储器121可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令,从而执行手机的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)等。存储数据区可存储手机使用过程中所创建的数据(比如音频数据,电话本等)等。此外,内部存储器121可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flash storage,UFS)等。
手机可以通过音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,以及应用处理器等实现音频功能。例如音乐播放,录音等。
音频模块170用于将数字音频信息转换成模拟音频信号输出,也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中,音频模块170可以设置于处理器110中,或将音频模块170的部分功能模块设置于处理器110中。
扬声器170A,也称“喇叭”,用于将音频电信号转换为声音信号。手机可以通过扬声器170A收听音乐,或收听免提通话。
受话器170B,也称“听筒”,用于将音频电信号转换成声音信号。当手机接听电话或语音信息时,可以通过将受话器170B靠近人耳接听语音。
麦克风170C,也称“话筒”,“传声器”,用于将声音信号转换为电信号。当拨打电话或发送语音信息时,用户可以通过人嘴靠近麦克风170C发声,将声音信号输入到麦克风170C。手机可以设置至少一个麦克风170C。在另一些实施例中,手机可以设置两个麦克风170C,除了采集声音信号,还可以实现降噪功能。在另一些实施例中,手机还可以设置三个,四个或更多麦克风170C,实现采集声音信号,降噪,还可以识别声音来源,实现定向录音功能等。
耳机接口170D用于连接有线耳机。耳机接口170D可以是USB接口130,也可以是3.5mm的开放移动电子设备平台(open mobile terminal platform,OMTP)标准接口,美国蜂窝电信工业协会(cellular telecommunications industry association of the USA,CTIA)标准接口。
传感器模块180中可以包括压力传感器,陀螺仪传感器,气压传感器,磁传感器,加速度传感器,距离传感器,接近光传感器,指纹传感器,温度传感器,触摸传感器,环境光传感器,骨传导传感器等。
当然,手机还可以包括充电管理模块、电源管理模块、电池、按键、指示器以及1个或多个SIM卡接口等,本申请实施例对此不做任何限制。
上述手机的软件系统可以采用分层架构,事件驱动架构,微核架构,微服务架构,或云架构。本申请实施例以分层架构的Android系统为例,示例性说明手机的软件结构。当然,在其他操作系统(例如鸿蒙系统、Linux系统等)中,只要各个功能模块实现的功能和本申请的实施例类似,即属于本申请权利要求及其等同技术的范围之内。
图6是本申请实施例提供的手机的软件结构框图。
分层架构将软件分成若干个层,每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中,将Android系统分为五层,从上至下分别为应用程序层,应用程序框架层,安卓运行时(Android runtime)和系统库,HAL(hardware abstractionlayer,硬件抽象层)层以及内核层。
应用程序层可以包括一系列应用程序包。
如图6所示,应用程序层中可以安装通话,备忘录,浏览器,联系人,图库,日历,地图,蓝牙,音乐,视频,短信息等应用(application)。
在本申请实施例中,应用程序层中可以安装具有拍摄功能的应用,例如,相机应用、视频通话应用或直播应用等。当然,其他应用需要使用拍摄功能时,也可以调用相机应用等具有拍摄功能的应用实现拍摄功能。
应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface,API)和编程框架。应用程序框架层包括一些预先定义的函数。
如图6所示,以相机应用举例,应用程序框架层中设置有相机服务(CameraService)。相机应用可通过调用预设的API启动CameraService。CameraService在运行过程中可以与HAL(hardware abstraction layer,硬件抽象层)中的Camera HAL交互。其中,Camera HAL负责与手机中实现拍摄功能的硬件设备(例如摄像头)进行交互,CameraHAL一方面隐藏了相关硬件设备的实现细节(例如具体的图像处理算法),另一方面可向Android系统提供调用相关硬件设备的接口。
示例性的,相机应用可将用户下发的相关控制指令(例如预览、放大、拍照或录像指令)发送至CameraService。一方面,CameraService可将接收到的控制指令发送至CameraHAL,使得Camera HAL可根据接收到的控制指令调用内核层中的相机驱动,驱动摄像头等硬件设备响应该控制指令采集原始图像数据。例如,摄像头可按照一定的帧率,将采集到的每一帧原始图像数据通过相机驱动传递给Camera HAL。其中,控制指令在操作系统内部的传递过程可参见图6中控制流的具体传递过程。
另一方面,CameraService接收到上述控制指令后,可根据接收到的控制指令确定此时的拍摄策略,拍摄策略中设置了需要对采集到的图像数据执行的具体图像处理任务。例如,在预览模式下,CameraService可在拍摄策略中设置图像处理任务1用于实现人脸检测功能。又例如,如果在预览模式下用户开启了美颜功能,则CameraService还可以在拍摄策略中设置图像处理任务2用于实现美颜功能。进而,CameraService可将确定出的拍摄策略发送至Camera HAL。
当Camera HAL接收到摄像头采集到的每一帧图像数据后,可根据CameraService下发的拍摄策略对上述图像数据执行相应的图像处理任务,得到图像处理后的每一帧拍摄画面。例如,Camera HAL可根据拍摄策略1对接收到的每一帧图像数据执行图像处理任务1,得到对应的每一帧拍摄画面。当拍摄策略1更新为拍摄策略2后,Camera HAL可根据拍摄策略2对接收到的每一帧图像数据执行图像处理任务2和图像处理任务3,得到对应的每一帧拍摄画面。
后续,Camera HAL可将经过图像处理后的每一帧拍摄画面通过CameraService上报给相机应用,相机应用可将每一帧拍摄画面显示在显示界面中,或者,相机应用可以照片或视频的形式将每一帧拍摄画面保存在手机内。其中,上述拍摄画面在操作系统内部的传递过程可参见图6中数据流的具体传递过程。
另外,应用程序框架层还可以包括窗口管理器,内容提供器,视图系统,资源管理器,通知管理器等,本申请实施例对此不做任何限制。
例如,上述窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小,判断是否有状态栏,锁定屏幕,截取屏幕等。上述内容提供器用来存放和获取数据,并使这些数据可以被应用程序访问。所述数据可以包括视频,图像,音频,拨打和接听的电话,浏览历史和书签,电话簿等。上述视图系统可用于构建应用程序的显示界面。每个显示界面可以由一个或多个控件组成。一般而言,控件可以包括图标、按钮、菜单、选项卡、文本框、对话框、状态栏、导航栏、微件(Widget)等界面元素。上述资源管理器为应用程序提供各种资源,比如本地化字符串,图标,图片,布局文件,视频文件等等。上述通知管理器使应用程序可以在状态栏中显示通知信息,可以用于传达告知类型的消息,可以短暂停留后自动消失,无需用户交互。比如通知管理器被用于告知下载完成,消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知,例如后台运行的应用程序的通知,还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息,发出提示音,振动,指示灯闪烁等。
如图6所示,Android runtime包括核心库和虚拟机。Android runtime负责安卓系统的调度和管理。
核心库包含两部分:一部分是java语言需要调用的功能函数,另一部分是安卓的核心库。
应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理,堆栈管理,线程管理,安全和异常的管理,以及垃圾回收等功能。
系统库可以包括多个功能模块。例如:表面管理器(surface manager),媒体库(Media Libraries),三维图形处理库(例如:OpenGL ES),2D图形引擎(例如:SGL)等。
其中,表面管理器用于对显示子系统进行管理,并且为多个应用程序提供了2D和3D图层的融合。媒体库支持多种常用的音频,视频格式回放和录制,以及静态图像文件等。媒体库可以支持多种音视频编码格式,例如:MPEG4,H.264,MP3,AAC,AMR,JPG,PNG等。三维图形处理库用于实现三维图形绘图,图像渲染,合成,和图层处理等。2D图形引擎是2D绘图的绘图引擎。
内核层位于HAL之下,是硬件和软件之间的层。内核层至少包含显示驱动,摄像头驱动,音频驱动,传感器驱动等,本申请实施例对此不做任何限制。
基于图6所示的Android系统的软件架构,在本申请实施例中,如图7所示,可在手机的应用程序层中安装用于实现分布式拍摄功能的设备虚拟化(DeviceVirtualization)应用,后续可称为DV应用。DV应用可作为系统应用常驻在手机中运行。或者,也可将DV应用实现的功能以系统服务的形式常驻在手机中运行。
当手机需要与其他电子设备共同实现分布式拍摄功能时,手机中的DV应用可将一个或多个电子设备作为手机的从设备与手机建立网络连接。仍如图7所示,手机的DV应用与从设备建立网络连接后,DV应用可基于该网络连接获取从设备的拍摄能力参数,该拍摄能力参数用于指示从设备的拍摄能力。例如,该拍摄能力参数中可以包括从设备支持的具体图像处理算法,从设备中摄像头的相关硬件参数等。进而,DV应用可调用HAL的预设接口,向预设接口中输入获取到的拍摄能力参数,从而在HAL中创建与从设备对应的HAL。
本申请实施例中可将DV应用按照从设备的拍摄能力参数创建的HAL称为DMSDP(Distributed Mobile Sensing Development Platform,分布式移动传感开发平台)HAL,也可称为虚拟Camera HAL。与手机中传统的Camera HAL不同的是,DMSDP HAL并不与手机实际的硬件设备相对应,而是与手机当前连接的从设备对应。手机可作为主设备通过DMSDPHAL与从设备进行数据收发,将从设备作为手机的一个虚拟设备,与从设备协同完成分布式拍摄场景中的各项业务。
仍如图7所示,DV应用除了在HAL中为手机的从设备创建对应的DMSDP HAL之外,还可以将从设备的拍摄能力参数发送至CameraService进行保存,也即在CameraService中注册当前从设备的拍摄能力。
后续,以相机应用举例,当手机运行相机应用时,CameraService能够根据相机应用下发的控制指令(例如预览、放大、录像等指令),结合从设备的拍摄能力实时确定拍摄过程中的拍摄策略。例如,CameraService可以在根据从设备的拍摄能力参数,在拍摄策略中设置手机需要执行的图像处理任务,以及从设备需要执行的图像处理任务。进而,CameraService可通过DMSDP HAL向从设备发送与拍摄策略对应的拍摄指令,触发从设备执行对应的图像处理任务。
这样一来,手机和从设备在实现分布式拍摄功能时,手机和从设备可基于上述拍摄策略,按照自身的拍摄能力对图像数据进行相应的图像处理,使得手机可与从设备更加高效、灵活的协同实现分布式拍摄功能,在分布式拍摄场景中实现较好的拍摄效果。
在本申请实施例中,以手机1为主设备举例,手机1和多个从设备可在分布式拍摄场景下进行同步拍摄。
例如,如果检测到用户打开手机1的相机应用,则手机1可打开自身的摄像头开始拍摄,并且,如图8所示,手机1可将采集到的拍摄画面显示在相机应用的预览界面801中。在本申请实施例中,预览界面801中可以设置用于与从设备同步拍摄的预设按钮802,预设按钮802可用于触发手机1显示两个或更多个电子设备的拍摄画面。例如,预设按钮802的名称可以为“双景模式”、“三景模式”或“多景模式”等。以“双景模式”举例,手机1检测到用户选择名称为“双景模式”的预设按钮802后,可触发手机1在预览界面801中创建两个窗口,其中一个窗口用于显示手机1的拍摄画面,另一个窗口用于显示其他电子设备的拍摄画面。应理解:如果手机与N个具有摄像头的电子设备建立了无线连接,当用户在预览界面801点击了预设按钮802,则触发手机1在预览界面801创建N+1个窗口,一个窗口用于显示手机1的拍摄画面,另外N个窗口用于显示N个电子设备的拍摄画面。当然也可创建比N+1少的窗口或N+1多的窗口,来显示手机1的拍摄界面和其他N个电子设备的拍摄界面,如果创建的窗口少于N+1,可选择一些电子设备的拍摄界面不显示。如果创建的窗口多于N+1,则多于N+1的窗口可显示其他内容,或者重复显示其中一个或多个电子设备的拍摄界面。
当然,手机1也可以将上述用于与从设备同步拍摄的预设按钮802设置在手机1的控制中心、下拉菜单、负一屏菜单或其他应用(例如视频通话应用、直播应用等)中,本申请实施例对此不做任何限制。
以下实施例中以名称为“双景模式”的预设按钮802举例,当手机1检测到用户点击上述预设按钮802后,手机1的DV应用可以触发手机1搜索附近具有拍摄功能的一个或多个电子设备。当然,手机1也可以在用户打开相机应用后自动搜索附近具有拍摄功能的一个或多个电子设备。以手机1的DV应用检测到电视1和手机2这两个电子设备举例,手机1的DV应用可将电视1和手机2作为手机1的两个从设备分别与手机1建立网络连接。例如,手机1可与电视1建立Wi-Fi P2P连接,并且,手机1可与手机2建立Wi-Fi P2P连接。进而,手机1的DV应用可基于与电视1之间的网络连接获取电视1的拍摄能力参数1。并且,手机1的DV应用可基于与手机2之间的网络连接获取手机2的拍摄能力参数2。
进而,如图9所示,手机1的DV应用可根据获取到的拍摄能力参数1和拍摄能力参数2在HAL中创建对应的DMSDP HAL。例如,手机1的DV应用可根据拍摄能力参数1创建与电视1对应的虚拟HAL 1,并且,手机1的DV应用可根据拍摄能力参数2创建与手机2对应的虚拟HAL2。虚拟HAL 1和虚拟HAL 2可作为两个功能模块运行在DMSDP HAL中。后续,手机1可通过虚拟HAL 1与电视1进行数据交互,并且,手机1可通过虚拟HAL 2与手机2进行数据交互。
可以理解的是,当手机1检测到新的从设备时,还可以按照上述方法在DMSDP HAL中创建新的虚拟HAL。或者,当手机1检测到与当前的某一从设备断开网络连接时,也可以在DMSDP HAL中删除对应的虚拟HAL。又或者,当手机1检测到某一从设备的拍摄能力参数更新时,手机1的DV应用可以按照更新后的拍摄能力参数更新对应的虚拟HAL,本申请实施例对此不做任何限制。
在另一些实施例中,手机1的DV应用获取到电视1和手机2的拍摄能力参数后,也可以在HAL中创建两个DMSDP HAL,其中一个DMSDP HAL与电视1对应,另一个DMSDP HAL与手机2对应,本申请实施例对此不做任何限制。
或者,手机1搜索到附近具有拍摄功能的一个或多个电子设备后,可以显示对应的设备列表。这样,用户可以在手机1显示的设备列表中选择本次作为手机1的从设备的一个或多个电子设备。后续,手机1可响应用户的选择操作,按照上述方法与相应的电子设备建立网络连接,并创建对应的DMSDP HAL,本申请实施例对此不做任何限制。
仍如图9所示,手机1的HAL中还可以设置与手机的摄像头对应的Camera HAL。当检测到用户打开相机应用后,手机1可打开自身的摄像头采集图像数据。手机1的摄像头可将采集到的图像数据上报给Camera HAL,由Camera HAL将采集到的图像数据处理为对应的每一帧拍摄画面(即拍摄画面1)。进而,Camera HAL可将得到的拍摄画面1上报给CameraService,由CameraService将拍摄画面1上报给相机应用,使得相机应用在手机1的显示界面中显示该拍摄画面1。
在本申请实施例中,手机1的相机应用检测到用户点击上述预设按钮802后,如图10所示,相机应用可在显示界面中创建窗口1201和窗口1202。此时,与图9中手机1的处理过程类似的,手机1的CameraService可以接收到Camera HAL实时上报的来自手机1的拍摄画面1,手机1的CameraService可将手机1的拍摄画面1上报给相机应用。此时,相机应用可将手机1的拍摄画面1显示在窗口1201(或窗口1202)中。
同时,当手机1与当前的从设备建立网络连接后,手机1的相机应用还可以在显示界面的另一个窗口(例如窗口1202)中实时显示来自从设备的拍摄画面。例如,手机1可默认在窗口1202中显示第一个与手机1建立网络连接的从设备的拍摄画面。
仍以手机1的从设备为电视1和手机2举例,当手机1先与电视1建立网络连接,并按照电视1的拍摄能力参数在DMSDP HAL中创建对应的虚拟HAL 1后,手机1可向电视1发送拍摄指令1。仍如图9所示,电视1可响应拍摄指令1使用电视1的摄像头实时获取拍摄画面2。进而,电视1可将拍摄画面2发送至手机1的虚拟HAL 1,虚拟HAL 1接收到来自电视1的拍摄画面2后,可通过手机1的CameraService将拍摄画面2上报给相机应用。继而,如图10所示,相机应用可将来自电视1的拍摄画面2显示在窗口1202中。这样,当用户在手机1中开启“双景模式”的同步拍摄功能时,手机1可将手机自身的拍摄画面以及第一个与手机1连接的从设备的拍摄画面同步显示在手机1的显示界面中。
当然,手机1也可以设置将第二个(或第N个)与手机1连接的从设备的拍摄画面显示在窗口1202中。或者,手机1也可以设置将某一指定从设备的拍摄画面显示在窗口1202中。或者,手机1也可以将与手机1连接的多个从设备的拍摄画面均显示在显示界面中。当然,手机1也可以在窗口1202中不显示任何从设备的拍摄画面,本申请实施例对此不做任何限制。
另一方面,在手机1与电视1建立了网络连接后,当手机1与手机2建立网络连接,并按照手机2的拍摄能力参数在DMSDP HAL中创建对应的虚拟HAL 2后,由于手机2不是与手机1第一个建立网络连接的从设备,即窗口1202中不需要显示手机2的拍摄画面,那么,手机1可以不向手机2发送拍摄指令。这样,手机2也不会响应手机1发送的拍摄指令打开摄像头实时获取对应的拍摄画面,手机1也不会接收到来自手机2的拍摄画面。
或者,在另一些实施例中,如图11所示,手机1的DMSDP HAL中还可以设置控制模块1,控制模块1可用于确定向CameraService发送来自哪个从设备的拍摄画面。例如,手机1的DV应用在创建与各个从设备对应的虚拟HAL时,可在DMSDP HAL的控制模块1中保存不同从设备与不同虚拟HAL之间的对应关系。如表1所示,电视1和手机2为手机1当前连接的两个从设备。其中,电视1与虚拟HAL 1对应,电视1中设置有一个摄像头A,摄像头A的拍摄能力参数为参数1。手机2与虚拟HAL 2对应,手机2中设置有两个摄像头(即摄像头B和摄像头C),摄像头B的拍摄能力参数为参数2,摄像头C的拍摄能力参数为参数3。
表1
Figure BDA0003797395170000141
那么,如果手机1首先与电视1建立了网络连接,则上述控制模块1可设置窗口1202与电视1之间的对应关系,即此时窗口1202中需要显示电视1的拍摄画面。进而,手机1可按照上述方法向电视1发送拍摄指令,指示电视1将拍摄画面2发送至手机1的虚拟HAL 1。如图11所示,手机1的虚拟HAL 1接收到来自电视1的拍摄画面2后,可将拍摄画面2发送至上述控制模块1,由于控制模块1已经设置了窗口1202与电视1之间的对应关系,因此,控制模块1识别出拍摄画面2是来自电视1的拍摄画面后,可通过CameraService将拍摄画面2上报给相机应用,由相机应用将来自电视1的拍摄画面2显示在窗口1202中。
并且,仍如图11所示,当手机1与手机2建立网络连接,并在DMSDP HAL中创建对应的虚拟HAL 2后,手机1也可向手机2发送拍摄指令(即拍摄指令2)。手机2可响应拍摄指令2使用手机2的摄像头实时获取对应的拍摄画面3。进而,手机2可将拍摄画面3发送至手机1的虚拟HAL 2。虚拟HAL 2接收到来自手机2的拍摄画面3后,可将拍摄画面3发送至上述控制模块1,由于控制模块1已经设置了窗口1202与电视1之间的对应关系,因此,当控制模块1识别出拍摄画面3不是来自电视1的拍摄画面时,控制模块1不会向CameraService上报拍摄画面3。例如,控制模块1可将手机2发送的拍摄画面3丢弃或删除。这样,相机应用也不会接收到来自手机2的拍摄画面3,也不会将拍摄画面3显示在手机1的显示界面中。
示例性的,各个从设备(例如上述电视1和手机2)在向主设备(例如上述手机1)发送自身的拍摄画面时,可以将拍摄画面以数据包的形式发送给手机1。
如图12所示,上述拍摄画面的数据包一般包括包头(head)和数据(data)部分。其中,数据(data)部分包括拍摄画面中具体的图像数据,例如YUV(Y用于指示明亮度,U和V用于指示色度)数据。包头(head)包括与data部分相关的参数,例如,拍摄画面的名称、拍摄时间、编解码信息等。在本申请实施例中,从设备可将自身的设备标识携带在数据包的包头中。例如,电视1可以将电视1的设备标识携带在与拍摄画面2对应的数据包的包头中,手机2可以将手机2的设备标识携带在与拍摄画面3对应的数据包的包头中。这样,手机1中DMSDPHAL的控制模块1通过解析数据包的包头,可以识别出当前接收到的数据包中的拍摄画面是来自哪个从设备的拍摄画面。
或者,电视1还可以将拍摄拍摄画面2使用的相机的相机标识携带在对应数据包的包头中。这样,手机1中DMSDP HAL的控制模块1通过解析数据包的包头,还可以获知电视1拍摄拍摄画面2时的具体使用的摄像头。
当然,手机1中DMSDP HAL的控制模块1还可以将从虚拟HAL 1中获取到的拍摄画面确定为电视1的拍摄画面,相应的,可以将从虚拟HAL 2中获取到的拍摄画面确定为手机2的拍摄画面。又或者,由于手机1和电视1之间网络连接1与手机1和手机2之间网络连接2可能不同,因此,手机1中DMSDP HAL的控制模块1可以将从网络连接1获取到的拍摄画面确定为电视1的拍摄画面,将从网络连接2获取到的拍摄画面确定为手机2的拍摄画面。
在本申请实施例中,仍以手机1的从设备为电视1和手机2举例,电视1和手机2在使用自身的摄像头采集拍摄画面,并将拍摄画面发送至手机1的同时,还可以使用麦克风采集用户输入的音频信号,进而基于采集到的音频信号确定用户是否正在使用从设备发声。
以手机2举例,如图13所示,手机2中操作系统的架构与手机1中操作系统的架构类似。其中,手机2的应用程序层可以安装代理应用,代理应用用于与其他设备(例如手机1或电视1)进行数据收发。或者,代理应用也可以SDK(Software Development Kit,软件开发工具包)或系统服务的形式运行在手机2中。手机2的应用程序框架层中也可以设置CameraService。手机2的HAL中也可以设置Camera HAL,手机2的Camera HAL与手机2的摄像头对应。
当手机2与手机1建立网络连接后,手机2的代理应用可以接收手机1发送的拍摄指令。响应于该拍摄指令,手机2的代理应用可以通过自身的CameraService和Camera HAL调用手机2的摄像头采集相应的拍摄画面(例如上述拍摄画面3)。手机2的Camera HAL可实时接收摄像头发送的拍摄画面3,进而,手机2的Camera HAL可将接收到的拍摄画面3通过CameraService发送至上报至代理应用,由代理应用将手机2的拍摄画面3发送至手机1中与手机2对应的虚拟HAL 2,使得手机1可以实时获取到手机2的拍摄画面。当然,手机2的Camera HAL接收到拍摄画面3后,也可以对拍摄画面3进行相关图像处理(例如美颜、对焦等处理),再将经过图像处理后的拍摄画面发送至代理应用,本申请实施例对此不做任何限制。
仍如图13所示,手机2的操作系统中还可以包括用于实现音频功能的相关模块。例如,手机2的应用程序框架层中可以设置AudioRecord和AudioFlinger,手机2的HAL中可以设置Audio HAL。该Audio HAL与手机2的麦克风和扬声器等音频输入输出设备对应。例如,手机2的麦克风可将采集到的音频信号上报给AudioFlinger。AudioFlinger用于对采集到的音频信号进行混音、重采样、音效设置等处理。AudioRecord用于从AudioFlinger中获取相应的音频信号进行音频录制。AudioRecord和CameraService可通过统一的接口(例如HwMediaProject接口)与代理应用交互。例如,AudioRecord可将录制的音频信号通过HwMediaProject接口上报给代理应用,CameraService可将拍摄得到的拍摄画面通过HwMediaProject接口上报给代理应用。
在本申请实施例中,在手机2使用摄像头采集拍摄画面,并将拍摄画面发送至手机1的过程中,手机2还可以通过自身的麦克风检测用户是否向手机2输入音频信号。仍如图13所示,当手机2的麦克风检测到音频信号后,可将检测到的音频信号发送给手机2的AudioHAL,手机2的Audio HAL可将接收到的音频信号发送至AudioFlinger。进而,AudioRecord可从AudioFlinger中获取该音频信号,并将音频信号通过HwMediaProject接口上报给代理应用。代理应用接收到麦克风检测到音频信号后,可确定该音频信号是否为用户向手机2输入的声音。
示例性的,手机2中可以存储使用手机2的一个或多个合法用户的声纹特征。当手机2的代理应用获取到当前麦克风检测到的音频信号后,可提取音频信号中的声纹特征。进而,手机2的代理应用可对比提取到的声纹特征是否为合法用户的声纹特征。如果是合法用户的声纹特征,则手机2的代理应用可确定当前检测到的音频信号为用户向手机2输入的声音。否则,手机2的代理应用可确定当前检测到的音频信号不是用户向手机2输入的声音,该音频信号可能是噪音或其他用户向其他设备输入的声音。
或者,仍如图13所示,手机2的代理应用在接收AudioRecord上报的音频信号的同时,还可以接收CameraService上报的拍摄画面。那么,手机2的代理应用可以结合接收到的拍摄画面和音频信号判断当前接收到的音频信号是否为用户向手机2输入的声音。例如,如图14所示,对于同一时刻接收到的音频信号和拍摄画面,代理应用可以使用人脸识别算法检测对应的拍摄画面中是否包括人脸图像。如果包括人脸图像,则代理应用可进一步提取人脸图像中的口型特征。进而,代理应用通过对比同一时刻的音频信号与口型特征是否匹配,可确定是否有用户向手机2输入声音。例如,如果代理应用检测到连续500ms内的音频信号与对应的口型特征匹配,则代理应用可确定当前检测到的音频信号为用户向手机2输入的声音,即使用手机2的用户正在发声。
又或者,除了对比同一时刻的音频信号与口型特征是否匹配之外,代理应用还可以检测音频信号的响度是否大于预设值。例如,如果代理应用检测到连续500ms内的音频信号与对应的口型特征匹配,且这500ms内的音频信号的响度大于预设值,则代理应用可确定当前检测到的音频信号为用户向手机2输入的声音。
当然,手机2也可以通过其他方法确定当前检测到的音频信号是否为用户向手机2输入的声音。例如,手机2可以请求服务器确定当前检测到的音频信号是否为用户向手机2输入的声音,本申请实施例对此不做任何限制。
在本申请实施例中,如果手机2的代理应用确定出当前接收到的音频信号为用户向手机2输入的声音,说明在手机1的多个从设备中,有用户正在使用手机2讲话。此时,如图15所示,手机2的代理应用可在CameraService上报的拍摄画面(即拍摄画面3)中添加预设的发声标识,进而将添加有发声标识的拍摄画面3发送至手机1的虚拟HAL 2中。例如,上述发声标识可以是一个特定的标记位,手机2的代理应用可以在实时接收到的拍摄画面3的数据包的包头中添加上述发声标识。后续,当手机2的代理应用确定出没有音频信号输入,或者,当手机2的代理应用确定出当前接收到的音频信号不是用户向手机2输入的声音时,手机2的代理应用可以停止向对应的拍摄画面3的数据包中添加上述发声标识。
这样一来,仍如图15所示,手机1的虚拟HAL 2接收到来自手机2的拍摄画面3的数据包后,可将拍摄画面3的数据包发送至DMSDP HAL的控制模块1。进而,如果DMSDP HAL的控制模块1解析出数据包的发声标识,说明在拍摄该拍摄画面3时用户正在向手机2输入声音,则控制模块1可以将窗口1202与电视1之间的对应关系修改为窗口1202与手机2之间的对应关系。进而,DMSDP HAL的控制模块1可将手机2的拍摄画面3上报至手机1的CameraService,并停止向CameraService上报电视1的拍摄画面2。也就是说,手机1中DMSDP HAL的控制模块1通过解析拍摄画面中的发声标识可以确定用户正在发声的从设备,进而向CameraService发送用户正在发声的从设备的拍摄画面。
示例性的,以数据包1的包头中包含发声标识举例,DMSDP HAL的控制模块1可以将数据包1的data部分内的图像数据发送给手机1的CameraService。或者,DMSDP HAL的控制模块1也可以将data部分的图像数据以及发声标识均发送给手机1的CameraService。
当手机1的CameraService将手机2的拍摄画面上报给相机应用后,如图16所示,相机应用可将接收到的手机2的拍摄画面3显示在窗口1202中,此时,原本在窗口1202中显示的电视1的拍摄画面2被切换为手机2的拍摄画面3。并且,相机应用仍然可以在窗口1201中显示手机1自身拍摄的拍摄画面1。也就是说,手机1作为主设备可以一边显示手机1自身拍摄的拍摄画面,一边显示用户正在发声的从设备的拍摄画面。在一些实施例中,仍如图16所示,如果相机应用接收到的手机2的拍摄画面3中携带有发声标识,则相机应用还可以在窗口1202中显示第一提示消息1601,用于向用户提示与窗口1202对应的使用手机2的用户正在讲话。其中,第一提示消息1601可以是文字、图标、动画或语音等,本申请实施例对此不做任何限制。
另外,手机2在向手机1发送拍摄画面的同时,还可以将检测到的音频信号实时发送给手机1。后续,手机1在窗口1202中显示手机2的拍摄画面的同时,还可以播放手机2接收到的音频。这样,在会议或视频通话等场景中,手机1作为主设备可以自动将发言用户使用的从设备的拍摄画面和音频内容呈现给用户。
在一些实施例中,如果手机2的代理应用确定出当前接收到的音频信号不是用户向手机2输入的声音,或者,如果手机2没有检测到音频信号,则手机2无需在采集到的拍摄画面中添加发声标记。进而,手机1中DMSDP HAL的控制模块1接收到手机2发来的拍摄画面后,不会向手机1的CameraService上报手机2的拍摄画面,相机应用也不会将手机2的拍摄画面显示在显示界面中。
在一些实施例中,电视1作为手机1的从设备也可以按照上述方法检测是否有用户向电视1输入音频信号。如果电视1检测到用户向电视1输入音频信号,则电视1也可以按照上述方法向手机1发送添加有发声标识的拍摄画面。如果手机1识别出电视1的拍摄画面中添加有发声标识,而手机2的拍摄画面中没有添加发声标识,则手机1可继续在窗口1202中显示电视1的拍摄画面。
如果手机1识别出电视1的拍摄画面中添加有发声标识,且手机2的拍摄画面中也添加有发声标识,由于手机1中DMSDP HAL的控制模块1已经记录了电视1与窗口1202的对应关系,因此,DMSDP HAL的控制模块1可继续向手机1的CameraService上报电视1的拍摄画面,而不向手机1的CameraService上报手机2的拍摄画面,使得相机应用可以继续在窗口1202中显示电视1的拍摄画面。
或者,如果手机1识别出电视1的拍摄画面中添加有发声标识,且手机2的拍摄画面中也添加有发声标识,则手机1中DMSDP HAL的控制模块1可以将这两个从设备的拍摄画面都上报给CameraService。此时,相机应用接收到电视1的拍摄画面和手机2的拍摄画面后,可以将电视1的拍摄画面显示在窗口1202中。并且,相机应用可以在当前的显示界面中创建新的窗口,将手机2的拍摄画面显示在新创建的窗口中。这样,每个检测到用户发声的从设备的拍摄界面都可以显示在主设备的显示界面中。
在一些实施例中,仍以手机1将窗口1202中电视1的拍摄画面切换为手机2的拍摄画面举例,手机1中DMSDP HAL的控制模块1将窗口1202与电视1的对应关系更新为窗口1202与手机2的对应关系后,可以将当前的时间记录为窗口1202进行画面切换的时间。后续,如果手机1中DMSDP HAL的控制模块1接收到其他从设备(例如电视1)发来的携带有发声标识的拍摄画面,则DMSDP HAL的控制模块1可以判断距离上一次在窗口1202中切换拍摄画面的时间是否超过预设时间(例如3秒)。如果距离上一次在窗口1202中切换拍摄画面的时间没有超过预设时间,说明手机1在窗口1202中切换拍摄画面的时间不久,为了避免频繁切换窗口1202中的拍摄画面给用户带来不好的用户体验,手机1可以继续在窗口1202中显示手机2的拍摄画面。如果距离上一次在窗口1202中切换拍摄画面的时间超过预设时间,则手机1可以将窗口1202中显示的手机2的拍摄画面切换为当前接收到的携带有发声标识的拍摄画面。
可以看出,在上述分布式拍摄场景中,手机1(即主设备)与各个从设备(例如上述电视1和手机2)建立网络连接后,如果某一从设备检测到有用户向自身输入音频信号,则从设备可通过在拍摄画面中添加发声标记的方式通知主设备显示该从设备的拍摄画面。这样一来,当不同的用户使用各自的从设备输入音频信号时,主设备可以灵活、准确的将有用户声音输入的从设备采集到的拍摄画面切换至主设备上显示,使用户可以聚焦至有用户声音输入的从设备的拍摄画面,提高用户的使用体验。
当然,当从设备检测到有用户向自身输入音频信号后,从设备也可以通过其他方式通知主设备显示该从设备的拍摄画面,本申请实施例对此不做任何限制。例如,手机2检测到当前接收到的音频信号为用户向手机2输入的声音后,手机2可以向手机1发送第一指示消息,第一指示消息用于指示使用手机2的用户正在发声。进而,手机1接收到手机2发送的第一指示消息后,可将后续接收到的手机2的拍摄画面显示在显示界面中。后续,当手机2在预设时间内没有接收到音频信号时,手机2可以向手机1发送第二指示消息,第二指示消息用于指示使用手机2的用户停止发声。进而,手机1接收到手机2发送的第二指示消息后,可停止在显示界面中显示手机2的拍摄画面。或者,手机1在显示手机2的拍摄画面时,如果接收到其他从设备发送的第一指示消息,则手机1也可以显示,其他从设备的拍摄画面,停止显示手机2的拍摄画面。
在一些实施例中,除了手机1(即主设备)可以在显示界面中显示有用户声音输入的从设备(例如上述手机2)的拍摄画面外,其他从设备(例如电视1)也可以在显示界面中显示有用户声音输入的从设备的拍摄画面。
仍以手机2检测到有用户向手机2输入音频信号举例,手机2除了可以将携带有发声标记的拍摄画面发送给手机1外,还可以将携带有发声标记的拍摄画面发送给电视1。如图17所示,电视1中操作系统的架构与手机2中操作系统的架构类似。其中,电视1的应用程序层可以安装代理应用,代理应用用于与其他设备(例如手机1或手机2)进行数据收发。电视1的应用程序框架层中也可以设置CameraService。电视1的HAL中也可以设置CameraHAL,电视1的Camera HAL与电视1的摄像头对应。并且,电视1的应用程序框架层中也可以设置AudioRecord和AudioFlinger,电视1的HAL中也可以设置Audio HAL。该Audio HAL与电视1的麦克风和扬声器等音频输入输出设备对应。
其中,电视1作为手机1的从设备向手机1发送拍摄画面的过程与手机2向手机1发送拍摄画面的过程类似,并且,电视1检测是否有用户向电视1输入音频信号的过程与手机2检测是否有用户向手机2输入音频信号的过程类似,故此处不予赘述。
不同的是,仍如图17所示,电视1的应用程序层还可以设置相机应用和DV应用。电视1不仅可以与手机1建立网络连接,还可以与手机2建立网络连接。并且,电视1可以获取手机1的拍摄能力参数以及手机2的拍摄能力参数。例如,手机1可以将电视1的拍摄能力参数,以及手机1获取到的手机2的拍摄能力参数发送给电视1的DV应用。进而,电视1的DV应用可在电视1的HAL中创建对应的DMSDP HAL。例如,电视1的DV应用可在DMSDP HAL中创建与手机1对应的虚拟HAL 3以及与手机2对应的虚拟HAL 4。后续,电视1可通过虚拟HAL 3接收手机1发来的数据,也可以通过虚拟HAL 4接收手机2发来的数据。并且,与手机1中DMSDP HAL内的控制模块1类似的,电视1的DMSDP HAL中也可以设置控制模块(后续称为控制模块2),控制模块2用于确定向电视1的CameraService发送来自哪个设备的拍摄画面。
后续,仍如图17所示,如果手机1的另一从设备(例如手机2)检测到有用户向手机2输入音频信号,则手机2还可以将携带有发声标识的拍摄画面(例如上述拍摄画面3)发送至电视1的虚拟HAL 4。进而,虚拟HAL 4可将接收到的拍摄画面3上报至控制模块2。与上述控制模块1的工作原理类似的,控制模块2接收到来自手机2的拍摄画面3后,如果解析出拍摄画面携带的发声标识,则控制模块2可将手机2的拍摄画面3上报至电视1的CameraService。后续,电视1的CameraService可将手机2的拍摄画面3上报给电视1的相机应用,由电视1的相机应用将手机2的拍摄画面3显示在电视1的显示界面中。这样,电视1作为手机1的从设备也可以向用户呈现有用户声音输入的从设备(例如上述手机2)的拍摄画面。
示例性的,如图18中的(a)所示,电视1的相机应用接收到CameraService上报的手机2的拍摄画面3后,可以在显示界面中仅显示手机2的拍摄画面3。此时,如果电视1的CameraService接收到电视1的Camera HAL上报的电视1的拍摄画面(例如拍摄画面2),电视1的CameraService可以将电视1的拍摄画面2上报给电视1的代理应用,由电视1的代理应用将电视1的拍摄画面2发送给手机1。也就是说,电视1的CameraService不需要将电视1的拍摄画面2上报给电视1的相机应用,电视1的相机应用也不会在显示界面中显示自身的拍摄画面2。
或者,在一些场景下,电视1的CameraService可以接收到电视1的Camera HAL上报的电视1的拍摄画面2,也可以接收到电视1的DMSDP HAL上报的手机2的拍摄画面3。此时,电视1的CameraService可以将这两个设备的拍摄画面均上报给电视1的相机应用。进而,如图18中的(b)所示,电视1的相机应用也可以在其显示界面中创建两个窗口(即窗口1801和窗口1802),此时,电视1的相机应用可以将手机2的拍摄画面3显示在其中一个窗口(例如窗口1801)中,并且,电视1的相机应用可以将电视1自身的拍摄画面2显示在另一个窗口(例如窗口1802)中。这样,电视1也可以一边显示电视1自身拍摄的拍摄画面,一边显示有用户声音输入的从设备的拍摄画面。
需要说明的是,在上述实施例中手机1的从设备包括电视1和手机2,当有用户声音输入的手机2时,手机2可以将手机2的拍摄画面发送至手机1和电视1进行显示。可以理解的是,手机2也可以按照上述方法接收并显示其他从设备(例如电视1)的拍摄画面,本申请实施例对此不做任何限制。
在另一些实施例中,手机1作为主设备在使用自身的摄像头采集拍摄画面的同时,也可以使用麦克风采集用户输入的音频信号,进而基于采集到的音频信号确定用户是否正在使用手机1发声。其中,手机1采集音频信号,以及基于采集到的音频信号确定用户是否向手机1输入音频信号的方法,可参见上述实施例中手机2采集音频信号,并基于采集到的音频信号确定用户是否向手机2输入音频信号的方法,故此处不予赘述。
示例性的,如果手机1确定用户当前正在向手机1输入音频信号,则如图19中的(a)所示,手机1可在原本显示手机1的拍摄画面的窗口1201中继续显示手机1的拍摄画面。此时,手机1可以在窗口1202中不显示任何从设备的拍摄画面。当前,手机1也可以全屏显示手机1的拍摄画面。或者,如图19中的(b)所示,手机1在窗口1201中继续显示手机1的拍摄画面的同时,手机1也可以在窗口1202中显示某一从设备的拍摄画面。例如,手机1可以在窗口1202中继续显示用户向手机1输入音频信号之前电视1的拍摄画面2。
另外,如果手机1确定用户当前正在向手机1输入音频信号,手机1还可以按照上述方法在手机1的拍摄画面中的添加发声标记。进而,手机1可将携带有发声标记的拍摄画面发送给手机1的从设备,即电视1和手机2。这样,电视1和手机2也可以按照上述方法在自身的显示界面中显示手机1的拍摄画面。也就是说,在分布式拍摄场景中,当用户向主设备和从设备中的任意设备输入音频信号时,该设备可通过在拍摄画面中添加发声标记的方式通知其他设备一同显示自身的拍摄画面,使得使得主设备和从设备的用户均可聚焦有用户声音输入的从设备的拍摄画面,提高用户的使用体验。
可以理解的是,上述实施例中是以手机1为分布式拍摄场景中的主设备,电视1和手机2为手机1的从设备举例说明的,可以理解的是,分布式拍摄场景中的主设备和从设备可以是任意具有上述拍摄功能的电子设备,本申请实施例对此不做任何限制。
需要说明的是,上述实施例中是以Android系统为例阐述的各个功能模块之间实现分布式拍摄功能的具体方法,可以理解的是,也可以在其他操作系统(例如鸿蒙系统等)中设置相应的功能模块实现上述方法。只要各个设备和功能模块实现的功能和本申请的实施例类似,即属于本申请权利要求及其等同技术的范围之内。
如图20所示,本申请实施例公开了一种电子设备,该电子设备可以为上述主设备(例如手机)。该电子设备具体可以包括:触摸屏2001,所述触摸屏2001包括触摸传感器2006和显示屏2007;一个或多个处理器2002;存储器2003;通信模块2008;一个或多个摄像头2009;一个或多个应用程序(未示出);以及一个或多个计算机程序2004,上述各器件可以通过一个或多个通信总线2005连接。其中,上述一个或多个计算机程序2004被存储在上述存储器2003中并被配置为被该一个或多个处理器2002执行,该一个或多个计算机程序2004包括指令,该指令可以用于执行上述实施例中主设备(例如手机1)执行的相关步骤。
如图21所示,本申请实施例公开了一种电子设备,该电子设备可以为上述从设备(例如音箱)。该电子设备具体可以包括:触摸屏2101,所述触摸屏2101包括触摸传感器2106和显示屏2107;一个或多个处理器2102;存储器2103;通信模块2108;一个或多个摄像头2109;一个或多个应用程序(未示出);以及一个或多个计算机程序2104,上述各器件可以通过一个或多个通信总线2105连接。其中,上述一个或多个计算机程序2104被存储在上述存储器2103中并被配置为被该一个或多个处理器2102执行,该一个或多个计算机程序2104包括指令,该指令可以用于执行上述实施例中从设备(例如电视1或手机2)执行的相关步骤。
通过以上的实施方式的描述,所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请实施例各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:快闪存储器、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本申请实施例的具体实施方式,但本申请实施例的保护范围并不局限于此,任何在本申请实施例揭露的技术范围内的变化或替换,都应涵盖在本申请实施例的保护范围之内。因此,本申请实施例的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种拍摄方法,其特征在于,包括:
第一设备在显示界面中显示第一拍摄画面,所述第一拍摄画面为所述第一设备采集到的拍摄画面;
当所述第一设备与N个电子设备建立网络连接后,所述第一设备指示所述N个电子设备开始采集拍摄画面,N为大于1的整数;
所述第一设备获取第二设备采集到的第二拍摄画面,所述第二设备为所述N个电子设备中的一个;
若所述第二拍摄画面中的人物正在讲话,则所述第一设备在所述显示界面中显示所述第二拍摄画面。
2.根据权利要求1所述的方法,其特征在于,所述显示界面中设置有预设按钮,所述预设按钮用于同步显示多个设备的拍摄画面;
在所述第一设备获取第二设备采集到的第二拍摄画面之前,还包括:
响应于用户选择所述预设按钮的操作,所述第一设备在所述显示界面中创建第一窗口和第二窗口,所述第一窗口用于显示所述第一设备采集的第一拍摄画面,所述第二窗口用于显示其他设备采集的拍摄画面;
其中,所述第一设备在所述显示界面中显示所述第二拍摄画面,包括:
所述第一设备在所述第二窗口中显示所述第二拍摄画面,并且,在所述第一窗口中显示所述第一拍摄画面。
3.根据权利要求2所述的方法,其特征在于,响应于用户选择所述预设按钮的操作,还包括:
所述第一设备与所述N个电子设备建立网络连接;
若所述第一设备与第三设备首先建立网络连接,则在所述第一设备获取第二设备采集到的第二拍摄画面之前,还包括:
所述第一设备获取所述第三设备采集到的第三拍摄画面,所述第三设备为所述N个电子设备中除所述第二设备外的一个电子设备;
所述第一设备在所述第二窗口中显示所述第三拍摄画面,并且,在所述第一窗口中显示所述第一拍摄画面。
4.根据权利要求3所述的方法,其特征在于,若所述第二拍摄画面中的人物正在讲话,则所述第一设备在所述显示界面中显示所述第二拍摄画面,包括:
若所述第二拍摄画面中的人物正在讲话,则所述第一设备判断距离在所述第二窗口中显示所述第三拍摄画面的时间是否超过预设时间;
若超过预设时间,则所述第一设备在所述第二窗口中显示所述第二拍摄画面。
5.根据权利要求3所述的方法,其特征在于,在所述第一设备在所述第二窗口中显示所述第二拍摄画面之后,还包括:
所述第一设备获取所述第三设备采集到的第三拍摄画面;
若所述第三拍摄画面中的人物没有讲话,则所述第一设备继续在所述第二窗口中显示所述第二拍摄画面,不显示所述第三拍摄画面。
6.根据权利要求5所述的方法,其特征在于,在所述第一设备获取所述第三设备采集到的第三拍摄画面之后,还包括:
若所述第三拍摄画面中的人物正在讲话,则所述第一设备在所述第二窗口中显示所述第三拍摄画面;或者,
若所述第三拍摄画面中的人物正在讲话,则所述第一设备在所述显示界面中创建第三窗口,并在所述第三窗口中显示所述第三拍摄画面。
7.根据权利要求2-6中任一项所述的方法,其特征在于,所述第二窗口中包括提示消息,所述提示消息用于提示所述第二窗口对应的用户正在发声。
8.根据权利要求1所述的方法,其特征在于,若所述第二拍摄画面中的人物正在讲话,则所述第一设备在所述显示界面中显示所述第二拍摄画面,包括:
若所述第二拍摄画面中的人物正在讲话,则所述第一设备在所述显示界面中将所述第一拍摄画面切换为所述第二拍摄画面。
9.一种电子设备,其特征在于,所述电子设备为第一设备,所述第一设备包括:
显示屏;
一个或多个摄像头;
一个或多个处理器;
存储器;
通信模块;
其中,所述存储器中存储有一个或多个计算机程序,所述一个或多个计算机程序包括指令,当所述指令被所述电子设备执行时,使得所述电子设备执行如权利要求1-8中任一项所述第一设备执行的一种拍摄方法。
10.一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,其特征在于,当所述指令在电子设备上运行时,使得所述电子设备执行如权利要求1-8中任一项所述的一种拍摄方法。
CN202210973885.8A 2020-12-30 2020-12-30 一种拍摄方法、系统及电子设备 Pending CN115550597A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210973885.8A CN115550597A (zh) 2020-12-30 2020-12-30 一种拍摄方法、系统及电子设备

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202011630348.0A CN114697732A (zh) 2020-12-30 2020-12-30 一种拍摄方法、系统及电子设备
CN202210973885.8A CN115550597A (zh) 2020-12-30 2020-12-30 一种拍摄方法、系统及电子设备

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN202011630348.0A Division CN114697732A (zh) 2020-12-30 2020-12-30 一种拍摄方法、系统及电子设备

Publications (1)

Publication Number Publication Date
CN115550597A true CN115550597A (zh) 2022-12-30

Family

ID=82134853

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202011630348.0A Pending CN114697732A (zh) 2020-12-30 2020-12-30 一种拍摄方法、系统及电子设备
CN202210973885.8A Pending CN115550597A (zh) 2020-12-30 2020-12-30 一种拍摄方法、系统及电子设备

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202011630348.0A Pending CN114697732A (zh) 2020-12-30 2020-12-30 一种拍摄方法、系统及电子设备

Country Status (2)

Country Link
CN (2) CN114697732A (zh)
WO (1) WO2022143883A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116366957B (zh) * 2022-07-21 2023-11-14 荣耀终端有限公司 一种虚拟化相机使能的方法、电子设备及协同工作系统
CN116033259B (zh) * 2022-12-20 2024-07-02 浙江力石科技股份有限公司 生成短视频方法、装置、计算机设备及存储介质
CN116703692B (zh) * 2022-12-30 2024-06-07 荣耀终端有限公司 一种拍摄性能优化方法和装置
CN117714846A (zh) * 2023-07-12 2024-03-15 荣耀终端有限公司 摄像头的控制方法及装置
CN117880626B (zh) * 2024-03-11 2024-05-24 珠海创能科世摩电气科技有限公司 输电线路的视频监控方法、装置、系统、存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080043144A1 (en) * 2006-08-21 2008-02-21 International Business Machines Corporation Multimodal identification and tracking of speakers in video
CN104010158A (zh) * 2014-03-11 2014-08-27 宇龙计算机通信科技(深圳)有限公司 移动终端及多方视频通话的实现方法
CN106791238A (zh) * 2016-11-28 2017-05-31 努比亚技术有限公司 多方通话会议系统的通话控制方法及装置
CN107430858A (zh) * 2015-03-20 2017-12-01 微软技术许可有限责任公司 传送标识当前说话者的元数据

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103581608B (zh) * 2012-07-20 2019-02-01 Polycom 通讯技术(北京)有限公司 发言人检测系统、发言人检测方法和音频/视频会议系统
KR101955202B1 (ko) * 2012-10-31 2019-03-07 삼성에스디에스 주식회사 다자간 영상 통화 장치 및 이를 이용한 다자간 영상 출력 방법
CN104301564A (zh) * 2014-09-30 2015-01-21 成都英博联宇科技有限公司 一种带嘴型识别的智能会议电话机
CN105592286B (zh) * 2014-10-22 2019-03-01 阿里巴巴集团控股有限公司 即时通信界面信息处理方法及装置
EP3101838A1 (en) * 2015-06-03 2016-12-07 Thomson Licensing Method and apparatus for isolating an active participant in a group of participants
CN107682752B (zh) * 2017-10-12 2020-07-28 广州视源电子科技股份有限公司 视频画面显示的方法、装置、系统、终端设备及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080043144A1 (en) * 2006-08-21 2008-02-21 International Business Machines Corporation Multimodal identification and tracking of speakers in video
CN104010158A (zh) * 2014-03-11 2014-08-27 宇龙计算机通信科技(深圳)有限公司 移动终端及多方视频通话的实现方法
CN107430858A (zh) * 2015-03-20 2017-12-01 微软技术许可有限责任公司 传送标识当前说话者的元数据
CN106791238A (zh) * 2016-11-28 2017-05-31 努比亚技术有限公司 多方通话会议系统的通话控制方法及装置

Also Published As

Publication number Publication date
CN114697732A (zh) 2022-07-01
WO2022143883A1 (zh) 2022-07-07

Similar Documents

Publication Publication Date Title
CN110381197B (zh) 多对一投屏中音频数据的处理方法、装置及系统
CN110231905B (zh) 一种截屏方法及电子设备
US20220400305A1 (en) Content continuation method and electronic device
CN110381195A (zh) 一种投屏显示方法及电子设备
CN112394895B (zh) 画面跨设备显示方法与装置、电子设备
CN110958475A (zh) 一种跨设备的内容投射方法及电子设备
WO2022143883A1 (zh) 一种拍摄方法、系统及电子设备
CN112398855B (zh) 应用内容跨设备流转方法与装置、电子设备
CN114040242B (zh) 投屏方法、电子设备和存储介质
CN114185503B (zh) 多屏交互的系统、方法、装置和介质
CN112995727A (zh) 一种多屏协同方法、系统及电子设备
CN114697527B (zh) 一种拍摄方法、系统及电子设备
US20230308534A1 (en) Function Switching Entry Determining Method and Electronic Device
CN112383664B (zh) 一种设备控制方法、第一终端设备、第二终端设备及计算机可读存储介质
CN113497909A (zh) 一种设备交互的方法和电子设备
CN115514882B (zh) 一种分布式拍摄方法,电子设备及介质
CN113961157A (zh) 显示交互系统、显示方法及设备
EP4254927A1 (en) Photographing method and electronic device
EP4152756A1 (en) Device recommendation method and electronic device
CN113391743A (zh) 一种显示方法及电子设备
CN115167802A (zh) 一种音频切换播放方法及电子设备
CN114173184A (zh) 投屏方法和电子设备
CN114244955B (zh) 服务的分享方法、系统、电子设备及计算机可读存储介质
CN115883893A (zh) 大屏业务的跨设备流转操控方法和装置
CN113835649B (zh) 一种投屏方法和终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination