CN108881706B - 控制多媒体设备工作的方法及装置 - Google Patents

控制多媒体设备工作的方法及装置 Download PDF

Info

Publication number
CN108881706B
CN108881706B CN201710344716.7A CN201710344716A CN108881706B CN 108881706 B CN108881706 B CN 108881706B CN 201710344716 A CN201710344716 A CN 201710344716A CN 108881706 B CN108881706 B CN 108881706B
Authority
CN
China
Prior art keywords
multimedia
mode
information
controlling
acquisition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710344716.7A
Other languages
English (en)
Other versions
CN108881706A (zh
Inventor
李炜明
刘洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Priority to CN201710344716.7A priority Critical patent/CN108881706B/zh
Publication of CN108881706A publication Critical patent/CN108881706A/zh
Application granted granted Critical
Publication of CN108881706B publication Critical patent/CN108881706B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/617Upgrading or updating of programs or applications for camera control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/4424Monitoring of the internal components or processes of the client device, e.g. CPU or memory load, processing speed, timer, counter or percentage of the hard disk space used
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44245Monitoring the upstream path of the transmission network, e.g. its availability, bandwidth
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/64Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明提供了一种控制多媒体设备工作的方法及装置,其中,控制多媒体设备工作的方法包括:确定一个或多个多媒体设备的应用场景,和/或检测一个或多个多媒体设备的设备信息;根据应用场景和/或所述设备信息,控制多个多媒体设备进行相应的操作。本发明根据应用场景和/或设备信息,控制多个多媒体设备进行相应的操作,从而确定出与应用场景和/或设备信息相匹配的多媒体设备的操作,实现了在不同的应用场景及设备状态的情形下,对多媒体设备的操作的自适应动态调整或切换。

Description

控制多媒体设备工作的方法及装置
技术领域
本发明涉及图像处理技术领域,具体而言,本发明涉及一种控制多媒体设备工作的方法及装置。
背景技术
随着信息技术的发展,多媒体技术也随之发展,进而多媒体设备应运而生,多媒体设备广泛应用于视频拍摄、3D(three dimensional)全向拍摄、虚拟现实会议、虚拟现实直播、可穿戴式设备、导航系统、机器人以及无人机等领域。
现有的多媒体设备通常具备一个固定的模式,当该多媒体设备设置为某一固定模式时,可通过该固定的模式进行多媒体的采集以及处理。然而,在不同使用场景或使用需求下,可能需要根据不同的场景或需求输出不同的多媒体信息,例如,多媒体设备采用某一固定模式进行拍摄时,仅能输出彩色模式的视频,但是,当某些使用场景下,无需多媒体设备输出彩色模式的视频,而仅输出黑白模式的视频即可满足实际使用需求,此固定模式将导致多媒体设备利用率较低;又例如,多媒体设备采用某一固定模式进行视频处理,如采用高质量视频处理模式,但是在实际应用场景为高度运动状态时,视频变化速率极高,仍旧采用采用高质量视频处理模式会导致视频反馈速率大大降低,无法满足用户视频高反馈需求,进而降低用户的使用体验;又例如,当多个多媒体设备相互协作,共同参与完成某一拍摄时,多个多媒体设备均采用同一固定模式进行拍摄,如均采用输出彩色视频的工作模式,但是,在某些应用场景下,无需多个多媒体设备均输出彩色视频,而仅需要一部分多媒体设备输出彩色视频,其余多媒体设备输出黑白视频即可,所有多媒体设备均采用此固定模式,将造成多媒体设备的低利用率、系统资源浪费等。
发明内容
为解决上述技术问题,本发明提供一种控制多媒体设备工作的方法及装置,实现了在不同的应用场景及设备状态的情形下,对多媒体设备的操作地自适应动态调整或切换,控制多媒体设备进行相应的操,最终达到多媒体设备的工作能力得到最大程度利用的目的。
本发明的实施方式提供了一种控制多媒体设备工作的方法,包括:
确定多个多媒体设备的应用场景,和/或检测所述多个多媒体设备的设备信息;
根据所述应用场景和/或所述设备信息,控制所述多个多媒体设备进行相应的操作。
本发明的实施方式还提供了一种控制多媒体设备工作的装置,包括:
确定模块,用于确定多个多媒体设备的应用场景,和/或检测所述多个多媒体设备的设备信息;
控制模块,用于根据所述应用场景和/或所述设备信息,控制所述多个多媒体设备进行相应的操作。
本发明实施方式相对于现有技术而言,确定多个多媒体设备的应用场景,可以准确得到该多个多媒体设备的应用场景,便于后续根据应用场景动态调整或切换多媒体设备的操作;通过检测多个多媒体设备的设备信息,为后续根据设备信息动态调整或切换多媒体设备的操作提供了前提保证;根据应用场景和/或设备信息,控制多个多媒体设备进行相应的操作,实现了在不同的应用场景及设备状态的情形下,对多媒体设备的操作地自适应动态调整或切换,最终达到多媒体设备的工作能力得到最大程度利用的目的。
本发明附加的方面和优点将在下面的描述中部分给出,这些将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1为本发明第一实施方式的一种控制多媒体设备工作的方法流程图;
图2为本发明第二实施方式的一种控制多媒体设备工作的方法流程图;
图3为本发明第二实施方式的本地终端处理模式的处理过程示意图;
图4为本发明第二实施方式的云服务器处理模式的处理过程示意图;
图5为本发明第二实施方式的第一采集模式的处理过程示意图;
图6为本发明第二实施方式的第二采集模式的处理过程示意图;
图7为本发明第二实施方式的第三采集模式的处理过程示意图;
图8为本发明第二实施方式的存储空间信息存在明显差值的示意图;
图9为本发明第二实施方式的电量信息存在明显差值的示意图;
图10为本发明第三实施方式的一种控制多媒体设备工作的方法流程图;
图11为本发明第三实施方式的两个用户在交互式应用场景的处理过程示意图;
图12为本发明第四实施方式的一种控制多媒体设备工作的方法流程图;
图13为本发明第五实施方式的一种控制多媒体设备工作的方法流程图;
图14为本发明第六实施方式的一种控制多媒体设备工作的方法流程图;
图15为本发明第六实施方式的一种单用户观看场景的处理过程示意图;
图16为本发明第七实施方式的一种控制多媒体设备工作的方法流程图;
图17为本发明第八实施方式的一种控制多媒体设备工作的装置的结构示意图。
具体实施方式
下面详细描述本发明的实施方式,所述实施方式的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的,仅用于解释本发明,而不能解释为对本发明的限制。
本发明的第一实施方式涉及一种控制多媒体设备工作的方法,具体流程如图1所示。
在步骤101中,确定多个多媒体设备的应用场景,和/或检测多个多媒体设备的设备信息。
多媒体设备包括多媒体采集设备及多媒体处理设备中的至少一项,多媒体采集设备包括视频采集器、摄像头、相机等,多媒体处理设备包括虚拟/增强现实头戴式显示设备、手机等,而且多媒体采集设备与多媒体处理设备可以协同工作。
优选地,多媒体设备的设备信息包括以下至少一项:电量信息;存储空间信息;计算能力信息;带宽信息。
优选地,根据多媒体采集设备当前采集到的多媒体信息,或多媒体处理设备的设备信息,确定多个多媒体设备的应用场景。
其中,确定多个多媒体设备的应用场景,便于后续根据应用场景动态调整或切换多媒体设备的操作;和/或检测多个多媒体设备的设备信息,从而准确获取到该多个多媒体设备的设备信息,从而根据设备信息动态调整或切换多媒体设备的操作。
在步骤102中,根据应用场景和/或设备信息,控制多个多媒体设备进行相应的操作。
具体地说,根据步骤101确定的应用场景和/或检测到的设备信息,,控制多个多媒体设备进行相应的操作,实现多媒体设备的操作的自适应动态调整或切换,以满足不同情况下对多媒体设备的不同需求。
与现有技术相比,在本实施方式中,确定多个多媒体设备的应用场景,可以准确得到该多个多媒体设备的应用场景,便于后续根据应用场景动态调整或切换多媒体设备的操作;通过检测多个多媒体设备的设备信息,为后续根据设备信息动态调整或切换多媒体设备的操作提供了前提保证;根据应用场景和/或设备信息,控制多个多媒体设备进行相应的操作,实现了在不同的应用场景及设备状态下,对多媒体设备的操作地自适应动态调整或切换,最终达到多媒体设备的工作能力得到最大程度利用的目的。
本发明第二实施方式涉及一种确定多媒体设备的工作模式的方法,在本发明第二实施方式中,具体给出了在任一应用场景下,根据设备信息确定多个多媒体设备的工作模式的过程,如图2所示。
在步骤201中,检测多媒体设备的设备信息。
具体地说,多媒体设备包括多媒体采集设备及多媒体处理设备中的至少一项;设备信息包括以下至少一项:电量信息;存储空间信息;计算能力信息;带宽信息。
在步骤202,根据设备信息,控制多媒体设备进入相应的工作模式。
具体地说,工作模式包括以下至少一项:处理模式;多媒体输出模式;多媒体采集模式;多媒体存储模式。其中,在某一特定应用场景下,当多个多媒体设备相互协作,共同参与完成某一多媒体的采集、处理、存储等时,需要根据多个多媒体设备的设备信息,确定各多媒体设备的工作模式,确保各多媒体设备处于特定应用场景下的性能能够最大程度的发挥。
优选地,当工作模式为处理模式时,根据设备信息,控制多个多媒体设备进入相应的工作模式,包括以下至少一项:当多媒体处理设备的电量信息、存储空间信息、计算能力信息中的一项或多项小于或等于各自相应的预设阈值、和/或多媒体处理设备的带宽信息大于或等于各自相应的预设阈值,控制多媒体处理设备进入云服务器处理模式;当多媒体处理设备的电量信息和/或存储空间信息和/或计算能力信息大于或等于各自相应的预设阈值,和/或多媒体处理设备的带宽信息小于或等于各自相应的预设阈值,控制多媒体处理设备进入本地终端处理模式。
例如:当电量信息小于或等于预设电量阈值和/或存储空间信息小于或等于预设存储空间阈值和/或计算能力信息小于或等于预设计算能力阈值,确定上述多个多媒体设备对应的工作模式为云服务器处理模式;又例如:带宽信息大于或等于相应的预设带宽阈值,确定上述多个多媒体设备对应的工作模式为云服务器处理模式;又例如:电量信息大于预设电量阈值和/或存储空间信息大于预设存储空间阈值和/或计算能力信息大于或等于预设计算能力阈值,确定上述多个多媒体设备对应的工作模式为本地终端处理模式;再例如:电量信息大于预设电量阈值和/或存储空间信息大于预设存储空间阈值和/或计算能力信息大于预设计算能力阈值,且带宽信息小于或等于相应的预设带宽阈值,确定上述多个多媒体设备对应的工作模式为本地终端处理模式。
需要说明的是,当多媒体处理设备进入云服务器处理模式时,多媒体处理设备控制多媒体采集设备将采集到的多媒体信息发送至云服务器,以便云服务器对采集到的多媒体信息进行相应处理;当多媒体处理设备进入本地终端处理模式,多媒体处理设备对多媒体采集设备采集到的多媒体信息进行相应处理。其中,图3与图4分别以两个多媒体采集设备为例,展示了本地终端处理模式与云服务器处理模式的大体过程,图3中的第一多媒体采集设备连接到多媒体处理设备(例如:手机或虚拟/增强现实设备),第二多媒体采集设备连接到多媒体处理设备(例如:手机或虚拟/增强现实设备),多媒体处理设备发送采集控制信号控制两个多媒体采集设备的同步,处理过程在多媒体处理器内进行。图4中的第一多媒体采集设备连接到云服务器,第二多媒体采集设备连接到云服务器,云服务器发送采集控制信号控制两个多媒体采集设备的同步,来自不同多媒体采集设备采集到的多媒体信息发送至云服务器,由云服务器对多媒体信息进行分析以确定计算量,并根据计算量来控制多媒体采集设备的多媒体采集方式与多媒体处理方式,多媒体处理过程在云服务器执行。
优选地,当工作模式为多媒体输出模式时,根据所述设备信息,控制多个多媒体设备进入相应的工作模式,包括以下至少一项:当多媒体采集设备的电量信息和/或存储空间信息和/或计算能力信息和/或带宽信息小于或等于各自相应的预设阈值,控制多媒体采集设备进入二维图像采集模式;当多媒体采集设备的电量信息和/或存储空间信息和/或计算能力信息和/或带宽信息大于或等于各自相应的预设阈值,控制多媒体采集设备进入三维图像采集模式;当多媒体处理设备的电量信息和/或存储空间信息和/或计算能力信息和/或带宽信息小于各自相应的预设阈值,控制多媒体处理设备进入二维图像输出模式;当多媒体处理设备的电量信息和/或存储空间信息和/或计算能力信息和/或带宽信息大于或等于各自相应的预设阈值,控制多媒体处理设备进入三维图像输出模式。
例如:当多媒体采集设备的电量信息小于或等于预设电量阈值和/或存储空间信息小于或等于预设存储空间阈值和/或计算能力信息小于或等于预设计算能力阈值和/或带宽信息小于或等于预设带宽阈值,控制多媒体采集设备进入二维图像采集模式;又例如:当电量信息大于或等于预设电量阈值和/或存储空间信息大于或等于预设存储空间阈值和/或计算能力信息大于或等于预设计算能力阈值和/或带宽信息大于或等于预设带宽阈值,控制多媒体采集设备进入三维图像采集模式;再例如:当电量信息小于或等于预设电量阈值和/或存储空间信息小于或等于预设存储空间阈值和/或计算能力信息小于或等于预设计算能力阈值和/或带宽信息小于预设带宽阈值,控制多媒体处理设备进入二维图像输出模式;最后,当电量信息大于或等于预设电量阈值和/或存储空间信息大于或等于预设存储空间阈值和/或计算能力信息大于或等于预设计算能力阈值和/或带宽信息大于或等于预设带宽阈值,控制多媒体处理设备进入三维图像输出模式。
需要说明的是:当多媒体采集设备进入二维图像采集模式,控制多媒体采集设备采集二维图像;当多媒体处理设备进入三维图像输出模式,控制多媒体采集设备采集三维图像;当多媒体处理设备进入二维图像输出模式,控制多媒体处理设备输出二维图像;当多媒体处理设备进入三维图像输出模式,控制多媒体处理设备输出三维图像。
优选地,当工作模式为多媒体采集模式时,根据设备信息,控制多个多媒体设备进入相应的工作模式,包括以下至少一项:当多媒体采集设备和/或多媒体处理设备的电量信息和/或带宽信息小于或等于各自相应的预设阈值,控制多媒体采集设备进入第一采集模式;当多媒体采集设备和/或多媒体处理设备的电量信息和/或带宽信息小于或等于各自相应的预设阈值,且要求即时视觉反馈,控制多媒体采集设备进入第二采集模式;当多媒体采集设备和/或多媒体处理设备的电量信息和/或带宽信息小于或等于各自相应的预设阈值,且要求即时视觉反馈及多媒体信息颜色正确性小于预定颜色正确性阈值,控制多媒体采集设备进入第三采集模式;其中,第一采集模式的图像采集分辨率高于第二采集模式,第一采集模式及第二采集模式的图像采集颜色通道数量大于第三采集模式。
例如:当多媒体采集设备和/或多媒体处理设备的电量信息小于或等于预设电量阈值和/或带宽信息小于或等于预设带宽阈值,确定上述多个多媒体采集设备对应的工作模式均为第一采集模式;又例如:当多媒体采集设备和/或多媒体处理设备的电量信息小于或等于预设电量阈值和/或带宽信息小于预设带宽阈值,且用户或本地终端或云服务器要求快速的、即时的视觉反馈的情况下,确定上述多个多媒体采集设备对应的工作模式为第二采集模式;再例如:当多媒体采集设备和/或多媒体处理设备的在电量信息小于预设电量阈值和/或带宽信息小于或等于预设带宽阈值,且用户或本地终端或云服务器要求快速的、即时的视觉反馈及颜色正确性不是很重要或很关键的情况下,确定上述多个多媒体采集设备对应的工作模式为第三采集模式。
需要说明的是:当多媒体采集设备进入第一采集模式,控制至少一个多媒体采集设备采用彩色第一分辨率方式采集多媒体信息,其余多媒体采集设备采用黑白、第二分辨率方式采集多媒体信息;当多媒体采集设备进入第二采集模式,控制至少一个多媒体采集设备采用彩色第三分辨率方式采集多媒体信息,其余多媒体采集设备采用黑白、第二分辨率方式采集多媒体信息;当多媒体采集设备进入第三采集模式,控制全部多媒体采集设备采用黑白、第二分辨率方式采集多媒体信息,并基于预定时间间隔采集一帧彩色多媒体信息,其中,第一分辨率高于第二分辨率及第三分辨率。其中,图5以两个多媒体采集设备为例,具体展示了多媒体采集设备采用第一采集模式采集到的图像;图6以两个多媒体采集设备为例,具体展示了多媒体采集设备采用第二采集模式采集到的图像;图7以两个多媒体采集设备为例,具体展示了多媒体采集设备采用第三采集模式采集到的图像,而且图7的中间部分的多媒体信息为基于预定时间间隔采集的一帧彩色多媒体信息。
可选地,在根据多媒体设备的设备信息,控制多个多媒体设备进入相应的工作模式的过程中,还包括:若各个多媒体处理设备的存储空间信息的差值大于第一预设阈值,控制各个多媒体处理设备进入第一图像记录质量模式。同时,当多媒体处理设备进入第一图像记录质量模式时,控制各个多媒体处理设备存储黑白、分辨率低于预定第三分辨率阈值、压缩率高于预定压缩率阈值的多媒体信息。其中,在具体实施时,分别计算各个多媒体处理设备的存储空间信息,当一个多媒体处理设备的剩余存储空间明显低于其它多媒体处理设备的剩余存储空间时,或当各个多媒体处理设备的存储空间信息的差值大于第一预设阈值时,控制各个多媒体处理设备进入第一图像记录质量模式,并控制各个多媒体处理设备存储黑白低分辨率、高压缩率的多媒体信息,图8以两个多媒体处理设备为例,具体展示了多个多媒体处理设备的存储空间信息存在明显差值的情况。
可选地,在根据多媒体设备的设备信息确定多个多媒体设备的工作模式的过程中,还包括:若各个多媒体处理设备的电量的差值大于第二预设阈值,控制各个多媒体处理设备进入第一图像计算模式。同时,当多媒体处理设备进入第一图像计算模式,控制多媒体处理设备以降低图像采样、图像滤波、深度计算、图像增强中至少一项的计算量的方式,来生成多媒体信息。其中,在具体实施时,分别计算各个多媒体处理设备的电量信息,当一个多媒体处理设备的剩余电量明显低于其它多媒体处理设备的剩余电量时,或当各个多媒体处理设备的电量信息的差值大于第二预设阈值时,控制各个多媒体处理设备进入第一图像计算模式,并控制多媒体处理设备以降低图像采样、图像滤波、深度计算、图像增强中至少一项的计算量的方式,来生成多媒体信息,图9以两个多媒体处理设备为例,具体展示了多个多媒体处理设备的电量信息存在明显差值的情况。
本发明实施方式,给出了在任一应用场景下,根据设备信息动态调整或切换多媒体设备的工作模式与相应操作的具体情况,具体展示了设备信息对多媒体设备的工作模式的影响,及多媒体设备根据各种设备信息自适应调整或切换工作模式及相应操作的各种情况。
优选地,根据多媒体采集设备当前采集到的多媒体信息,或多媒体处理设备的设置信息,确定多媒体设备的应用场景;随后,根据应用场景来确定多媒体设备的工作模式,下面具体给出根据应用场景来确定多媒体设备的工作模式的实施方式。
本发明第三实施方式涉及一种控制多媒体设备的工作模式的方法,在本发明第三实施方式中,具体给出了在任一确定的设备信息下,根据应用场景控制多个多媒体设备进入相应的工作模式的过程,如图10所示。
在步骤1001中,确定多媒体设备的应用场景。
具体地,在步骤1001中检测多媒体处理设备的设置信息是否包括开启多媒体共享功能,如果是,则执行步骤1002,否则执行步骤1003。
具体地说,根据多媒体处理设备的设置信息,确定相应的应用场景,具体包括:若检测到多媒体处理设备的设置信息包括开启多媒体共享功能,确定相应的应用场景为交互式应用场景;也就是说,检测多媒体处理设备的设置信息是否包括开启多媒体共享功能,即检测多媒体处理设备的多媒体共享功能是否被开启,如果检测到多媒体设备的设置信息包括开启多媒体共享功能,即检测到多媒体共享功能被开启,则确定该多媒体处理设备的应用场景为交互式应用场景,此时执行步骤1002,控制多媒体处理设备进入云服务器处理模式,如果未检测到多媒体处理设备的设置信息包括开启多媒体共享功能,即检测到多媒体共享功能未被开启,此时则执行步骤1003,控制多媒体处理设备进入相应的本地终端处理模式,图11以多个多媒体采集设备与多媒体处理设备处于交互式应用场景为例,具体展示了多个多媒体设备的具体工作过程。
在步骤1002中,控制多媒体处理设备进入云服务器处理模式。
具体地说,根据应用场景,控制多个多媒体设备进入相应的工作模式,包括:当应用场景为交互式应用场景时,控制多媒体处理设备进入云服务器处理模式,也就是说,当检测到多媒体处理设备的设备信息包括开启多媒体共享功能,即该多媒体处理设备的应用场景为交互式应用场景时,控制该多媒体处理设备进入相应的云服务器处理模式。
在步骤1003中,控制多媒体处理设备进入本地终端处理模式。
具体地说,当未检测到多媒体处理设备的设备信息包括开启多媒体共享功能,即该多个多媒体处理设备的应用场景为非交互式应用场景时,控制该多媒体处理设备进入相应的本地终端处理模式。
本发明实施方式,给出了在任一确定的设备信息下,根据应用场景动态调整或切换多媒体设备的工作模式的具体情况,具体展示了不同应用场景对多媒体设备的工作模式的影响。
本发明第四实施方式涉及一种控制多媒体设备工作的方法,在本发明第四实施方式中,具体给出了在任一确定的设备信息下,根据应用场景确定多个多媒体设备的工作模式的过程,如图12所示。
在步骤1201中,确定多媒体设备的应用场景。
具体地,在步骤1201中,检测当前应用场景是否为运动式应用场景,如果是,则执行步骤1202,否则执行步骤1203。
需要说明的是,检测当前应用场景是否为运动式应用场景的方式包括但不限于:通过陀螺仪对多媒体处理设备的运动速度进行检测,或通过对多媒体采集设备采集的多媒体信息进行分析,或通过检测用户对多媒体处理设备的设置等。
在步骤1202中,控制多媒体处理设备进入第一质量渲染模式。
具体地说,根据应用场景,控制多个多媒体设备进入相应的工作模式,包括:若检测到应用场景为运动式应用场景,控制多媒体处理设备进入第一质量渲染模式;其中,第一质量渲染模式的渲染复杂度低于第二质量渲染模式的渲染复杂度,具体地,第一质量渲染模式的图像深度的计算量、图像修复的计算量、及图像分辨率,均低于第二质量渲染模式。
同时,当多媒体处理设备进入第一质量渲染模式时,控制多媒体设备输出基于图像底层特征计算深度匹配、基于图像邻域修复图像、及分辨率低于预定第一分辨率阈值的多媒体信息。
在步骤1203中,控制多媒体处理设备进入第二质量渲染模式。
具体地说,根据应用场景,控制多个多媒体设备进入相应的工作模式,包括:若检测到应用场景为静止式应用场景,控制多媒体处理设备进入第二质量渲染模式;其中,第二质量渲染模式的图像深度的计算量和/或图像修复的计算量和/或图像分辨率,高于第一质量渲染模式。
同时,当多媒体处理设备进入第二质量渲染模式时,控制多媒体处理设备输出基于图像高层特征计算深度匹配、基于深度神经元网络模型修复图像、及分辨率高于预定第二分辨率阈值的多媒体信息。
可选地,当检测到应用场景为静止式应用场景时,例如:会议场景,控制多媒体采集设备进入仅针对运行及焦点物体进行持续性多媒体采集模式,同时,当多媒体采集设备进入仅针对运行及焦点物体进行持续性多媒体采集模式,控制多媒体采集设备仅针对运行及焦点物体进行持续性多媒体采集。也就是说,在此种情形下,多媒体采集设备对静态背景(例如会议室布局)或物体(例如座椅)等,只进行一次多媒体信息采集,而对运动物体(例如:会议主讲人、参会人员)及焦点物体或高显著性物体(例如:参加会议的人员、投影设备、会议过程中的主要展示对象等)进行持续性多媒体采集。
本发明第五实施方式涉及一种控制多媒体设备工作的方法,在本发明第五实施方式中,具体给出了在任一确定的设备信息下,根据应用场景控制多个多媒体设备进入相应工作模式的过程,如图13所示。
在步骤1301中,确定多媒体设备的应用场景。
具体地,在步骤1301中,检测当前应用场景是否为导航应用场景或无人机应用场景或机器人应用场景,如果是,则执行步骤1302,否则执行步骤1303。
具体地说,检测当前应用场景是否为导航应用场景或无人机应用场景或机器人应用场景,即检测当前应用场景是否为导航、无人机及机器人中的任一种应用场景,也即检测多媒体设备是否被应用于导航系统中或无人机上或机器人上,其中,在具体的检测过程中,可以依据多媒体设备的设置信息是否被设置为导航或无人机或机器人等情况进行相应检测,当然也可以依据其它的有效方法进行相应检测,如果检测到当前应用场景为导航应用场景或无人机应用场景或机器人应用场景,则执行步骤1302,控制多媒体处理设备进入仅生成深度图像的图像处理模式,否则,执行步骤1303,控制多媒体设备进入其它相应图像处理模式。
在步骤1302中,控制多媒体处理设备进入仅生成深度图像的图像处理模式。
具体地说,当确定当前应用场景为导航应用场景或无人机应用场景或机器人应用场景时,控制多媒体处理设备进入仅生成深度图像的图像处理模式,同时,控制多媒体处理设备仅生成深度图像,也就是说,多媒体处理设备以低计算量、低延迟、不进行图像渲染的图像处理方法,仅生成深度图像。
优选地,当应用场景为导航、无人机及机器人中的任一种应用场景,且要求即时视觉反馈时,控制多媒体采集设备进入采用黑白、第二分辨率方式采集多媒体信息的图像采集模式、以及控制多媒体处理设备进入仅生成深度图像的图像处理模式,同时,控制多媒体采集设备采用黑白、第二分辨率方式采集多媒体信息、以及控制多媒体处理设备仅生成深度图像。
在步骤1303中,控制多媒体设备进入其它相应图像处理模式。
具体地说,当应用场景不是导航应用场景、并且不是无人机应用场景、同时也不是机器人应用场景时,根据当时的实际应用场景和/或设备信息,控制多媒体设备进入本发明实施方式中的其它相应图像处理模式,同时,控制多媒体处理设备生成相应图像处理模式的图像。
本发明第六实施方式涉及一种控制多媒体设备工作的方法,在本发明第六实施方式中,具体给出了在任一确定的设备信息下,根据应用场景控制多个多媒体设备进入相应工作模式的过程,如图14所示。
在步骤1401中,确定多媒体设备的应用场景。
具体地,在步骤1401中,检测当前应用场景是否为单用户观看场景,如果是,则执行步骤1402,否则执行步骤1403。
具体地说,检测当前应用场景是否为单用户观看场景,也即检测当前多媒体采集设备采集到的图像是否正在仅被一个用户使用多媒体处理设备进行观看,其中,可以通过检测多媒体设备的设置信息是否被设置为单用户使用的情况,如果被设置为单用户使用的情况,则确认当前应用场景为单用户观看场景,当然,在具体检测过程中,也可以使用其它的有效方法进行相应检测,在此不一一列举说明。如果检测到当前应用场景为单用户观看场景,则执行步骤1402,控制多媒体采集设备进入用户视角图像采集模式、控制多媒体处理设备进入仅生成用户视角图像的图像处理模式、或者控制所述多媒体采集设备或所述多媒体处理设备进入传输用户视角图像的图像传输模式,否则,执行步骤1403,控制多媒体设备进入其它相应图像处理模式。
在步骤1402中,控制多媒体采集设备进入用户视角图像采集模式、控制多媒体处理设备进入仅生成用户视角图像的图像处理模式、或者控制多媒体采集设备或多媒体处理设备进入传输用户视角图像的图像传输模式。
具体地说,当多媒体采集设备进入用户视角图像采集模式,获取用户视角,控制多媒体采集设备仅采集用户视角的图像;当多媒体处理设备进入仅生成用户视角图像的图像处理模式,获取用户视角及图像采集设备采集的图像,控制多媒体处理设备仅生成用户视角的图像;当多媒体采集设备或多媒体处理设备进入传输用户视角图像的图像传输模式时,控制多媒体采集设备或多媒体处理设备仅传输用户视角的图像。也就是说,当检测到应用场景为单用户观看场景,即只有一个用户正在使用多媒体处理设备(例如:虚拟现实头戴式显示设备)观看多媒体采集设备采集到的图像时,多媒体处理设备只需计算并显示用户视角范围内的部分图像即可。其中,图15以多媒体采集设备与多媒体处理设备处于单用户观看场景为例,展示了多个多媒体设备的具体工作过程。
在步骤1403中,控制多媒体设备进入其它相应图像处理模式。
具体地说,当应用场景不是单用户观看场景时,根据当时的实际应用场景和/或设备信息,控制多媒体设备进入本发明实施方式中的其它相应图像处理模式,同时,控制多媒体处理设备生成相应图像处理模式的图像。
本发明第七实施方式涉及一种控制多媒体设备工作的方法,在本发明第六实施方式中,具体给出了根据应用场景和设备信息确定多个多媒体设备的工作模式的过程,如图16所示。
在步骤1601中,确定多个多媒体设备的应用场景,并检测多个多媒体设备的设备信息。
具体地说,根据多个多媒体设备当前采集到的多媒体信息,或多个多媒体设备的设备信息,确定多个多媒体设备的应用场景;其中,设备信息包括以下至少一项:电量信息;存储空间信息;计算能力信息;带宽信息。
在步骤1602中,根据应用场景和设备信息,控制多媒体设备进入相应的工作模式。
具体地说,根据当前确定的应用场景和当前检测到的设备信息,实时控制多媒体设备进入相应的工作模式,实现对多媒体设备的工作模式的动态调整。
可选地,根据应用场景和/或设备信息,控制多个多媒体设备进入相应的工作模式,具体包括:根据应用场景和/或设备信息和/或存储内容,控制多个多媒体设备进入相应的多媒体存储模式;多媒体存储模式包括云服务器存储模式、本地存储模式、用户设备存储模式中的任一项。
其中,多媒体设备基于根据本发明实施方式一至实施方式七中任一情况确定的应用场景和/或设备信息,和/或媒体采集设备采集到的多媒体信息(即存储内容),也就是说,可以根据多媒体设备的设备信息、需要存储的内容、多媒体设备的应用场景等选择相应的多媒体存储模式,其中,多媒体存储模式可以为云服务器存储模式、本地存储模式、用户设备存储模式等,云服务器存储模式对应的存储地点为云服务器设备,本地存储模式对应的存储地点为本地终端设备(例如:多媒体处理设备),用户设备存储模式对应的存储地点为用户设备(例如:手机、机器人、头戴式显示器),各多媒体存储模式所对应的存储内容包括:存储内容一、存储内容二、存储内容三、存储内容四与存储内容五,其中,存储内容一为存储上下立体图像,存储内容二为存储上下立体图像与左右立体图像,存储内容三为存储上下立体图像、左右立体图像及深度图像,存储内容四为存储左右立体图像,存储内容五为存储深度图像。
存储地点、存储的内容、多媒体设备的应用场景等与相应存储模式、存储内容的对应关系如表1所示。
表1
其中,表1中存储模式一栏的“1”代表云服务器存储模式,“2”代表本地存储模式,“3”代表用户设备存储模式。
上面各种方法的步骤划分,只是为了描述清楚,实现时可以合并为一个步骤或者对某些步骤进行拆分,分解为多个步骤,只要包含相同的逻辑关系,都在本专利的保护范围内;对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计,但不改变其算法和流程的核心设计都在该专利的保护范围内。
本发明第八实施方式涉及一种控制多媒体设备工作的装置,如图17所示,包括确定模块171与控制模块172。
确定模块171,用于确定多个多媒体设备的应用场景,和/或检测所述多个多媒体设备的设备信息。
控制模块172,用于根据所述应用场景和/或所述设备信息,控制所述多个多媒体设备进入相应的工作模式。
不难发现,本实施方式为与第一实施方式相对应的系统实施例,本实施方式可与第一实施方式互相配合实施。第一实施方式中提到的相关技术细节在本实施方式中依然有效,为了减少重复,这里不再赘述。相应地,本实施方式中提到的相关技术细节也可应用在第一实施方式中。
值得一提的是,本实施方式中所涉及到的各模块均为逻辑模块,在实际应用中,一个逻辑单元可以是一个物理单元,也可以是一个物理单元的一部分,还可以以多个物理单元的组合实现。此外,为了突出本发明的创新部分,本实施方式中并没有将与解决本发明所提出的技术问题关系不太密切的单元引入,但这并不表明本实施方式中不存在其它的单元。
本技术领域技术人员可以理解,本发明包括涉及用于执行本申请中所述操作中的一项或多项的设备。这些设备可以为所需的目的而专门设计和制造,或者也可以包括通用计算机中的已知设备。这些设备具有存储在其内的计算机程序,这些计算机程序选择性地激活或重构。这样的计算机程序可以被存储在设备(例如,计算机)可读介质中或者存储在适于存储电子指令并分别耦联到总线的任何类型的介质中,所述计算机可读介质包括但不限于任何类型的盘(包括软盘、硬盘、光盘、CD-ROM、和磁光盘)、ROM(Read-Only Memory,只读存储器)、RAM(Random Access Memory,随即存储器)、EPROM(Erasable ProgrammableRead-Only Memory,可擦写可编程只读存储器)、EEPROM(Electrically ErasableProgrammable Read-Only Memory,电可擦可编程只读存储器)、闪存、磁性卡片或光线卡片。也就是,可读介质包括由设备(例如,计算机)以能够读的形式存储或传输信息的任何介质。
本技术领域技术人员可以理解,可以用计算机程序指令来实现这些结构图和/或框图和/或流图中的每个框以及这些结构图和/或框图和/或流图中的框的组合。本技术领域技术人员可以理解,可以将这些计算机程序指令提供给通用计算机、专业计算机或其他可编程数据处理方法的处理器来实现,从而通过计算机或其他可编程数据处理方法的处理器来执行本发明公开的结构图和/或框图和/或流图的框或多个框中指定的方案。
本技术领域技术人员可以理解,本发明中已经讨论过的各种操作、方法、流程中的步骤、措施、方案可以被交替、更改、组合或删除。进一步地,具有本发明中已经讨论过的各种操作、方法、流程中的其他步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。进一步地,现有技术中的具有与本发明中公开的各种操作、方法、流程中的步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。
以上所述仅是本发明的部分实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (58)

1.一种控制多媒体设备工作的方法,其特征在于,包括:
确定多个多媒体设备的应用场景,和/或检测所述多个多媒体设备的设备信息;
根据所述应用场景和/或所述设备信息,控制至少一个所述多媒体设备进行相应的操作,包括:若检测到应用场景为单用户观看场景,控制多媒体采集设备进入用户视角图像采集模式和控制所述多媒体采集设备或多媒体处理设备进入传输用户视角图像的图像传输模式。
2.根据权利要求1所述的方法,其特征在于,所述多媒体设备包括多媒体采集设备及多媒体处理设备中的至少一项。
3.根据权利要求1所述的方法,其特征在于,所述设备信息包括以下至少一项:
电量信息;存储空间信息;计算能力信息;带宽信息。
4.根据权利要求1至3中任一项所述的方法,其特征在于,根据所述应用场景和/或所述设备信息,控制至少一个所述多媒体设备进行相应的操作,具体包括:
根据所述应用场景和/或所述设备信息,控制至少一个所述多媒体设备进入相应的工作模式。
5.根据权利要求4所述的方法,其特征在于,所述工作模式包括以下至少一项:
处理模式;多媒体输出模式;多媒体采集模式;多媒体存储模式。
6.根据权利要求5所述的方法,其特征在于,所述工作模式为处理模式时,所述根据所述设备信息,控制至少一个所述多媒体设备进入相应的工作模式,包括以下至少一项:
当多媒体处理设备的电量信息、存储空间信息、计算能力信息中的一项或多项小于或等于各自相应的预设阈值、和/或多媒体处理设备的带宽信息大于或等于各自相应的预设阈值,控制多媒体处理设备进入云服务器处理模式;
当多媒体处理设备的电量信息和/或存储空间信息和/或计算能力信息大于或等于各自相应的预设阈值,和/或多媒体处理设备的带宽信息小于或等于各自相应的预设阈值,控制多媒体处理设备进入本地终端处理模式。
7.根据权利要求6所述的方法,其特征在于,还包括:
当多媒体处理设备进入所述云服务器处理模式,多媒体处理设备控制多媒体采集设备将采集到的多媒体信息发送至云服务器,以便云服务器对采集到的多媒体信息进行相应处理;
当多媒体处理设备进入所述本地终端处理模式,所述多媒体处理设备对多媒体采集设备采集到的多媒体信息进行相应处理。
8.根据权利要求5所述的方法,其特征在于,所述工作模式为多媒体输出模式时,所述根据所述设备信息,控制至少一个所述多媒体设备进入相应的工作模式,包括以下至少一项:
当多媒体采集设备的电量信息和/或存储空间信息和/或计算能力信息和/或带宽信息小于或等于各自相应的预设阈值,控制多媒体采集设备进入二维图像采集模式;
当多媒体采集设备的电量信息和/或存储空间信息和/或计算能力信息和/或带宽信息大于或等于各自相应的预设阈值,控制多媒体采集设备进入三维图像采集模式;
当多媒体处理设备的电量信息和/或存储空间信息和/或计算能力信息和/或带宽信息小于各自相应的预设阈值,控制多媒体处理设备进入二维图像输出模式;
当多媒体处理设备的电量信息和/或存储空间信息和/或计算能力信息和/或带宽信息大于或等于各自相应的预设阈值,控制多媒体处理设备进入三维图像输出模式。
9.根据权利要求8所述的方法,其特征在于,包括:
当多媒体采集设备进入所述二维图像采集模式,控制多媒体采集设备采集二维图像;
当多媒体处理设备进入所述三维图像输出模式,控制多媒体采集设备采集三维图像;
当多媒体处理设备进入所述二维图像输出模式,控制多媒体处理设备输出二维图像;
当多媒体处理设备进入所述三维图像输出模式,控制多媒体处理设备输出三维图像。
10.根据权利要求5所述的方法,其特征在于,所述工作模式为多媒体采集模式时,所述根据所述设备信息,控制至少一个所述多媒体设备进入相应的工作模式,包括以下至少一项:
当多媒体采集设备和/或多媒体处理设备的电量信息和/或带宽信息小于或等于各自相应的预设阈值,控制多媒体采集设备进入第一采集模式;
当多媒体采集设备和/或多媒体处理设备的电量信息和/或带宽信息小于或等于各自相应的预设阈值,且要求即时视觉反馈,控制多媒体采集设备进入第二采集模式;
当多媒体采集设备和/或多媒体处理设备的电量信息和/或带宽信息小于或等于各自相应的预设阈值,且要求即时视觉反馈及多媒体信息颜色正确性小于预定颜色正确性阈值,控制多媒体采集设备进入第三采集模式;
其中,所述第一采集模式的图像采集分辨率高于所述第二采集模式,所述第一采集模式及所述第二采集模式的图像采集颜色通道数量大于所述第三采集模式。
11.根据权利要求10所述的方法,其特征在于,还包括:
当多媒体采集设备进入所述第一采集模式,控制至少一个多媒体采集设备采用彩色、第一分辨率方式采集多媒体信息,其余多媒体采集设备采用黑白、第二分辨率方式采集多媒体信息;
当多媒体采集设备进入所述第二采集模式,控制至少一个多媒体采集设备采用彩色、第三分辨率方式采集多媒体信息,其余多媒体采集设备采用黑白、第二分辨率方式采集多媒体信息;
当多媒体采集设备进入所述第三采集模式,控制全部多媒体采集设备采用黑白、第二分辨率方式采集多媒体信息,并基于预定时间间隔采集一帧彩色多媒体信息;
其中,所述第一分辨率高于所述第二分辨率及所述第三分辨率。
12.根据权利要求4所述方法,其特征在于,所述确定多个多媒体设备的应用场景,具体包括:
根据多媒体采集设备当前采集到的多媒体信息,或多媒体处理设备的设置信息,确定相应的应用场景。
13.根据权利要求12所述的方法,其特征在于,所述根据多媒体处理设备的设置信息,确定相应的应用场景,具体包括:
若检测到多媒体处理设备的设置信息包括开启多媒体共享功能,确定相应的应用场景为交互式应用场景;
所述根据所述应用场景,控制至少一个所述多媒体设备进入相应的工作模式,包括:
当应用场景为所述交互式应用场景时,控制多媒体处理设备进入云服务器处理模式。
14.根据权利要求4所述的方法,其特征在于,所述根据所述应用场景,控制至少一个所述多媒体设备进入相应的工作模式,包括:
若检测到应用场景为运动式应用场景,控制多媒体处理设备进入第一质量渲染模式;
若检测到应用场景为静止式应用场景,控制多媒体处理设备进入第二质量渲染模式;
其中,所述第一质量渲染模式的渲染复杂度低于第二质量渲染模式的渲染复杂度。
15.根据权利要求14所述的方法,其特征在于,所述第一质量渲染模式的渲染复杂度低于第二质量渲染模式的渲染复杂度,包括:
所述第一质量渲染模式的图像深度的计算量和/或图像修复的计算量和/或图像分辨率,低于第二质量渲染模式。
16.根据权利要求15所述的方法,其特征在于,包括:
当多媒体处理设备进入所述第一质量渲染模式,控制多媒体处理设备输出基于图像底层特征计算深度匹配、基于图像邻域修复图像、及分辨率低于预定第一分辨率阈值的多媒体信息;
当多媒体处理设备进入所述第二质量渲染模式,控制多媒体处理设备输出基于图像高层特征计算深度匹配、基于深度神经元网络模型修复图像、及分辨率高于预定第二分辨率阈值的多媒体信息。
17.根据权利要求4所述的方法,其特征在于,所述根据所述应用场景,控制至少一个所述多媒体设备进入相应的工作模式,包括:
若检测到应用场景为静止式应用场景,控制多媒体采集设备进入仅针对运行及焦点物体进行持续性多媒体采集模式。
18.根据权利要求17所述的方法,其特征在于,还包括:
当多媒体采集设备进入所述仅针对运行及焦点物体进行持续性多媒体采集模式,控制多媒体采集设备仅针对运行及焦点物体进行持续性多媒体采集。
19.根据权利要求4所述的方法,其特征在于,所述根据所述应用场景,控制至少一个所述多媒体设备进入相应的工作模式,包括:
若检测到应用场景为导航、无人机及机器人中的任一种应用场景,控制多媒体处理设备进入仅生成深度图像的图像处理模式。
20.根据权利要求19所述的方法,其特征在于,还包括:
当多个多媒体处理设备进入所述仅生成深度图像的图像处理模式,控制多媒体处理设备仅生成深度图像。
21.根据权利要求4所述的方法,其特征在于,所述根据所述应用场景,控制至少一个所述多媒体设备进入相应的工作模式,包括:
若检测到应用场景为导航、无人机及机器人中的任一种应用场景,且要求即时视觉反馈,控制多媒体采集设备进入采用黑白、第二分辨率方式采集多媒体信息的图像采集模式、以及控制多媒体处理设备进入仅生成深度图像的图像处理模式。
22.根据权利要求21所述的方法,其特征在于,还包括:
当多媒体采集设备进入所述采用黑白、第二分辨率方式采集多媒体信息的图像采集模式、以及多媒体处理设备进入仅生成深度图像的图像处理模式,控制多媒体采集设备采用黑白、第二分辨率方式采集多媒体信息、以及控制多媒体处理设备仅生成深度图像。
23.根据权利要求4所述的方法,其特征在于,所述根据所述设备信息,控制至少一个所述多媒体设备进入相应的工作模式,包括:
若各个多媒体处理设备的存储空间信息的差值大于第一预设阈值,控制各个多媒体处理设备进入第一图像记录质量模式。
24.根据权利要求23所述的方法,其特征在于,还包括:
当多媒体处理设备进入所述第一图像记录质量模式,控制各个多媒体设备存储黑白、分辨率低于预定第三分辨率阈值、压缩率高于预定压缩率阈值的多媒体信息。
25.根据权利要求4所述的方法,其特征在于,所述根据所述设备信息,控制至少一个所述多媒体设备进入相应的工作模式,包括:
若各个多媒体处理设备的电量的差值大于第二预设阈值,控制各个多媒体处理设备进入第一图像计算模式。
26.根据权利要求25所述的方法,其特征在于,还包括:
当多媒体处理设备进入所述第一图像计算模式,控制多媒体处理设备以降低图像采样、图像滤波、深度计算、图像增强中至少一项的计算量的方式,来生成多媒体信息。
27.根据权利要求1所述的方法,其特征在于,还包括以下至少之一:
当多媒体采集设备进入用户视角图像采集模式,获取用户视角,控制多媒体采集设备仅采集用户视角的图像;
若检测到应用场景为单用户观看场景,控制多媒体处理设备进入生成用户视角图像的图像处理模式;当多媒体处理设备进入仅生成用户视角图像的图像处理模式,获取用户视角及图像采集设备采集的图像,控制多媒体处理设备仅生成用户视角的图像;
当所述多媒体采集设备或所述多媒体处理设备进入传输用户视角图像的图像传输模式时,控制所述多媒体采集设备或所述多媒体处理设备仅传输用户视角的图像。
28.根据权利要求5所述的方法,其特征在于,根据所述应用场景和/或所述设备信息,控制至少一个所述多媒体设备进入相应的工作模式,具体包括:
根据所述应用场景和/或所述设备信息和/或存储内容,控制至少一个所述多媒体设备进入相应的多媒体存储模式;
所述多媒体存储模式包括云服务器存储模式、本地存储模式、用户设备存储模式中的任一项。
29.一种控制多媒体设备工作的装置,其特征在于,包括:
确定模块,用于确定多个多媒体设备的应用场景,和/或检测所述多个多媒体设备的设备信息;
控制模块,用于根据所述应用场景和/或所述设备信息,控制至少一个所述多媒体设备进行相应的操作,包括:若检测到应用场景为单用户观看场景,控制多媒体采集设备进入用户视角图像采集模式和控制所述多媒体采集设备或多媒体处理设备进入传输用户视角图像的图像传输模式。
30.根据权利要求29所述的装置,其特征在于,所述多媒体设备包括多媒体采集设备及多媒体处理设备中的至少一项。
31.根据权利要求29所述的装置,其特征在于,所述设备信息包括以下至少一项:
电量信息;存储空间信息;计算能力信息;带宽信息。
32.根据权利要求29至31中任一项所述的装置,其特征在于,控制模块用于根据所述应用场景和/或所述设备信息,控制至少一个所述多媒体设备进入相应的工作模式。
33.根据权利要求32所述的装置,其特征在于,所述工作模式包括以下至少一项:
处理模式;多媒体输出模式;多媒体采集模式;多媒体存储模式。
34.根据权利要求33所述的装置,其特征在于,所述工作模式为处理模式时,所述控制模块在根据所述设备信息,控制至少一个所述多媒体设备进入相应的工作模式时,用于执行以下至少一项:
当多媒体处理设备的电量信息、存储空间信息、计算能力信息中的一项或多项小于或等于各自相应的预设阈值、和/或多媒体处理设备的带宽信息大于或等于各自相应的预设阈值,控制多媒体处理设备进入云服务器处理模式;
当多媒体处理设备的电量信息和/或存储空间信息和/或计算能力信息大于或等于各自相应的预设阈值,和/或多媒体处理设备的带宽信息小于或等于各自相应的预设阈值,控制多媒体处理设备进入本地终端处理模式。
35.根据权利要求34所述的装置,其特征在于,所述控制模块还用于:
当多媒体处理设备进入所述云服务器处理模式,控制多媒体采集设备将采集到的多媒体信息发送至云服务器,以便云服务器对采集到的多媒体信息进行相应处理;
当多媒体处理设备进入所述本地终端处理模式,所述多媒体处理设备对多媒体采集设备采集到的多媒体信息进行相应处理。
36.根据权利要求33所述的装置,其特征在于,所述工作模式为多媒体输出模式时,所述控制模块在根据所述设备信息,控制至少一个所述多媒体设备进入相应的工作模式时,用于执行以下至少一项:
当多媒体采集设备的电量信息和/或存储空间信息和/或计算能力信息和/或带宽信息小于或等于各自相应的预设阈值,控制多媒体采集设备进入二维图像采集模式;
当多媒体采集设备的电量信息和/或存储空间信息和/或计算能力信息和/或带宽信息大于或等于各自相应的预设阈值,控制多媒体采集设备进入三维图像采集模式;
当多媒体处理设备的电量信息和/或存储空间信息和/或计算能力信息和/或带宽信息小于各自相应的预设阈值,控制多媒体处理设备进入二维图像输出模式;
当多媒体处理设备的电量信息和/或存储空间信息和/或计算能力信息和/或带宽信息大于或等于各自相应的预设阈值,控制多媒体处理设备进入三维图像输出模式。
37.根据权利要求36所述的装置,其特征在于,所述控制模块用于:
当多媒体采集设备进入所述二维图像采集模式,控制多媒体采集设备采集二维图像;
当多媒体处理设备进入所述三维图像输出模式,控制多媒体采集设备采集三维图像;
当多媒体处理设备进入所述二维图像输出模式,控制多媒体处理设备输出二维图像;
当多媒体处理设备进入所述三维图像输出模式,控制多媒体处理设备输出三维图像。
38.根据权利要求33所述的装置,其特征在于,所述工作模式为多媒体采集模式时,所述控制模块在根据所述设备信息,控制至少一个所述多媒体设备进入相应的工作模式时,用于执行以下至少一项:
当多媒体采集设备和/或多媒体处理设备的电量信息和/或带宽信息小于或等于各自相应的预设阈值,控制多媒体采集设备进入第一采集模式;
当多媒体采集设备和/或多媒体处理设备的电量信息和/或带宽信息小于或等于各自相应的预设阈值,且要求即时视觉反馈,控制多媒体采集设备进入第二采集模式;
当多媒体采集设备和/或多媒体处理设备的电量信息和/或带宽信息小于或等于各自相应的预设阈值,且要求即时视觉反馈及多媒体信息颜色正确性小于预定颜色正确性阈值,控制多媒体采集设备进入第三采集模式;
其中,所述第一采集模式的图像采集分辨率高于所述第二采集模式,所述第一采集模式及所述第二采集模式的图像采集颜色通道数量大于所述第三采集模式。
39.根据权利要求38所述的装置,其特征在于,所述控制模块还用于:
当多媒体采集设备进入所述第一采集模式,控制至少一个多媒体采集设备采用彩色、第一分辨率方式采集多媒体信息,其余多媒体采集设备采用黑白、第二分辨率方式采集多媒体信息;
当多媒体采集设备进入所述第二采集模式,控制至少一个多媒体采集设备采用彩色、第三分辨率方式采集多媒体信息,其余多媒体采集设备采用黑白、第二分辨率方式采集多媒体信息;
当多媒体采集设备进入所述第三采集模式,控制全部多媒体采集设备采用黑白、第二分辨率方式采集多媒体信息,并基于预定时间间隔采集一帧彩色多媒体信息;
其中,所述第一分辨率高于所述第二分辨率及所述第三分辨率。
40.根据权利要求32所述的装置,其特征在于,所述确定模块在确定多个多媒体设备的应用场景时,用于根据多媒体采集设备当前采集到的多媒体信息,或多媒体处理设备的设置信息,确定相应的应用场景。
41.根据权利要求40所述的装置,其特征在于,所述确定模块在根据多媒体处理设备的设置信息,确定相应的应用场景时,用于当检测到多媒体处理设备的设置信息包括开启多媒体共享功能时,确定相应的应用场景为交互式应用场景;
所述控制模块在根据所述应用场景,控制至少一个所述多媒体设备进入相应的工作模式时,用于当应用场景为所述交互式应用场景时,控制多媒体处理设备进入云服务器处理模式。
42.根据权利要求31所述的装置,其特征在于,所述控制模块在根据所述应用场景,控制至少一个所述多媒体设备进入相应的工作模式时,用于:
若检测到应用场景为运动式应用场景,控制多媒体处理设备进入第一质量渲染模式;
若检测到应用场景为静止式应用场景,控制多媒体处理设备进入第二质量渲染模式;
其中,所述第一质量渲染模式的渲染复杂度低于第二质量渲染模式的渲染复杂度。
43.根据权利要求42所述的装置,其特征在于,所述第一质量渲染模式的渲染复杂度低于第二质量渲染模式的渲染复杂度,包括:
所述第一质量渲染模式的图像深度的计算量和/或图像修复的计算量和/或图像分辨率,低于第二质量渲染模式。
44.根据权利要求43所述的装置,其特征在于,所述控制模块用于:
当多媒体处理设备进入所述第一质量渲染模式,控制多媒体处理设备输出基于图像底层特征计算深度匹配、基于图像邻域修复图像、及分辨率低于预定第一分辨率阈值的多媒体信息;
当多媒体处理设备进入所述第二质量渲染模式,控制多媒体处理设备输出基于图像高层特征计算深度匹配、基于深度神经元网络模型修复图像、及分辨率高于预定第二分辨率阈值的多媒体信息。
45.根据权利要求32所述的装置,其特征在于,所述控制模块在根据所述应用场景,控制至少一个所述多媒体设备进入相应的工作模式时,用于当检测到应用场景为静止式应用场景,控制多媒体采集设备进入仅针对运行及焦点物体进行持续性多媒体采集模式。
46.根据权利要求45所述的装置,其特征在于,所述控制模块还用于:
当多媒体采集设备进入所述仅针对运行及焦点物体进行持续性多媒体采集模式,控制多媒体采集设备仅针对运行及焦点物体进行持续性多媒体采集。
47.根据权利要求32所述的装置,其特征在于,所述控制模块在根据所述应用场景,控制至少一个所述多媒体设备进入相应的工作模式时,用于当检测到应用场景为导航、无人机及机器人中的任一种应用场景,控制多媒体处理设备进入仅生成深度图像的图像处理模式。
48.根据权利要求47所述的装置,其特征在于,所述控制模块还用于当多个多媒体处理设备进入所述仅生成深度图像的图像处理模式,控制多媒体处理设备仅生成深度图像。
49.根据权利要求32所述的装置,其特征在于,所述控制模块在根据所述应用场景,控制至少一个所述多媒体设备进入相应的工作模式时,用于:
若检测到应用场景为导航、无人机及机器人中的任一种应用场景,且要求即时视觉反馈,控制多媒体采集设备进入采用黑白、第二分辨率方式采集多媒体信息的图像采集模式、以及控制多媒体处理设备进入仅生成深度图像的图像处理模式。
50.根据权利要求49所述的装置,其特征在于,所述控制模块还用于:
当多媒体采集设备进入所述采用黑白、第二分辨率方式采集多媒体信息的图像采集模式、以及多媒体处理设备进入仅生成深度图像的图像处理模式,控制多媒体采集设备采用黑白、第二分辨率方式采集多媒体信息、以及控制多媒体处理设备仅生成深度图像。
51.根据权利要求32所述的装置,其特征在于,所述控制模块在根据所述设备信息,控制至少一个所述多媒体设备进入相应的工作模式时,用于当各个多媒体处理设备的存储空间信息的差值大于第一预设阈值,控制各个多媒体处理设备进入第一图像记录质量模式。
52.根据权利要求51所述的装置,其特征在于,所述控制模块还用于:
当多媒体处理设备进入所述第一图像记录质量模式,控制各个多媒体设备存储黑白、分辨率低于预定第三分辨率阈值、压缩率高于预定压缩率阈值的多媒体信息。
53.根据权利要求32所述的装置,其特征在于,所述控制模块在根据所述设备信息,控制至少一个所述多媒体设备进入相应的工作模式时,用于当各个多媒体处理设备的电量的差值大于第二预设阈值,控制各个多媒体处理设备进入第一图像计算模式。
54.根据权利要求53所述的装置,其特征在于,所述控制模块还用于:
当多媒体处理设备进入所述第一图像计算模式,控制多媒体处理设备以降低图像采样、图像滤波、深度计算、图像增强中至少一项的计算量的方式,来生成多媒体信息。
55.根据权利要求29所述的装置,其特征在于,所述控制模块还用于执行以下至少之一:
当多媒体采集设备进入用户视角图像采集模式,获取用户视角,控制多媒体采集设备仅采集用户视角的图像;
若检测到应用场景为单用户观看场景,控制多媒体处理设备进入生成用户视角图像的图像处理模式;当多媒体处理设备进入仅生成用户视角图像的图像处理模式,获取用户视角及图像采集设备采集的图像,控制多媒体处理设备仅生成用户视角的图像;
当所述多媒体采集设备或所述多媒体处理设备进入传输用户视角图像的图像传输模式时,控制所述多媒体采集设备或所述多媒体处理设备仅传输用户视角的图像。
56.根据权利要求33所述的装置,其特征在于,所述控制模块在根据所述应用场景和/或所述设备信息,控制至少一个所述多媒体设备进入相应的工作模式时,用于:
根据所述应用场景和/或所述设备信息和/或存储内容,控制至少一个所述多媒体设备进入相应的多媒体存储模式;
所述多媒体存储模式包括云服务器存储模式、本地存储模式、用户设备存储模式中的任一项。
57.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现权利要求1-28中任一项所述的方法。
58.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,该程序被处理器执行时实现权利要求1-28中任一项所述的方法。
CN201710344716.7A 2017-05-16 2017-05-16 控制多媒体设备工作的方法及装置 Active CN108881706B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710344716.7A CN108881706B (zh) 2017-05-16 2017-05-16 控制多媒体设备工作的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710344716.7A CN108881706B (zh) 2017-05-16 2017-05-16 控制多媒体设备工作的方法及装置

Publications (2)

Publication Number Publication Date
CN108881706A CN108881706A (zh) 2018-11-23
CN108881706B true CN108881706B (zh) 2023-10-10

Family

ID=64320793

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710344716.7A Active CN108881706B (zh) 2017-05-16 2017-05-16 控制多媒体设备工作的方法及装置

Country Status (1)

Country Link
CN (1) CN108881706B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110401628A (zh) * 2019-04-03 2019-11-01 山峰 网络数据安全访问系统
DE102019128880A1 (de) * 2019-10-25 2021-04-29 Bayerische Motoren Werke Aktiengesellschaft Vorrichtung für einen Sitz, Sitz und Fahrzeug mit einer solchen Vorrichtung, und Verfahren zur Wiedergabe von Medieninhalten
CN113253831A (zh) * 2020-02-12 2021-08-13 北京七鑫易维信息技术有限公司 针对旋屏终端设备的眼球追踪方法及装置
CN114600445A (zh) * 2020-12-16 2022-06-07 深圳市大疆创新科技有限公司 追踪算法的运行方法、装置、电子设备及计算机可读存储介质
CN117956264A (zh) * 2024-03-26 2024-04-30 荣耀终端有限公司 拍摄方法、电子设备、存储介质和程序产品

Citations (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101448340A (zh) * 2007-11-26 2009-06-03 联想(北京)有限公司 一种检测移动终端状态的方法、系统及该移动终端
CN101719965A (zh) * 2009-12-03 2010-06-02 北京中星微电子有限公司 一种移动终端的节电方法和装置
CN101968887A (zh) * 2010-09-08 2011-02-09 东莞电子科技大学电子信息工程研究院 一种富媒体场景的局部渲染方法
CN102984494A (zh) * 2012-12-06 2013-03-20 北京小米科技有限责任公司 一种视频通讯方法及装置
CN103873776A (zh) * 2014-03-26 2014-06-18 惠州Tcl移动通信有限公司 一种移动终端相机自动适应场景的方法及系统
CN104078064A (zh) * 2014-07-04 2014-10-01 深圳丝路数字视觉股份有限公司 情景模式的配置方法及装置、多媒体播放控制方法及系统
CN104284077A (zh) * 2013-07-12 2015-01-14 联想(北京)有限公司 一种图像处理方法和装置
CN104410785A (zh) * 2014-11-17 2015-03-11 联想(北京)有限公司 一种信息处理方法及电子设备
CN105007431A (zh) * 2015-07-03 2015-10-28 广东欧珀移动通信有限公司 一种基于多种拍摄场景的图片拍摄方法及终端
CN105049720A (zh) * 2015-07-08 2015-11-11 成都西可科技有限公司 一种根据运动场景自动启停运动相机的方法
WO2016013409A1 (ja) * 2014-07-22 2016-01-28 ソニー株式会社 制御装置、制御方法、プログラム、および制御システム
CN205195880U (zh) * 2015-11-25 2016-04-27 联想(北京)有限公司 观看设备及观看系统
CN105825801A (zh) * 2016-03-21 2016-08-03 联想(北京)有限公司 一种显示控制方法及电子设备
CN105897862A (zh) * 2016-03-28 2016-08-24 北京小米移动软件有限公司 控制智能设备的方法及装置
CN105975046A (zh) * 2016-04-29 2016-09-28 乐视控股(北京)有限公司 拍照预览方法和装置
CN106020420A (zh) * 2016-05-16 2016-10-12 深圳天珑无线科技有限公司 一种降低功耗的方法及电子设备
CN205726125U (zh) * 2016-03-30 2016-11-23 重庆邮电大学 一种新型机器人远程监视系统
CN106327584A (zh) * 2016-08-24 2017-01-11 上海与德通讯技术有限公司 一种用于虚拟现实设备的图像处理方法及装置
CN106339079A (zh) * 2016-08-08 2017-01-18 清华大学深圳研究生院 一种基于计算机视觉的利用无人飞行器实现虚拟现实的方法及装置
CN106375561A (zh) * 2016-08-29 2017-02-01 上海摩软通讯技术有限公司 移动终端及其剩余使用时间的检测方法
CN106416217A (zh) * 2014-04-17 2017-02-15 索尼公司 照相机的深度辅助场景识别
CN106412320A (zh) * 2016-10-25 2017-02-15 努比亚技术有限公司 一种图像处理方法及电子设备
CN106444403A (zh) * 2016-10-29 2017-02-22 深圳智乐信息科技有限公司 一种智能家居场景设置和控制的方法及系统
CN106550182A (zh) * 2017-01-10 2017-03-29 哈尔滨市舍科技有限公司 共享式无人机观景系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101315040B1 (ko) * 2008-08-08 2013-10-14 삼성테크윈 주식회사 영상제공장치, 영상출력장치, 영상전송 시스템 및 이를 이용한 영상전송방법
US9317101B2 (en) * 2013-03-11 2016-04-19 Intel Corporation Techniques for multimedia playback
US10019057B2 (en) * 2013-06-07 2018-07-10 Sony Interactive Entertainment Inc. Switching mode of operation in a head mounted display
US9881422B2 (en) * 2014-12-04 2018-01-30 Htc Corporation Virtual reality system and method for controlling operation modes of virtual reality system
KR20160133230A (ko) * 2015-05-12 2016-11-22 엘지전자 주식회사 이동 단말기

Patent Citations (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101448340A (zh) * 2007-11-26 2009-06-03 联想(北京)有限公司 一种检测移动终端状态的方法、系统及该移动终端
CN101719965A (zh) * 2009-12-03 2010-06-02 北京中星微电子有限公司 一种移动终端的节电方法和装置
CN101968887A (zh) * 2010-09-08 2011-02-09 东莞电子科技大学电子信息工程研究院 一种富媒体场景的局部渲染方法
CN102984494A (zh) * 2012-12-06 2013-03-20 北京小米科技有限责任公司 一种视频通讯方法及装置
CN104284077A (zh) * 2013-07-12 2015-01-14 联想(北京)有限公司 一种图像处理方法和装置
CN103873776A (zh) * 2014-03-26 2014-06-18 惠州Tcl移动通信有限公司 一种移动终端相机自动适应场景的方法及系统
CN106416217A (zh) * 2014-04-17 2017-02-15 索尼公司 照相机的深度辅助场景识别
CN104078064A (zh) * 2014-07-04 2014-10-01 深圳丝路数字视觉股份有限公司 情景模式的配置方法及装置、多媒体播放控制方法及系统
WO2016013409A1 (ja) * 2014-07-22 2016-01-28 ソニー株式会社 制御装置、制御方法、プログラム、および制御システム
CN104410785A (zh) * 2014-11-17 2015-03-11 联想(北京)有限公司 一种信息处理方法及电子设备
CN105007431A (zh) * 2015-07-03 2015-10-28 广东欧珀移动通信有限公司 一种基于多种拍摄场景的图片拍摄方法及终端
CN105049720A (zh) * 2015-07-08 2015-11-11 成都西可科技有限公司 一种根据运动场景自动启停运动相机的方法
CN205195880U (zh) * 2015-11-25 2016-04-27 联想(北京)有限公司 观看设备及观看系统
CN105825801A (zh) * 2016-03-21 2016-08-03 联想(北京)有限公司 一种显示控制方法及电子设备
CN105897862A (zh) * 2016-03-28 2016-08-24 北京小米移动软件有限公司 控制智能设备的方法及装置
CN205726125U (zh) * 2016-03-30 2016-11-23 重庆邮电大学 一种新型机器人远程监视系统
CN105975046A (zh) * 2016-04-29 2016-09-28 乐视控股(北京)有限公司 拍照预览方法和装置
CN106020420A (zh) * 2016-05-16 2016-10-12 深圳天珑无线科技有限公司 一种降低功耗的方法及电子设备
CN106339079A (zh) * 2016-08-08 2017-01-18 清华大学深圳研究生院 一种基于计算机视觉的利用无人飞行器实现虚拟现实的方法及装置
CN106327584A (zh) * 2016-08-24 2017-01-11 上海与德通讯技术有限公司 一种用于虚拟现实设备的图像处理方法及装置
CN106375561A (zh) * 2016-08-29 2017-02-01 上海摩软通讯技术有限公司 移动终端及其剩余使用时间的检测方法
CN106412320A (zh) * 2016-10-25 2017-02-15 努比亚技术有限公司 一种图像处理方法及电子设备
CN106444403A (zh) * 2016-10-29 2017-02-22 深圳智乐信息科技有限公司 一种智能家居场景设置和控制的方法及系统
CN106550182A (zh) * 2017-01-10 2017-03-29 哈尔滨市舍科技有限公司 共享式无人机观景系统

Also Published As

Publication number Publication date
CN108881706A (zh) 2018-11-23

Similar Documents

Publication Publication Date Title
CN108881706B (zh) 控制多媒体设备工作的方法及装置
US11653065B2 (en) Content based stream splitting of video data
US9774896B2 (en) Network synchronized camera settings
US9420229B2 (en) System and method for managing multimedia data
US8994780B2 (en) Video conferencing enhanced with 3-D perspective control
US20230111408A1 (en) Techniques for capturing and rendering videos with simulated reality systems and for connecting services with service providers
US9460351B2 (en) Image processing apparatus and method using smart glass
US20160198140A1 (en) System and method for preemptive and adaptive 360 degree immersive video streaming
US8982187B2 (en) System and method of rendering stereoscopic images
US10127714B1 (en) Spherical three-dimensional video rendering for virtual reality
US20160150222A1 (en) Simulated 3d image display method and display device
Tang et al. A universal optical flow based real-time low-latency omnidirectional stereo video system
Xu et al. A low latency cloud gaming system using edge preserved image homography
CN106412617B (zh) 远程调试控制方法及装置
KR20180016461A (ko) 결합 정보를 포함하는 영상 데이터에 대한 디코딩 방법 및 결합 정보를 포함하는 영상 데이터를 인코딩 하는 방법
US11416964B2 (en) Method and device for adjusting resolution of HMD apparatus
EP3515082B1 (en) Server device for streaming video content and client device for receiving and rendering video content
US11825066B2 (en) Video reproduction apparatus, reproduction method, and program
WO2022230253A1 (ja) 情報処理装置及び情報処理方法
JP2017050819A (ja) パノラマ画像データの生成装置、生成方法及びプログラム
GB2556319A (en) Method for temporal inter-view prediction and technical equipment for the same
CN113141501A (zh) 实现3d显示的方法、装置及3d显示系统
US11328453B2 (en) Device and method for image processing
US20240305760A1 (en) Information processing apparatus and method, and storage medium
CN114928715A (zh) 数据传输方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant