CN111917988A - 一种云手机的远程摄像头应用方法、系统及介质 - Google Patents
一种云手机的远程摄像头应用方法、系统及介质 Download PDFInfo
- Publication number
- CN111917988A CN111917988A CN202010885123.3A CN202010885123A CN111917988A CN 111917988 A CN111917988 A CN 111917988A CN 202010885123 A CN202010885123 A CN 202010885123A CN 111917988 A CN111917988 A CN 111917988A
- Authority
- CN
- China
- Prior art keywords
- camera
- data
- coded data
- mobile phone
- audio
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 230000008569 process Effects 0.000 claims abstract description 8
- 238000012545 processing Methods 0.000 claims description 25
- 238000012958 reprocessing Methods 0.000 claims description 9
- 238000006243 chemical reaction Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 7
- 238000004458 analytical method Methods 0.000 claims description 3
- 230000004069 differentiation Effects 0.000 claims description 3
- 230000001360 synchronised effect Effects 0.000 claims description 3
- 238000007405 data analysis Methods 0.000 claims description 2
- 230000006870 function Effects 0.000 abstract description 15
- 238000013461 design Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 4
- 238000012805 post-processing Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 206010044565 Tremor Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
- H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/231—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
- H04N21/440218—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Computer Networks & Wireless Communication (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本发明公开了一种云手机的远程摄像头应用方法、系统及介质，本发明包括云手机中执行的下述步骤：摄像头服务监测用户发出的摄像头操作请求，若监测到摄像头操作请求则将摄像头操作请求转发给硬件抽象层并标识应用场景类型；硬件抽象层根据应用场景类型发送打开摄像头指令给云音视频服务；云音视频服务通过网络发送打开摄像头指令给物理手机中的指定应用程序，在通过网络收到返回的回调数据后硬件抽象层根据应用场景类型处理回调数据。本发明可在云手机上实现包括基于摄像头的各类应用场景，以及各种应用对于摄像头操作的功能，对硬件芯片商无依赖，也不受硬件设计方案的限制。
Description
技术领域
本发明涉及云手机，具体涉及一种云手机的远程摄像头应用方法、系统及介质。
背景技术
云手机就是指一种搭建在云服务器上的虚拟手机，云手机平台可以让使用者通过电脑/手机操作端来操作在云服务器上一定数量的虚拟云手机，这些虚拟云手机的功能与真正的手机基本相同，一般不包含基带模块没有电话卡功能。由于云手机中APP也需要使用摄像头，但是由于云手机本身不包含物理摄像头，因此就需要使用物理手机上的远程摄像头。
1、目前已有的云手机方案：例如公开号为CN110430441A的中国专利文献公开了一种云手机的远程摄像头使用方法：通过本地手机的摄像头进行视频采集，得到视频流数据；对视频流数据进行编码处理，得到编码后的视频流数据；将编码后的视频流数据通过视频流传输协议传输至云手机中。
此方案的技术实现，主要体现在如何从物理手机获取视频流和将视频流传送至云手机，视频流传送至云手机后，到云手机中如何处理，该方案没有作具体说明。
2、目前已实现的物理手机处理视频流的方案采用的是由芯片供应商提供的基于硬件芯片的处理方案：如图1。在传感器中提供最原始的摄像头数据，摄像数据经过图形信号处理器（ISP）处理，图形信号处理可以分为ispif(isp interface接口模块，主要用来接收从sensor发送过来的数据)和vfe（video front end，视频前端）用来对数据校正，优化等处理，并将处理后的数据传送到摄像头后处理模块 (Camera Post Processing，简称CPP)，进一步对图形处理；摄像头后处理模块包含了GPGPU芯片，从功能上分，大抵可以分为四大块：移动显示处理器（mobile-display-process，简称MDP）， 串联式JPEG编码器（InlineJPEG encode），视频预处理引擎（Video Pre-processing Engine，简称VPE）和视频编码器（Video encode）。移动显示处理器是一个专门处理显示数据的处理器，例如可以作分辨率扩大（upscale）的作用，主要负责将数据处理后传送给液晶模块显示，串联式JPEG编码器是针对拍照功能的芯片，用来将摄像头数据编码成JPEG。视频预处理引擎和视频编码器是为了录像设计的芯片，编码成特定的录像格式。实际上，sensor端获取数据，触发图形信号处理器中断，经由摄像头后处理模块处理后，便能将数据分发到预览，拍照，录像或者显示流程。
这种方案如果运用到云手机上的缺陷在于，需要在云服务器主板上集成大量的图形信号处理器（ISP）硬件芯片，成本高，不利于扩展。
3、目前有些云手机的远程摄像头应用时采用变通的方法。以扫码功能，现有方法是在物理手机上完成扫码，发送扫码后的图片到云手机上对应的应用。
这种方案并没有在云手机上实现摄像头的功能。所以没有视频通话、直播等功能。在用户使用上，不具有通用性，不能完成在各种应用界面打开摄像头，需要调用摄像头的部分都无法使用。
发明内容
本发明要解决的技术问题：针对现有技术的上述问题，提供一种云手机的远程摄像头应用方法、系统及介质，本发明可在云手机上实现包括基于摄像头的各类应用场景，以及各种应用对于摄像头操作的功能，用户在云手机上操作摄像头不会和物理手机上有差异，真正作到在云手机上使用摄像头；本发明的云手机摄像头的实现由软件来完成，对硬件芯片商无依赖，也不受硬件设计方案的限制，每台云手机独立出来都可以使用摄像头。
为了解决上述技术问题，本发明采用的技术方案为：
一种云手机的远程摄像头应用方法，包括云手机中执行的下述步骤：
1）摄像头服务监测用户发出的摄像头操作请求，若监测到摄像头操作请求则将摄像头操作请求转发给硬件抽象层；
2）硬件抽象层标识应用场景类型，并根据应用场景类型发送打开摄像头指令给云音视频服务；
3）云音视频服务通过网络发送打开摄像头指令给物理手机中的指定应用程序，等待物理手机中的指定应用程序通过网络返回来自物理摄像头的回调数据，在通过网络收到返回的回调数据后跳转执行下一步；
4）硬件抽象层根据应用场景类型处理回调数据。
可选地，步骤1）中标识应用场景类型时标识的应用场景类型为预览场景，所述根据调用者是否需要数据分析进一步判断划分为预览显示场景和预览回调场景，所述预览显示场景为仅仅需要显示画面，不需要回调数据；预览回调场景为调用摄像头进行数据回调分析并显示摄像头画面的场景；步骤2）中硬件抽象层根据应用场景类型发送打开摄像头指令给云音视频服务时，打开摄像头指令为打开摄像头获取视频指令；步骤3）中收到返回的回调数据为视频流编码数据；步骤4）中根据应用场景类型处理回调数据具体是指将视频流编码数据进行解码和转换预览回调到对应的应用程序进行再处理，并显示输出。
可选地，所述视频流编码数据为H264视频流编码数据，所述将视频流编码数据进行解码和转换具体是指将H264视频流编码数据解码为YUV编码数据，然后将YUV编码数据预览回调到对应的应用程序进行再处理，所述显示输出是指将YUV编码数据转换为RGBA8888数据后显示输出。
可选地，步骤1）中标识应用场景类型时标识的应用场景类型为直播场景，所述直播场景为分发摄像头数据并显示的场景；步骤2）中硬件抽象层根据应用场景类型发送打开摄像头指令给云音视频服务时，打开摄像头指令为打开摄像头获取视频指令；步骤3）中收到返回的回调数据为音视频流编码数据；步骤4）中根据应用场景类型处理回调数据具体是指将音视频流编码数据进行解码和转换分别用于显示输出、数据分发。
可选地，所述音视频流编码数据为H264视频流编码数据和OPUS音频流编码数据，所述将音视频流编码数据进行解码和转换分别用于显示输出、数据分化具体是指将H264视频流编码数据解码后首先转换为YUV编码数据，将OPUS音频流编码数据解码为PCM编码数据，然后将YUV编码数据、PCM编码数据同步处理后分发到一个或多个指定的直播应用程序进行再处理，并同时将YUV编码数据转换为RGBA8888数据后显示输出。
可选地，步骤1）中标识应用场景类型时标识的应用场景类型为拍照场景，所述拍照场景为通过摄像头采集图像的场景；步骤2）中硬件抽象层根据应用场景类型发送打开摄像头指令给云音视频服务时，打开摄像头指令为打开摄像头获取图像指令；步骤3）中收到返回的回调数据为图像编码数据；步骤4）中根据应用场景类型处理回调数据具体是指将图像编码数据进行存储并触发回调事件。
可选地，步骤1）中标识应用场景类型时标识的应用场景类型为录像场景，所述录像场景为采集摄像头画面存储到本地并显示的场景；步骤2）中硬件抽象层根据应用场景类型发送打开摄像头指令给云音视频服务时，打开摄像头指令为打开摄像头获取视频指令；步骤3）中收到返回的回调数据为音视频流编码数据；步骤4）中根据应用场景类型处理回调数据具体是指将音视频流编码数据进行解码和转换分别用于显示输出、本地存储。
可选地，所述音视频流编码数据为H264视频流编码数据和OPUS音频流编码数据，所述将音视频流编码数据进行解码和转换分别用于显示输出、本地存储具体是指将H264视频流编码数据解码后首先转换为YUV编码数据，将OPUS音频流编码数据解码为PCM编码数据，然后将YUV编码数据、PCM编码数据同步后封装成指定的文件格式后存储到本地，并同时将YUV编码数据转换为RGBA8888数据后显示输出。
此外，本发明还提供一种云手机的远程摄像头应用系统，包括计算机设备，该计算机设备中包含云手机，且该云手机被编程或配置以执行所述云手机的远程摄像头应用方法的步骤，或者该云手机的存储器中存储有被编程或配置以执行所述云手机的远程摄像头应用方法的计算机程序。
此外，本发明还提供一种计算机可读存储介质，该计算机可读存储介质中存储有被编程或配置以执行所述云手机的远程摄像头应用方法的计算机程序。
和现有技术相比，本发明具有下述优点：
1、本发明可在云手机上实现包括基于摄像头的各类应用场景，以及各种应用对于摄像头操作的功能，用户在云手机上操作摄像头不会和物理手机上有差异，真正作到在云手机上使用摄像头。
2、本发明的云手机摄像头的实现由软件来完成，对硬件芯片商无依赖，也不受硬件设计方案的限制，每台云手机独立出来都可以使用摄像头。
附图说明
图1为现有技术云手机的摄像头硬件方案的原理图。
图2为本发明实施例方法的基本原理示意图。
图3为本发明实施例中的系统拓扑结构图。
图4为本发明实施例中云手机、物理手机之间的交互原理示意图。
图5为本发明实施例中摄像头从启动到关闭的完整流程示意图。
具体实施方式
如图2、3所示，本实施例云手机的远程摄像头应用方法包括云手机中执行的下述步骤：
1）摄像头服务监测用户发出的摄像头操作请求，若监测到摄像头操作请求则将摄像头操作请求转发给硬件抽象层（本实施例中命名为摩智云Hal）；
2）硬件抽象层标识应用场景类型，并根据应用场景类型发送打开摄像头指令给云音视频服务（本实施例中命名为摩智云音视频service）；
3）云音视频服务通过网络发送打开摄像头指令给物理手机中的指定应用程序（本实施例中命名为摩智云App），等待物理手机中的指定应用程序通过网络返回来自物理摄像头的回调数据，在通过网络收到返回的回调数据后跳转执行下一步；
4）硬件抽象层根据应用场景类型处理回调数据。
参见图3，本实施例中通过网络收到返回的回调数据后，使得回调数据直接进入硬件抽象层，与框架和应用程序交互，整个过程由软件来完成，不依赖于硬件解决方案。
本实施例中，步骤1）之前还包括云手机开机初始化摄像头的下述步骤：
S1）云手机的摄像头服务启动；
S2）硬件抽象层标识应用场景类型，并通过云音视频服务将摄像头咨询信息发送给物理手机中的指定应用程序，并等待物理手机中的指定应用程序返回的物理手机的摄像头能力数据（capabilities）；
S3）收到物理手机中的指定应用程序返回的物理手机的摄像头能力数据；
S4）将物理手机的摄像头能力数据赋予云手机的摄像头服务。
如图3和图4所示，用户直接点击摄像头或者通过其他第三方应用打开摄像头后，硬件抽象层需要识别并标识应用场景类型，然后根据应用场景类型发送打开摄像头的指令给到云音视频服务，且该指令中包含所需获取的回调数据的类型。本实施例中，针对不同的应用场景类型（预览显示场景、预览回调场景、直播场景、拍照场景、录像场景等），将所有应用场景类型所需获取的回调数据的类型分为两种：音频流编码数据/视频流编码数据、图像编码数据，其原因是图像编码数据可获得更高清晰度的照片，用于提高拍照场景的照片质量；其余场景下若需要质量要求不高的图像，则可以从视频流编码数据中转换得到，从而简化了数据处理。音频流编码数据既可以附带在视频流编码数据一起，在某些场景下由于不需要音频流编码数据也可以不携带音频流编码数据以减少流量消耗。
云音视频服务收到指令后，透传命令到指定应用程序，指定应用程序判断当前的应用场景类型来生成对应的回调数据的类型，然后通过云音视频服务回传数据给硬件抽象层；
硬件抽象层通过云音视频服务收到数据后，根据当前的场景类型编码，如果是预览回调和录像和直播则编码为yuv，如果是预览显示则编码为rgba8888，如果是拍照则不需要编码并回调通知notify（用于触发照片的通知，例如声音、动画等）和数据给框架。
参见图4，本实施例中步骤4）之后还包括关闭摄像头的步骤：如果云手机监测到用户点击关闭，或者第三方应用发送指令关闭摄像头后，硬件抽象层发送关闭摄像头命令给到云音视频服务，云音视频服务透传给物理手机中的指定应用程序，结束物理手机的摄像头调用，然后硬件抽象层结束当前的状态，回调结束信息给框架，结束摄像头调用流程。
考虑到网络状态的不确定性，本实施例方案另外提供了异常处理情况：步骤3）中等待物理手机中的指定应用程序通过网络返回来自物理摄像头的回调数据时还包括超时判断的下述步骤：
A1）在云音视频服务通过网络发送打开摄像头指令给物理手机中的指定应用程序后立即启动数据超时检测，若收到回调数据的时间不超过预设阈值，则判定网络正常；否则启动回调数据的重传请求，执行下一步；
A2）判断在预设时间内是否收到重传的回调数据，若在预设时间（例如1分钟）内收到重传的回调数据则判定网络波动；否则判定为网络异常；若发生网络波动的情况，采用补帧方式，回调上一帧的回调数据；若发生网络异常的情况，则报错退出，例如本实施例中具体的处理方法为：回调指定的和用户交互图片，告知用户网络异常，数据断连，由用户自主处理重新连接或者退出。
需要说明的是，本实施例云手机的远程摄像头应用方法可以适用于不同的应用场景类型，其区别仅仅在于按照获取回调数据，以及根据应用场景类型处理回调数据。下文将针对不同的应用场景类型，对本实施例进行进一步的详细说明。
一、预览显示场景。
步骤1）中标识应用场景类型时标识的应用场景类型可为预览显示场景，所述预览显示场景为预览显示摄像头画面的场景；
预览显示场景下：步骤2）中硬件抽象层根据应用场景类型发送打开摄像头指令给云音视频服务时，打开摄像头指令为打开摄像头获取视频指令；步骤3）中收到返回的回调数据为视频流编码数据；步骤4）中根据应用场景类型处理回调数据具体是指将视频流编码数据进行解码和转换后显示输出。
作为一种可选的实施方式，本实施例中预览显示场景下，视频流编码数据为H264视频流编码数据，H264视频流编码数据可以从物理编码器的媒体编码器中直接获取、不需要对视频流进行编码，能够减少视频流编码数据的延迟，减少过程中的数据处理量。将视频流编码数据进行解码和转换后显示输出具体是指将H264视频流编码数据解码后首先转换为YUV编码数据，然后将YUV编码数据转换为RGBA8888数据后显示输出。通过上述转换，通过YUV编码数据可实现对解码数据的通用解码，实现和其他场景下解码数据的复用；转换为RGBA8888数据可方便地利用云服务器中的显卡输出。而且，上述解码和转换方式不依赖于特定的硬件平台，具有通用性好的优点。
二、预览回调场景。
步骤1）中标识应用场景类型时标识的应用场景类型可为预览回调场景，所述预览回调场景为调用摄像头进行数据回调分析并显示摄像头画面的场景；
预览回调场景下：步骤2）中硬件抽象层根据应用场景类型发送打开摄像头指令给云音视频服务时，打开摄像头指令为打开摄像头获取视频指令；步骤3）中收到返回的回调数据为视频流编码数据；步骤4）中根据应用场景类型处理回调数据具体是指将视频流编码数据进行解码和转换预览回调到对应的应用程序进行再处理，并显示输出。
作为一种可选的实施方式，本实施例中预览回调场景下，视频流编码数据为H264视频流编码数据，所述将视频流编码数据进行解码和转换具体是指将H264视频流编码数据解码后首先转换为YUV编码数据，然后将YUV编码数据预览回调到对应的应用程序进行再处理，所述显示输出是指将YUV编码数据转换为RGBA8888数据后显示输出。
三、直播场景。
步骤1）中标识应用场景类型时标识的应用场景类型可为直播场景，所述直播场景为分发摄像头数据并显示的场景；
直播场景下：步骤2）中硬件抽象层根据应用场景类型发送打开摄像头指令给云音视频服务时，打开摄像头指令为打开摄像头获取视频指令；步骤3）中收到返回的回调数据为音视频流编码数据；步骤4）中根据应用场景类型处理回调数据具体是指将音视频流编码数据进行解码和转换分别用于显示输出、数据分发。
作为一种可选的实施方式，本实施例中直播场景下，音视频流编码数据为H264视频流编码数据和OPUS音频流编码数据，将音视频流编码数据进行解码和转换分别用于显示输出、数据分化具体是指将H264视频流编码数据解码后首先转换为YUV编码数据，将OPUS音频流编码数据解码为PCM编码数据，然后将YUV编码数据、PCM编码数据同步处理后分发到一个或多个指定的直播应用程序进行再处理，并同时将YUV编码数据转换为RGBA8888数据后显示输出。
四、拍照场景。
步骤1）中标识应用场景类型时标识的应用场景类型可为拍照场景，所述拍照场景为通过摄像头采集图像的场景；
拍照场景下：步骤2）中硬件抽象层根据应用场景类型发送打开摄像头指令给云音视频服务时，打开摄像头指令为打开摄像头获取图像指令；步骤3）中收到返回的回调数据为图像编码数据；步骤4）中根据应用场景类型处理回调数据具体是指将图像编码数据进行存储并触发回调事件。
作为一种可选的实施方式，本实施例中拍照场景下图像编码数据具体采用JPEG编码，此外也可以根据需要采用其他指定格式的图像编码数据格式。
五、录像场景
步骤1）中标识应用场景类型时标识的应用场景类型可为录像场景，所述录像场景为采集摄像头画面存储到本地并显示的场景。
录像场景下：步骤2）中硬件抽象层根据应用场景类型发送打开摄像头指令给云音视频服务时，打开摄像头指令为打开摄像头获取视频指令；步骤3）中收到返回的回调数据为音视频流编码数据；步骤4）中根据应用场景类型处理回调数据具体是指将音视频流编码数据进行解码和转换分别用于显示输出、本地存储。
录像场景下，视频流编码数据为H264视频流编码数据和OPUS音频流编码数据，将音视频流编码数据进行解码和转换分别用于显示输出、本地存储具体是指将H264视频流编码数据解码后首先转换为YUV编码数据，将OPUS音频流编码数据解码为PCM编码数据，然后将YUV编码数据、PCM编码数据同步后封装成指定的文件格式后存储到本地，并同时将YUV编码数据转换为RGBA8888数据后显示输出。
毫无疑问，上述场景仅仅是对基于摄像头的应用场景类型的举例而非穷举，本实施例方法可以适用于各类应用场景类型，其区别仅仅在于回调数据的内容因为不同应用场景类型可能有所不同、回调数据的处理方式因为不同应用场景类型可能有所不同。本实施例前述云手机的远程摄像头应用方法能够实现云手机上摄像头的各类应用，用户在云手机上，点击摄像头图标，可以进入预览显示场景，根据操作可进一步进入拍照场景、录像场景状态实现拍照和录像，通过第三方软件（如微信，支付宝，快手，抖音，以及各种浏览器）等打开摄像头可进入预览回调场景实现人脸识别、扫码，视频聊天等功能，通过直播软件可进入直播场景来实现直播功能，尤其是可实现一路或多路直播的功能，从而可使得云手机类似物理手机一样实现摄像头的各类功能。
此外，本实施例还提供一种云手机的远程摄像头应用系统，包括计算机设备，该计算机设备中包含云手机，且该云手机被编程或配置以执行前述云手机的远程摄像头应用方法的步骤，或者该云手机的存储器中存储有被编程或配置以执行前述云手机的远程摄像头应用方法的计算机程序。
此外，本实施例还提供一种计算机可读存储介质，该计算机可读存储介质中存储有被编程或配置以执行前述云手机的远程摄像头应用方法的计算机程序。
以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (10)
1.一种云手机的远程摄像头应用方法，其特征在于，包括云手机中执行的下述步骤：
1）摄像头服务监测用户发出的摄像头操作请求，若监测到摄像头操作请求则将摄像头操作请求转发给硬件抽象层；
2）硬件抽象层标识应用场景类型，并根据应用场景类型发送打开摄像头指令给云音视频服务；
3）云音视频服务通过网络发送打开摄像头指令给物理手机中的指定应用程序，等待物理手机中的指定应用程序通过网络返回来自物理摄像头的回调数据，在通过网络收到返回的回调数据后跳转执行下一步；
4）硬件抽象层根据应用场景类型处理回调数据。
2.根据权利要求1所述的云手机的远程摄像头应用方法，其特征在于，步骤1）中标识应用场景类型时标识的应用场景类型为预览场景，所述根据调用者是否需要数据分析进一步判断划分为预览显示场景和预览回调场景，所述预览显示场景为仅仅需要显示画面，不需要回调数据；预览回调场景为调用摄像头进行数据回调分析并显示摄像头画面的场景；步骤2）中硬件抽象层根据应用场景类型发送打开摄像头指令给云音视频服务时，打开摄像头指令为打开摄像头获取视频指令；步骤3）中收到返回的回调数据为视频流编码数据；步骤4）中根据应用场景类型处理回调数据具体是指将视频流编码数据进行解码和转换预览回调到对应的应用程序进行再处理，并显示输出。
3.根据权利要求2所述的云手机的远程摄像头应用方法，其特征在于，所述视频流编码数据为H264视频流编码数据，所述将视频流编码数据进行解码和转换具体是指将H264视频流编码数据解码为YUV编码数据，然后将YUV编码数据预览回调到对应的应用程序进行再处理，所述显示输出是指将YUV编码数据转换为RGBA8888数据后显示输出。
4.根据权利要求1所述的云手机的远程摄像头应用方法，其特征在于，步骤1）中标识应用场景类型时标识的应用场景类型为直播场景，所述直播场景为分发摄像头数据并显示的场景；步骤2）中硬件抽象层根据应用场景类型发送打开摄像头指令给云音视频服务时，打开摄像头指令为打开摄像头获取视频指令；步骤3）中收到返回的回调数据为音视频流编码数据；步骤4）中根据应用场景类型处理回调数据具体是指将音视频流编码数据进行解码和转换分别用于显示输出、数据分发。
5.根据权利要求4所述的云手机的远程摄像头应用方法，其特征在于，所述音视频流编码数据为H264视频流编码数据和OPUS音频流编码数据，所述将音视频流编码数据进行解码和转换分别用于显示输出、数据分化具体是指将H264视频流编码数据解码后首先转换为YUV编码数据，将OPUS音频流编码数据解码为PCM编码数据，然后将YUV编码数据、PCM编码数据同步处理后分发到一个或多个指定的直播应用程序进行再处理，并同时将YUV编码数据转换为RGBA8888数据后显示输出。
6.根据权利要求1所述的云手机的远程摄像头应用方法，其特征在于，步骤1）中标识应用场景类型时标识的应用场景类型为拍照场景，所述拍照场景为通过摄像头采集图像的场景；步骤2）中硬件抽象层根据应用场景类型发送打开摄像头指令给云音视频服务时，打开摄像头指令为打开摄像头获取图像指令；步骤3）中收到返回的回调数据为图像编码数据；步骤4）中根据应用场景类型处理回调数据具体是指将图像编码数据进行存储并触发回调事件。
7.根据权利要求1所述的云手机的远程摄像头应用方法，其特征在于，步骤1）中标识应用场景类型时标识的应用场景类型为录像场景，所述录像场景为采集摄像头画面存储到本地并显示的场景；步骤2）中硬件抽象层根据应用场景类型发送打开摄像头指令给云音视频服务时，打开摄像头指令为打开摄像头获取视频指令；步骤3）中收到返回的回调数据为音视频流编码数据；步骤4）中根据应用场景类型处理回调数据具体是指将音视频流编码数据进行解码和转换分别用于显示输出、本地存储。
8.根据权利要求7所述的云手机的远程摄像头应用方法，其特征在于，所述音视频流编码数据为H264视频流编码数据和OPUS音频流编码数据，所述将音视频流编码数据进行解码和转换分别用于显示输出、本地存储具体是指将H264视频流编码数据解码后首先转换为YUV编码数据，将OPUS音频流编码数据解码为PCM编码数据，然后将YUV编码数据、PCM编码数据同步后封装成指定的文件格式后存储到本地，并同时将YUV编码数据转换为RGBA8888数据后显示输出。
9.一种云手机的远程摄像头应用系统，包括计算机设备，其特征在于，该计算机设备中包含云手机，且该云手机被编程或配置以执行权利要求1～8中任意一项所述云手机的远程摄像头应用方法的步骤，或者该云手机的存储器中存储有被编程或配置以执行权利要求1～8中任意一项所述云手机的远程摄像头应用方法的计算机程序。
10.一种计算机可读存储介质，其特征在于，该计算机可读存储介质中存储有被编程或配置以执行权利要求1～8中任意一项所述云手机的远程摄像头应用方法的计算机程序。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010885123.3A CN111917988B (zh) | 2020-08-28 | 2020-08-28 | 一种云手机的远程摄像头应用方法、系统及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010885123.3A CN111917988B (zh) | 2020-08-28 | 2020-08-28 | 一种云手机的远程摄像头应用方法、系统及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111917988A true CN111917988A (zh) | 2020-11-10 |
| CN111917988B CN111917988B (zh) | 2021-12-10 |
Family
ID=73267989
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010885123.3A Active CN111917988B (zh) | 2020-08-28 | 2020-08-28 | 一种云手机的远程摄像头应用方法、系统及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111917988B (zh) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112380032A (zh) * | 2020-11-16 | 2021-02-19 | 福建多多云科技有限公司 | 一种基于云手机的摄像头远程调用方法 |
| CN112492203A (zh) * | 2020-11-26 | 2021-03-12 | 北京指掌易科技有限公司 | 虚拟照相方法、装置、设备及存储介质 |
| CN112584049A (zh) * | 2020-12-22 | 2021-03-30 | Oppo广东移动通信有限公司 | 远程交互方法及装置、电子设备、存储介质 |
| CN113099308A (zh) * | 2021-03-31 | 2021-07-09 | 聚好看科技股份有限公司 | 一种内容显示方法、显示设备及图像采集器 |
| CN113347450A (zh) * | 2021-04-09 | 2021-09-03 | 中科创达软件股份有限公司 | 一种多应用共享音视频设备的方法、装置和系统 |
| CN113411503A (zh) * | 2021-07-01 | 2021-09-17 | 上海卓易科技股份有限公司 | 一种云手机相机预览方法、装置及计算机设备、存储介质 |
| CN113542896A (zh) * | 2021-05-19 | 2021-10-22 | 广州速启科技有限责任公司 | 一种自由视角的视频直播方法、设备及介质 |
| CN113727035A (zh) * | 2021-10-15 | 2021-11-30 | Oppo广东移动通信有限公司 | 图像处理方法、系统、电子设备及存储介质 |
| CN113766061A (zh) * | 2021-08-31 | 2021-12-07 | 北京百度网讯科技有限公司 | 一种图像获取方法、装置、设备以及存储介质 |
| CN113938457A (zh) * | 2021-09-30 | 2022-01-14 | 北京润信恒达科技有限公司 | 一种云手机应用远程摄像头的方法、系统和设备 |
| CN114785775A (zh) * | 2022-03-24 | 2022-07-22 | 广东悦伍纪网络技术有限公司 | 一种可实现与真机驱动对接的云手机及其驱动对接方法 |
| CN114866542A (zh) * | 2022-04-20 | 2022-08-05 | 广东悦伍纪网络技术有限公司 | 一种在云手机上实现真机模拟的系统及方法 |
| WO2023045551A1 (zh) * | 2021-09-26 | 2023-03-30 | 中兴通讯股份有限公司 | 摄像头控制方法、系统、电子设备和存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105144713A (zh) * | 2013-01-17 | 2015-12-09 | 三星电子株式会社 | 用于解码器设置的对视频进行编码的方法及其装置以及基于解码器设置对视频进行解码的方法及其装置 |
| CN105895111A (zh) * | 2015-12-15 | 2016-08-24 | 乐视致新电子科技（天津）有限公司 | 基于Android的音频内容处理方法及设备 |
| CN106027882A (zh) * | 2016-05-16 | 2016-10-12 | 深圳市青葡萄科技有限公司 | 摄像头外设在虚拟化环境下的重定向方法 |
| CN110178357A (zh) * | 2017-01-13 | 2019-08-27 | 华为技术有限公司 | 远程设备可接入的云中基于云的手机服务 |
| CN110430441A (zh) * | 2019-07-31 | 2019-11-08 | 湖南微算互联信息技术有限公司 | 一种云手机视频采集方法、系统、装置及存储介质 |
| CN111383224A (zh) * | 2020-03-19 | 2020-07-07 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
-
2020
- 2020-08-28 CN CN202010885123.3A patent/CN111917988B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105144713A (zh) * | 2013-01-17 | 2015-12-09 | 三星电子株式会社 | 用于解码器设置的对视频进行编码的方法及其装置以及基于解码器设置对视频进行解码的方法及其装置 |
| CN105895111A (zh) * | 2015-12-15 | 2016-08-24 | 乐视致新电子科技（天津）有限公司 | 基于Android的音频内容处理方法及设备 |
| CN106027882A (zh) * | 2016-05-16 | 2016-10-12 | 深圳市青葡萄科技有限公司 | 摄像头外设在虚拟化环境下的重定向方法 |
| CN110178357A (zh) * | 2017-01-13 | 2019-08-27 | 华为技术有限公司 | 远程设备可接入的云中基于云的手机服务 |
| CN110430441A (zh) * | 2019-07-31 | 2019-11-08 | 湖南微算互联信息技术有限公司 | 一种云手机视频采集方法、系统、装置及存储介质 |
| CN111383224A (zh) * | 2020-03-19 | 2020-07-07 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112380032A (zh) * | 2020-11-16 | 2021-02-19 | 福建多多云科技有限公司 | 一种基于云手机的摄像头远程调用方法 |
| CN112492203A (zh) * | 2020-11-26 | 2021-03-12 | 北京指掌易科技有限公司 | 虚拟照相方法、装置、设备及存储介质 |
| CN112584049A (zh) * | 2020-12-22 | 2021-03-30 | Oppo广东移动通信有限公司 | 远程交互方法及装置、电子设备、存储介质 |
| CN113099308A (zh) * | 2021-03-31 | 2021-07-09 | 聚好看科技股份有限公司 | 一种内容显示方法、显示设备及图像采集器 |
| CN113099308B (zh) * | 2021-03-31 | 2023-10-27 | 聚好看科技股份有限公司 | 一种内容显示方法、显示设备及图像采集器 |
| CN113347450B (zh) * | 2021-04-09 | 2023-04-28 | 中科创达软件股份有限公司 | 一种多应用共享音视频设备的方法、装置和系统 |
| CN113347450A (zh) * | 2021-04-09 | 2021-09-03 | 中科创达软件股份有限公司 | 一种多应用共享音视频设备的方法、装置和系统 |
| CN113542896A (zh) * | 2021-05-19 | 2021-10-22 | 广州速启科技有限责任公司 | 一种自由视角的视频直播方法、设备及介质 |
| CN113542896B (zh) * | 2021-05-19 | 2024-02-23 | 广州速启科技有限责任公司 | 一种自由视角的视频直播方法、设备及介质 |
| CN113411503A (zh) * | 2021-07-01 | 2021-09-17 | 上海卓易科技股份有限公司 | 一种云手机相机预览方法、装置及计算机设备、存储介质 |
| CN113766061A (zh) * | 2021-08-31 | 2021-12-07 | 北京百度网讯科技有限公司 | 一种图像获取方法、装置、设备以及存储介质 |
| WO2023045551A1 (zh) * | 2021-09-26 | 2023-03-30 | 中兴通讯股份有限公司 | 摄像头控制方法、系统、电子设备和存储介质 |
| CN113938457A (zh) * | 2021-09-30 | 2022-01-14 | 北京润信恒达科技有限公司 | 一种云手机应用远程摄像头的方法、系统和设备 |
| CN113938457B (zh) * | 2021-09-30 | 2023-11-10 | 北京润信恒达科技有限公司 | 一种云手机应用远程摄像头的方法、系统和设备 |
| CN113727035A (zh) * | 2021-10-15 | 2021-11-30 | Oppo广东移动通信有限公司 | 图像处理方法、系统、电子设备及存储介质 |
| CN114785775A (zh) * | 2022-03-24 | 2022-07-22 | 广东悦伍纪网络技术有限公司 | 一种可实现与真机驱动对接的云手机及其驱动对接方法 |
| CN114785775B (zh) * | 2022-03-24 | 2023-11-24 | 广东悦伍纪网络技术有限公司 | 一种可实现与真机驱动对接的云手机及其驱动对接方法 |
| CN114866542A (zh) * | 2022-04-20 | 2022-08-05 | 广东悦伍纪网络技术有限公司 | 一种在云手机上实现真机模拟的系统及方法 |
| CN114866542B (zh) * | 2022-04-20 | 2023-08-18 | 广东悦伍纪网络技术有限公司 | 一种在云手机上实现真机模拟的系统及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111917988B (zh) | 2021-12-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111917988B (zh) | 一种云手机的远程摄像头应用方法、系统及介质 | |
| US8305448B2 (en) | Selective privacy protection for imaged matter | |
| US20140244858A1 (en) | Communication system and relaying device | |
| CN101500128B (zh) | 在网络摄像装置终端显示图像上加载附加信息的方法及装置 | |
| CN108370416A (zh) | 从视频流生成输出视频 | |
| WO2014154003A1 (zh) | 一种自拍图像的展现方法及装置 | |
| CN110062161B (zh) | 图像处理器、图像处理方法、拍摄装置和电子设备 | |
| US7239343B2 (en) | Image distribution method employing both a first network whose bandwidth is not assured and second network whose bandwidth is assured for control and image transmission | |
| CN112044055A (zh) | 图像数据采集方法、系统、装置、电子设备及存储介质 | |
| CN111314606B (zh) | 拍照方法、装置、电子设备及存储介质 | |
| CN113992883A (zh) | 视频会议处理方法、处理设备、会议系统以及存储介质 | |
| US6359643B1 (en) | Method and apparatus for signaling a still image capture during video capture | |
| US20190306462A1 (en) | Image processing apparatus, videoconference system, image processing method, and recording medium | |
| CN114257831A (zh) | 一种多路虚拟视频源的接入管理系统及方法 | |
| CN114501136B (zh) | 图像获取方法、装置、移动终端以及存储介质 | |
| CN114553844B (zh) | 一种视频时屏幕共享的方法 | |
| CN113691815A (zh) | 一种视频数据处理方法、设备和计算机可读存储介质 | |
| CN110602359B (zh) | 图像处理方法、图像处理器、拍摄装置和电子设备 | |
| CN114285957A (zh) | 图像处理电路及数据传输方法 | |
| CN112948046A (zh) | 截屏方法、装置、设备及存储介质 | |
| CN111432121A (zh) | 生成方法、电子装置和存储介质 | |
| EP1453291A2 (en) | Digital media frame | |
| CN113938457B (zh) | 一种云手机应用远程摄像头的方法、系统和设备 | |
| CN116204257B (zh) | 图像预览方法、装置、存储介质及计算机设备 | |
| WO2018162972A1 (en) | Media session management |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20211109 Address after: 410000 Room 302, building 4, CLP Software Park, No. 39 Jianshan Road, Yuelu District, Changsha City, Hunan Province Applicant after: Hunan duoxing cloud computer technology Co.,Ltd. Address before: 410000 Room 302, building 4, CLP Software Park, No. 39 Jianshan Road, Yuelu District, Changsha City, Hunan Province Applicant before: Changsha Mozhi Cloud Computing Technology Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |