CN115589531A - 目标场景的拍摄方法、系统及存储介质 - Google Patents
目标场景的拍摄方法、系统及存储介质 Download PDFInfo
- Publication number
- CN115589531A CN115589531A CN202211109355.5A CN202211109355A CN115589531A CN 115589531 A CN115589531 A CN 115589531A CN 202211109355 A CN202211109355 A CN 202211109355A CN 115589531 A CN115589531 A CN 115589531A
- Authority
- CN
- China
- Prior art keywords
- data
- shooting
- target scene
- dimensional coordinate
- coordinate data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 69
- 238000013473 artificial intelligence Methods 0.000 claims description 10
- 238000005286 illumination Methods 0.000 claims description 4
- 239000007787 solid Substances 0.000 claims description 4
- 238000003384 imaging method Methods 0.000 claims 1
- 238000005516 engineering process Methods 0.000 description 11
- 210000000056 organ Anatomy 0.000 description 11
- 230000008569 process Effects 0.000 description 11
- 230000033001 locomotion Effects 0.000 description 10
- 230000000007 visual effect Effects 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000001575 pathological effect Effects 0.000 description 2
- 238000001356 surgical procedure Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000007723 transport mechanism Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/2187—Live feed
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
- H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Image Processing (AREA)
Abstract
本申请公开了一种目标场景的拍摄方法、系统及存储介质，涉及到智能医疗设备技术领域，所述目标场景的拍摄方法包括：获取机械臂的第一旋转角度数据，并根据所述第一旋转角度数据计算得到第一三维坐标数据；通过第一摄像设备获取第一目标场景图像，并根据所述第一目标场景图像得到拍摄对象数据；根据所述拍摄对象数据和所述第一三维坐标数据，计算得到第三三维坐标数据；根据所述第三三维坐标数据和所述拍摄对象数据调整第二摄像设备，以得到第二目标场景图像；根据所述第二目标场景图像进行实时播放。本申请的目标场景的拍摄方法能够对目标场景中的目标对象进行实时拍摄和智能调节，提高了拍摄质量。
Description
技术领域
本申请涉及智能医疗设备技术领域，特别涉及一种目标场景的拍摄方法、系统及存储介质。
背景技术
当前在很多目标场景中都需要实时拍摄图像以进行示教或者问题分析，以医疗为例，需要对手术过程进行拍摄，以方便分析病人的病情。相关技术中，一般是由工作人员手持摄像设备对目标场景进行拍摄，使其对准固定的角度拍摄，再通过传统的网络直播技术将拍摄的画面传输到网络上，但工作人员长时间手持摄像设备容易疲惫，导致拍摄质量不稳定。
发明内容
本申请旨在至少解决现有技术中存在的技术问题之一。为此，本申请提出了一种目标场景的拍摄方法、系统及存储介质，能够对目标场景中的目标对象进行实时拍摄和智能调节，提高了拍摄质量。
为解决上述技术问题，本申请提出如下技术方案：
本申请第一方面实施例提供了一种目标场景的拍摄方法，应用于目标场景直播系统，包括：
获取机械臂的第一旋转角度数据，并根据所述第一旋转角度数据计算得到第一三维坐标数据；
通过第一摄像设备获取第一目标场景图像，并根据所述第一目标场景图像得到拍摄对象数据，其中，所述第一摄像设备固定设于所述机械臂；
根据所述拍摄对象数据和所述第一三维坐标数据，计算得到第三三维坐标数据；
根据所述第三三维坐标数据和所述拍摄对象数据调整第二摄像设备，以得到第二目标场景图像，其中，所述第二摄像设备固定设于所述机械臂末端；
根据所述第二目标场景图像进行实时播放。
根据本申请第一方面实施例提供的目标场景的拍摄方法，至少具有如下有益效果：本申请的目标场景的拍摄方法能够根据第一目标场景图像和第二目标场景图像，控制机械臂灵活调整第一摄像设备和第二摄像设备，实现了对目标场景中的手术过程进行实时拍摄和智能调节，提高了拍摄质量。
根据本申请第一方面的一些实施例，所述根据所述第一旋转角度数据计算得到第一三维坐标数据，包括：
通过运动学算法对所述第一旋转角度数据进行计算，得到与所述机械臂末端相对应的所述第一三维坐标数据。
根据本申请第一方面的一些实施例，所述根据所述第一目标场景图像得到拍摄对象数据，包括：
根据图像处理算法对所述第一目标场景图像进行分析和识别，得到所述拍摄对象数据。
根据本申请第一方面的一些实施例，所述根据所述第一目标场景图像得到拍摄对象数据，还包括：
获取预设的选择指令，并根据所述选择指令对所述第一目标场景图像进行选择和提取，得到所述拍摄对象数据。
根据本申请第一方面的一些实施例，所述根据所述拍摄对象数据和所述第一三维坐标数据，计算得到第三三维坐标数据，包括：
获取位置坐标数据；
根据立体几何算法计算与所述位置坐标数据对应的第二三维坐标数据；
计算所述第一三维坐标数据和所述第二三维坐标数据的差值，得到坐标数据差值；
根据所述坐标数据差值得到所述第三三维坐标数据，其中，所述第三三维坐标数据为所述机械臂的末端在三维空间中的目标坐标点。
根据本申请第一方面的一些实施例，所述根据所述第三三维坐标数据和所述拍摄对象数据调整第二摄像设备，包括：
选取与所述拍摄对象数据相应的人工智能训练模型；
根据所述人工智能训练模型对所述拍摄对象数据进行识别和提取，得到特征数据，所述特征数据包括颜色、尺寸、光照和形状；
根据所述特征数据选择相应的拍摄指令，使得所述第二摄像设备根据所述拍摄指令调整摄像参数。
根据本申请第一方面的一些实施例，所述根据所述第三三维坐标数据和所述拍摄对象数据调整第二摄像设备，还包括：
通过反向运动学算法对所述第三三维坐标数据进行计算，得到所述机械臂需要转动的第二旋转角度数据；
根据所述第二旋转角度数据控制所述机械臂转动，使得所述第二摄像设备到达目标位置。
根据本申请第一方面的一些实施例，所述根据所述第二目标场景图像进行实时播放，包括：
对所述第二目标场景图像进行编码，得到视频流数据；
发送所述视频流数据给云端服务器，使得所述云端服务器将所述视频流数据实时发送给客户端。
本申请第二方面实施例提供一种目标场景的拍摄系统，包括：
至少一个存储器；
至少一个处理器；
至少一个程序；
所述程序被存储在所述存储器中，所述处理器执行至少一个所述程序以实现：
如本申请第一方面任一项所述的目标场景的拍摄方法。
本申请第三方面实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行信号，所述计算机可执行信号用于执行：
如本申请第一方面任一项所述的目标场景的拍摄方法。
本申请的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请的附加方面和优点结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1为本申请一个实施例提供的目标场景的拍摄方法的主流程图；
图2为本申请一个实施例提供的目标场景的拍摄方法的另一子流程图；
图3为本申请一个实施例提供的目标场景的拍摄方法的另一子流程图；
图4为本申请一个实施例提供的目标场景的拍摄方法的另一子流程图；
图5为本申请一个实施例提供的目标场景的拍摄方法的另一子流程图；
图6为本申请一个实施例提供的目标场景的拍摄系统的模块框图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
需要说明的是，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于流程图中的顺序执行所示出或描述的步骤。说明书和权利要求书及上述附图中的术语等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
在本申请的描述中，如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
本申请的描述中，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本申请中的具体含义。
需要说明的是，本申请的目标场景的拍摄方法可应用于医疗场景，也可应用于其他场景，为了更好地解释本申请的目标场景的拍摄方法，以下将以医疗场景为例对本申请进行说明。
需要说明的是，当前在很多医疗场景中都需要实时对手术过程进行拍摄，以方便分析病人的病情，如：在手术过程中将手术台画面直播给医学专业的学生观看学习，或在病房查房和会诊的过程中将病人的画面直播给远程的医疗专家观看以让其分析病人情况等，同时这需要用到一系列关于医疗场景直播的技术，包括：拍摄医疗图像的技术、通过网络进行视频直播的技术和在直播过程中对拍摄角度和参数进行调整的技术等。现有的方案一般是由工作人员手持摄像设备对医疗场景进行拍摄，或者利用三脚架等常见的支撑设备将摄像设备进行固定安装，再对准固定的角度拍摄，最后通过传统的网络直播技术将拍摄的画面传输到网络上。但工作人员长时间手持摄像设备容易疲惫，可能会因为手抖而导致画面模糊，导致拍摄质量下降；另一方面，使用三脚架进行拍摄时拍摄角度有限，当拍摄对象移动后难以自动跟随拍摄对象进行拍摄并自动对焦，同样使得拍摄质量不稳定。
根据本申请的一个实施例，本申请通过将图像处理、深度学习算法、正向运动学、反向运动学和医学数据处理等多种技术结合，对医疗场景中的手术过程实现了实时拍摄和智能调节。
参照图1，第一方面本申请实施例提供了一种目标场景的拍摄方法，本申请的目标场景的拍摄方法应用于目标场景直播系统，包括但不限于步骤S110、S120、S130、S140、S150。
S110，获取机械臂的第一旋转角度数据，并根据第一旋转角度数据计算得到第一三维坐标数据；
S120，通过第一摄像设备获取第一目标场景图像，并根据第一目标场景图像得到拍摄对象数据，其中，第一摄像设备固定设于机械臂；
S130，根据拍摄对象数据和第一三维坐标数据，计算得到第三三维坐标数据；
S140，根据第三三维坐标数据和拍摄对象数据调整第二摄像设备，以得到第二目标场景图像，其中，第二摄像设备固定设于机械臂末端；
S150，根据第二目标场景图像进行实时播放。
根据本申请的一个实施例，本申请的目标场景的拍摄方法应用于目标场景直播系统，目标场景直播系统包括机械臂、驱动设备、第一摄像设备、第二摄像设备和总控设备，其中机械臂具有至少7个自由度，且机械臂的每个关节上都安装有驱动设备，使得机械臂的关节可以由驱动设备控制进行旋转，驱动设备通过线路与总控设备电连接，且驱动设备可以接受并解析总控设备发送的控制指令，并按照控制指令驱动机械臂运动到指定的位置。另一方面，机械臂的末端还固定安装有第二摄像设备，第二摄像设备的体积较小，且外壳结构具有柔性的特点，可以在总控设备的指令的控制下进行弯曲、转动、伸缩等变化，并随着机械臂的移动和旋转，对准不同的目标对象进行拍摄，具体的是，第二摄像设备适用于视野范围较小的局部画面的拍摄。
更具体的是，为了便于拍摄大范围视野内的整体画面，第一摄像设备安装在机械臂的中部，另一方面，第一摄像设备的镜头焦距较小，随着机械臂的移动和旋转，第一摄像设备始终能够拍摄到包括从机械臂中部到机械臂末端以及第一摄像设备对准的目标在内的视野范围内的画面，便于观看者对医疗工作场景的全局场景及医疗工作人员的操作进行观看。
根据本申请的另一个实施例，本申请所述的摄像设备，包括第一摄像设备和第二摄像设备，是指由感光元件、镜头、电子电路等部件组成的设备，其能够拍摄视觉画面并将视觉画面记录为电子数据，记录的形式可以为静态照片，也可以为动态视频。而且，摄像设备可以直接对记录的电子数据进行存储，也可以将其传输到总控设备上进行进一步的处理，同时摄像设备还能接受总控设备发送的控制指令，进而对拍摄过程的配置参数进行修改，便于拍摄到更清晰的图像。
根据本申请的另一个实施例，在医疗工作的过程中，首先需要通过第一摄像设备实时获取第一目标场景图像，并根据第一目标场景图像得到拍摄对象数据。其中第一目标场景图像是指大范围视野内的整体画面，即当前整体的医疗场景，包括病人的病变器官和围绕着病人的医护人员等，便于观看者更直观更清晰地观察到医护人员在不同情况下的操作。而且，在获取到第一目标场景图像后，为便于观看者观察到医护人员对病人的病变器官的操作，本申请还将根据第一目标场景图像得到拍摄对象数据，拍摄对象数据是指：不同的医疗工作场景中，第一目标场景图像中需要被重点关注的拍摄对象或需要拍摄更多细节局部图像的拍摄对象。具体的是，拍摄对象数据可以为患者的病变器官，也可以为手术过程中需要被重点关注的关键拍摄对象，拍摄对象数据是指关键拍摄对象在第一目标场景图像中的相关数据。
在得到拍摄对象数据的同时，还需要获取机械臂的第一旋转角度数据，第一旋转角度数据由驱动设备驱动得到，因此本申请可以通过运动控制程序直接读取机械臂上每一个驱动设备的当前旋转角度数据，以得到第一旋转角度数据。在得到第一旋转角度数据后还需要根据第一旋转角度数据计算得到第一三维坐标数据，而第一三维坐标数据是指机械臂末端在三维空间中所处的坐标点，在得到第一三维坐标数据后，总控设备将对其进行实时存储。
在得到第一三维坐标数据后，可结合拍摄对象数据和第一三维坐标数据计算得到第三三维坐标数据，第三三维坐标数据是指机械臂末端在三维空间中的目标坐标点，即第二摄像设备能够拍摄到拍摄对象数据的目标坐标点，因此需要控制驱动设备驱动机械臂，使得机械臂的末端到达目标坐标点，让第二摄像设备对准关键拍摄对象，对医疗工作场景进行更进一步地拍摄，并实时传输第二目标场景图像，第二目标场景图像即为拍摄到的视野范围较小的，针对关键拍摄对象的局部画面，便于观看人员在观看到医护人员的操作的同时，更清晰直观地观察到手术过程中需要被重点关注的拍摄对象。
在得到第二目标场景图像后，本申请将根据第二目标场景图像进行实时播放，使得观看者可以实时观看医疗工作场景。同时，本申请还将持续地根据第一目标场景图像对机械臂和第二摄像设备进行反馈调节。
具体的是，本申请通过将摄像设备固定安装于机械臂，不仅可以使得机械臂跟随关键拍摄对象旋转到不同的角度，还可以使得摄像设备对关键拍摄对象自动对焦，本申请结合了图像识别算法，能够自动识别关键拍摄对象的类型和位置，并自动控制机械臂的运动策略，形成了智能化的反馈调节。
需要说明的是，本申请的目标场景的拍摄方法能够根据第一目标场景图像和第二目标场景图像，控制机械臂灵活调整第一摄像设备和第二摄像设备，实现了对目标场景中的手术过程进行实时拍摄和智能调节，提高了拍摄质量。
可以理解的是，根据第一旋转角度数据计算得到第一三维坐标数据，包括：通过运动学算法对第一旋转角度数据进行计算，得到与机械臂末端相对应的第一三维坐标数据。
需要说明的是，本申请在获取第一目标场景图像的同时还需要获取机械臂的第一旋转角度数据，第一旋转角度数据由驱动设备驱动得到，因此本申请可以通过运动控制程序直接读取机械臂上每一个驱动设备的当前旋转角度数据以得到第一旋转角度数据，而无需逐一对机械臂的旋转角度进行测量。具体的是，在得到第一旋转角度数据后还需要根据第一旋转角度数据计算得到第一三维坐标数据，本申请结合了运动学算法，对第一旋转角度数据进行计算，由此得到机械臂末端在三维空间中所处的坐标点，即第一三维坐标数据，在计算得到第一三维坐标数据后，还需要对第一三维坐标数据进行存储，将其存储在总控设备上。
可以理解的是，根据第一目标场景图像得到拍摄对象数据，包括：根据图像处理算法对第一目标场景图像进行分析和识别，得到拍摄对象数据。
可以理解的是，根据第一目标场景图像得到拍摄对象数据，还包括：获取预设的选择指令，并根据选择指令对第一目标场景图像进行选择和提取，得到拍摄对象数据。
根据本申请的一个实施例，第一摄像设备能够实时拍摄得到第一目标场景图像，并通过连接线路将第一目标场景图像传输到总控设备上，总控设备在接收到第一目标场景图像后将对第一目标场景图像进行处理，以得到第一目标场景图像包含的拍摄对象数据。具体的是，根据第一目标场景图像得到拍摄对象数据的方法包括有两种，一种是通过图像处理算法和医疗图像专用的人工智能训练模型对第一目标场景图像进行分析和识别，以识别出拍摄对象数据，例如：第一目标场景图像包含了患者的病变器官和医护人员，医疗图像专用的人工智能训练模型将对患者的病变器官和医护人员一一进行识别，得到患者的病变器官的图像数据；另一种方法是医护人员在收到第一目标场景图像后输入选择指令，指定该医疗场景画面中的关键拍摄对象为患者的病变器官，则总控设备将会根据选择指令对第一目标场景图像进行选择和提取，得到患者的病变器官的图像数据，即拍摄对象数据。
参照图2，第一方面本申请实施例提供了一种根据拍摄对象数据和第一三维坐标数据，计算得到第三三维坐标数据的方法，包括但不限于步骤S210、S220、S230、S240。
S210，获取位置坐标数据；
S220，根据立体几何算法计算与位置坐标数据对应的第二三维坐标数据；
S230，计算第一三维坐标数据和第二三维坐标数据的差值，得到坐标数据差值；
S240，根据坐标数据差值得到第三三维坐标数据，其中，第三三维坐标数据为机械臂的末端在三维空间中的目标坐标点。
可以理解的是，在总控设备上的运动控制程序将通过图像处理算法对第一目标场景图像进行分析，得到拍摄对象数据的同时，还将得到拍摄对象数据在第一摄像设备的视野范围中的平面坐标点数据，即位置坐标数据。根据本申请的一个实施例，因为第一目标场景图像是平面图像，对第一目标场景图像进行图像处理也只能得到平面坐标系下关键拍摄对象的位置数据，位置坐标数据体现了患者的病变器官在平面坐标系下的坐标位置，而此处的平面坐标系是指第一摄像设备的视野范围中的平面坐标系。
根据本申请的一个实施例，位置坐标数据和第一三维坐标数据分别体现了患者的病变器官在平面坐标系下的位置和机械臂的末端在三维空间中所处的坐标点，由此对位置坐标数据和第一三维坐标数据进行计算和综合分析，以得到机械臂末端的第二摄像设备能够拍摄到患者的病变器官的目标坐标位置，即第三三维坐标数据。
需要说明的是，因为第一目标场景图像是平面图像，对第一目标场景图像进行图像处理也只能得到平面坐标系下关键拍摄对象的位置数据，即位置坐标数据，为了提高精确度，得到三维空间坐标系下关键拍摄对象的位置数据，本申请还将结合第一目标场景图像，根据立体几何算法对位置坐标数据进行计算，以得到关键拍摄对象在第一摄像设备的视野范围对应的三维空间中所处的坐标点，即第二三维坐标数据。第一三维坐标数据和第二三维坐标数据分别体现了机械臂末端和关键拍摄对象在第一摄像设备的视野范围对应的三维空间中所处的坐标点，为计算机械臂末端从当前位置移动至关键拍摄对象上方的距离，还需要计算第一三维坐标数据和第二三维坐标数据的差值，得到坐标数据差值。
具体的是，为使得固定于机械臂末端的第二摄像设备更全面地拍摄到关键拍摄对象，在得到坐标数据差值后，还需要对坐标数据差值进行分析和计算，以得到第三三维坐标数据，第三三维坐标数据为机械臂的末端在三维空间中的目标坐标点，更具体的是，第三三维坐标数据体现了机械臂末端的第二摄像设备在三维空间中能够全面地拍摄到关键拍摄对象的最佳坐标点，也为机械臂末端移动的目标坐标点。
参照图3，第一方面本申请实施例提供了一种根据第三三维坐标数据和拍摄对象数据调整第二摄像设备的方法，包括但不限于步骤S310、S320、S330。
S310，选取与拍摄对象数据相应的人工智能训练模型；
S320，根据人工智能训练模型对拍摄对象数据进行识别和提取，得到特征数据，特征数据包括颜色、尺寸、光照和形状；
S330，根据特征数据选择相应的拍摄指令，使得第二摄像设备根据拍摄指令调整摄像参数。
需要说明的是，在得到拍摄对象数据后，总控设备将针对第一目标场景图像中的拍摄对象数据，选取与拍摄对象数据相应的人工智能训练模型，并调用医疗图像专用的深度学习算法，根据人工智能训练模型对拍摄对象数据进行特征识别，并提取出关键拍摄对象的特征数据，其中特征数据包括关键拍摄对象的形状、尺寸、颜色、光照等数据。根据本申请的一个实施例，为了对关键拍摄对象进行进一步分析，本申请在得到特征数据后还将对特征数据进行存储和分析，以方便后续医疗工作的进行。
具体的是，本申请的训练模型是由大量的实际医疗数据训练得到。
而且，在得到特征数据后总控设备上的运动控制程序将实时读取存储的特征数据，并根据关键拍摄对象的特征数据选择相应的拍摄指令，通过连接线路将拍摄指令发送给第二摄像设备，使得第二摄像设备根据拍摄指令调整对焦点、亮度和颜色等相关参数，使得针对关键拍摄对象的第二目标场景图像画面清晰、曝光正确、颜色准确，使得观看者能够能直观地观察到医疗场景。
参照图4，第一方面本申请实施例还提供了一种根据第三三维坐标数据和拍摄对象数据调整第二摄像设备的方法，包括但不限于步骤S410、S420。
S410，通过反向运动学算法对第三三维坐标数据进行计算，得到机械臂需要转动的第二旋转角度数据；
S420，根据第二旋转角度数据控制机械臂转动，使得第二摄像设备到达目标位置。
根据本申请的一个实施例，在得到第三三维坐标数据后，为使得驱动设备驱动机械臂末端移动至目标坐标点，全面地拍摄到关键拍摄对象，本申请还需通过反向运动学对第三三维坐标数据进行计算，进一步计算得到驱动设备需要驱动机械臂转动的目标角度，即第二旋转角度数据，以更精准地控制机械臂末端移动到目标位置。具体的是，总控设备上的运动控制程序将第二旋转角度数据和运动控制指令通过连接线路发送到与机械臂电连接的驱动设备，每个驱动设备接收到总控设备发送的运动控制指令和第二旋转角度数据后，将根据接收到的第二旋转角度数据中指定的角度，驱动机械臂转动，使得机械臂末端的第二摄像设备的视野范围指向关键拍摄对象，得到第二目标场景图像。
可以理解的是，本申请由第二摄像设备来拍摄特定对象，即关键拍摄对象，由第一摄像设备来拍摄整体的大范围画面，通过总控设备和机械臂的处理，实现利用第一摄像设备的第一目标场景图像来对第二摄像设备的第二目标场景图像进行反馈调节的功能。而且，本申请中的机械臂和安装于机械臂上的第一摄像设备、第二摄像设备能够良好地适应于病房、手术室和实验室等医疗场景，为医疗用机电一体化设备提供升级，能够在保证完成医疗工作的前提下减少人员开销和人为干扰。
具体的是，在得到第二旋转角度数据后，驱动设备将根据接收到的第二旋转角度数据中指定的角度，驱动机械臂转动，使得机械臂末端的第二摄像设备到达目标位置，即此时第二摄像设备的视野范围指向关键拍摄对象。
更具体的是，由于总控设备的设置，本申请能够在调节摄像设备和生成直播画面这两者之间实现实时同步，当关键拍摄对象产生轻微的、观看者不易发现的变化时，总控设备能够立即感知并控制摄像设备迅速进行调整。
参照图5，第一方面本申请实施例提供了一种根据第二目标场景图像进行实时播放的方法，包括但不限于步骤S510，S520。
S510，对第二目标场景图像进行编码，得到视频流数据；
S520，发送视频流数据给云端服务器，使得云端服务器将视频流数据实时发送给客户端。
需要说明的是，为使得观看者能够实时接收到第二目标场景图像，在第二摄像设备对关键拍摄对象进行拍摄，得到第二目标场景图像后，第二摄像设备通过连接线路将第二目标场景图像发送给总控设备，使得总控设备的流媒体处理程序对第二目标场景图像进行编码，得到视频流数据，并将视频流数据推送给云端的直播服务器上，使得直播服务器实时将视频流数据发送给各客户端，进行实时直播，降低了传输的时延。具体的是，观看者可使用不同的平台，连接云端的直播服务器，对医疗工作场景进行实时观看。
可以理解的是，在本申请的目标场景直播系统运行的过程中，以上所述的“拍摄-处理- 拍摄”的反馈调节过程会以循环的方式持续进行，当关键拍摄对象相对于第二摄像设备的视野范围发生了变化，包括位置移动、角度转动或关键拍摄对象改变等情况，总控设备对第一摄像设备拍摄的第一目标场景图像进行图像处理后，会控制机械臂和第二摄像设备重新对准关键拍摄对象，实现对关键拍摄对象的自动跟随。因此，在医疗场景实时直播的过程中，不需要有额外的人员对机械臂和摄像设备进行调整，观看者也能够看到第二目标场景图像的视频画面持续对准关键拍摄对象。
第二方面，参照图6，本申请实施例提供了一种目标场景的拍摄系统，包括：
至少一个存储器200；
至少一个处理器100；
至少一个程序；
程序被存储在存储器200中，处理器100执行至少一个程序以实现：
如本申请第一方面任一项实施例的目标场景的拍摄方法。
处理器100和存储器200可以通过总线或者其他方式连接。
存储器200作为一种非暂态可读存储介质，可用于存储非暂态软件指令以及非暂态性可指令。此外，存储器200可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。可以理解的是，存储器200 可选包括相对于处理器100远程设置的存储器200，这些远程存储器200可以通过网络连接至该处理器100。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
处理器100通过运行存储在存储器200中的非暂态软件指令、指令以及信号，从而各种功能应用以及数据处理，即实现上述第一方面实施例的一种目标场景的拍摄方法。
实现上述实施例的一种目标场景的拍摄系统所需的非暂态软件指令以及指令存储在存储器200中，当被处理器100执行时，执行本申请第一方面实施例的一种目标场景的拍摄方法，例如，执行以上描述的图1中的方法步骤S110至S150、图2中的方法步骤S210至S240、图3中的方法步骤S310至S330、图4中的方法步骤S410至S420、图5中的方法步骤S510至S520。
第三方面，本申请实施例提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行信号，计算机可执行信号用于执行：
如申请第一方面任一项实施例的一种目标场景的拍摄方法。
例如执行以上描述的图1中的方法步骤S110至S150、图2中的方法步骤S210至S240、图3中的方法步骤S310至S330、图4中的方法步骤S410至S420、图5中的方法步骤S510至S520。
以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
通过以上的实施方式的描述，本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在可读介质上，可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读信号、数据结构、指令模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读信号、数据结构、指令模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
上面结合附图对本申请实施例作了详细说明，但是本申请不限于上述实施例，在所属技术领域普通技术人员所具备的知识范围内，还可以在不脱离本申请宗旨的前提下，做出各种变化。
Claims (10)
1.一种目标场景的拍摄方法，其特征在于，包括：
获取机械臂的第一旋转角度数据，并根据所述第一旋转角度数据计算得到第一三维坐标数据；
通过第一摄像设备获取第一目标场景图像，并根据所述第一目标场景图像得到拍摄对象数据，其中，所述第一摄像设备固定设于所述机械臂；
根据所述拍摄对象数据和所述第一三维坐标数据，计算得到第三三维坐标数据；
根据所述第三三维坐标数据和所述拍摄对象数据调整第二摄像设备，以得到第二目标场景图像，其中，所述第二摄像设备固定设于所述机械臂末端；
根据所述第二目标场景图像进行实时播放。
2.根据权利要求1所述的目标场景的拍摄方法，其特征在于，所述根据所述第一旋转角度数据计算得到第一三维坐标数据，包括：
通过运动学算法对所述第一旋转角度数据进行计算，得到与所述机械臂末端相对应的所述第一三维坐标数据。
3.根据权利要求1所述的目标场景的拍摄方法，其特征在于，所述根据所述第一目标场景图像得到拍摄对象数据，包括：
根据图像处理算法对所述第一目标场景图像进行分析和识别，得到所述拍摄对象数据。
4.根据权利要求3所述的目标场景的拍摄方法，其特征在于，所述根据所述第一目标场景图像得到拍摄对象数据，还包括：
获取预设的选择指令，并根据所述选择指令对所述第一目标场景图像进行选择和提取，得到所述拍摄对象数据。
5.根据权利要求1所述的目标场景的拍摄方法，其特征在于，所述根据所述拍摄对象数据和所述第一三维坐标数据，计算得到第三三维坐标数据，包括：
获取位置坐标数据；
根据立体几何算法计算与所述位置坐标数据对应的第二三维坐标数据；
计算所述第一三维坐标数据和所述第二三维坐标数据的差值，得到坐标数据差值；
根据所述坐标数据差值得到所述第三三维坐标数据，其中，所述第三三维坐标数据为所述机械臂的末端在三维空间中的目标坐标点。
6.根据权利要求1所述的目标场景的拍摄方法，其特征在于，所述根据所述第三三维坐标数据和所述拍摄对象数据调整第二摄像设备，包括：
选取与所述拍摄对象数据相应的人工智能训练模型；
根据所述人工智能训练模型对所述拍摄对象数据进行识别和提取，得到特征数据，所述特征数据包括颜色、尺寸、光照和形状；
根据所述特征数据选择相应的拍摄指令，使得所述第二摄像设备根据所述拍摄指令调整摄像参数。
7.根据权利要求6所述的目标场景的拍摄方法，其特征在于，所述根据所述第三三维坐标数据和所述拍摄对象数据调整第二摄像设备，还包括：
通过反向运动学算法对所述第三三维坐标数据进行计算，得到所述机械臂需要转动的第二旋转角度数据；
根据所述第二旋转角度数据控制所述机械臂转动，使得所述第二摄像设备到达目标位置。
8.根据权利要求1所述的目标场景的拍摄方法，其特征在于，所述根据所述第二目标场景图像进行实时播放，包括：
对所述第二目标场景图像进行编码，得到视频流数据；
发送所述视频流数据给云端服务器，使得所述云端服务器将所述视频流数据实时发送给客户端。
9.一种目标场景的拍摄系统，其特征在于，包括：
至少一个存储器；
至少一个处理器；
至少一个程序；
所述程序被存储在所述存储器中，所述处理器执行至少一个所述程序以实现如权利要求1至权利要求8任一项所述的目标场景的拍摄方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行信号，所述计算机可执行信号用于执行如权利要求1至权利要求8任一项所述的目标场景的拍摄方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211109355.5A CN115589531B (zh) | 2022-09-13 | 2022-09-13 | 目标场景的拍摄方法、系统及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211109355.5A CN115589531B (zh) | 2022-09-13 | 2022-09-13 | 目标场景的拍摄方法、系统及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115589531A true CN115589531A (zh) | 2023-01-10 |
| CN115589531B CN115589531B (zh) | 2023-10-20 |
Family
ID=84778670
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211109355.5A Active CN115589531B (zh) | 2022-09-13 | 2022-09-13 | 目标场景的拍摄方法、系统及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115589531B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118338077A (zh) * | 2024-06-13 | 2024-07-12 | 天津御锦人工智能医疗科技有限公司 | 智能医学直播方法、系统、装置及存储介质 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6364888B1 (en) * | 1996-09-09 | 2002-04-02 | Intuitive Surgical, Inc. | Alignment of master and slave in a minimally invasive surgical apparatus |
| US20130010081A1 (en) * | 2011-07-08 | 2013-01-10 | Tenney John A | Calibration and transformation of a camera system's coordinate system |
| CN203310407U (zh) * | 2013-06-07 | 2013-11-27 | 上海理工大学 | 机械臂定位精度标定装置 |
| CN106113067A (zh) * | 2016-07-18 | 2016-11-16 | 北京科技大学 | 一种基于双目视觉的双臂移动机器人系统 |
| CN107914272A (zh) * | 2017-11-20 | 2018-04-17 | 北京科技大学 | 一种七自由度机械臂组件抓取目标物体的方法 |
| CN108965690A (zh) * | 2017-05-17 | 2018-12-07 | 欧姆龙株式会社 | 图像处理系统、图像处理装置及计算机可读存储介质 |
| CN109345635A (zh) * | 2018-11-21 | 2019-02-15 | 北京迪生数字娱乐科技股份有限公司 | 无标记点虚拟现实混合表演系统 |
| US20200160555A1 (en) * | 2018-11-20 | 2020-05-21 | Carl Zeiss Industrielle Messtechnik Gmbh | Variable measuring object dependent camera setup and calibration thereof |
| CN112836558A (zh) * | 2019-11-25 | 2021-05-25 | 杭州海康机器人技术有限公司 | 机械臂末端调整方法、装置、系统、设备及介质 |
-
2022
- 2022-09-13 CN CN202211109355.5A patent/CN115589531B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6364888B1 (en) * | 1996-09-09 | 2002-04-02 | Intuitive Surgical, Inc. | Alignment of master and slave in a minimally invasive surgical apparatus |
| US20130010081A1 (en) * | 2011-07-08 | 2013-01-10 | Tenney John A | Calibration and transformation of a camera system's coordinate system |
| CN203310407U (zh) * | 2013-06-07 | 2013-11-27 | 上海理工大学 | 机械臂定位精度标定装置 |
| CN106113067A (zh) * | 2016-07-18 | 2016-11-16 | 北京科技大学 | 一种基于双目视觉的双臂移动机器人系统 |
| CN108965690A (zh) * | 2017-05-17 | 2018-12-07 | 欧姆龙株式会社 | 图像处理系统、图像处理装置及计算机可读存储介质 |
| CN107914272A (zh) * | 2017-11-20 | 2018-04-17 | 北京科技大学 | 一种七自由度机械臂组件抓取目标物体的方法 |
| US20200160555A1 (en) * | 2018-11-20 | 2020-05-21 | Carl Zeiss Industrielle Messtechnik Gmbh | Variable measuring object dependent camera setup and calibration thereof |
| CN109345635A (zh) * | 2018-11-21 | 2019-02-15 | 北京迪生数字娱乐科技股份有限公司 | 无标记点虚拟现实混合表演系统 |
| CN112836558A (zh) * | 2019-11-25 | 2021-05-25 | 杭州海康机器人技术有限公司 | 机械臂末端调整方法、装置、系统、设备及介质 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118338077A (zh) * | 2024-06-13 | 2024-07-12 | 天津御锦人工智能医疗科技有限公司 | 智能医学直播方法、系统、装置及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115589531B (zh) | 2023-10-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105744163B (zh) | 一种基于深度信息跟踪对焦的摄像机及摄像方法 | |
| JP6090786B2 (ja) | 背景差分抽出装置及び背景差分抽出方法 | |
| CN112330736B (zh) | 一种场景画面的拍摄方法、装置、电子设备及存储介质 | |
| US20140232818A1 (en) | Method and device for spherical resampling for video generation | |
| CN108600729B (zh) | 动态3d模型生成装置及影像生成方法 | |
| CN107452021A (zh) | 基于单镜头图像动态识别的摄像机自动跟踪系统及其方法 | |
| EP4116462A3 (en) | Method and apparatus of processing image, electronic device, storage medium and program product | |
| CN112207821B (zh) | 视觉机器人的目标搜寻方法及机器人 | |
| CN205827430U (zh) | 基于单镜头图像动态识别的摄像机自动跟踪系统 | |
| CN111756996A (zh) | 视频处理方法、视频处理装置、电子设备及计算机可读存储介质 | |
| CN108347505B (zh) | 具有3d成像功能的移动终端及影像生成方法 | |
| CN112040137A (zh) | 对录播中的教师进行自动跟踪拍摄的方法、装置及设备 | |
| CN115589531B (zh) | 目标场景的拍摄方法、系统及存储介质 | |
| CN108989765B (zh) | 动态跟踪自拍的三角架系统 | |
| CN111462229B (zh) | 基于无人机的目标拍摄方法、拍摄装置及无人机 | |
| CN113949814B (zh) | 一种枪球联动抓拍方法、装置、设备及介质 | |
| CN115240107A (zh) | 运动对象跟踪方法及装置、计算机可读介质和电子设备 | |
| CN108713317B (zh) | 一种图像采集装置 | |
| WO2020019201A1 (zh) | 拍摄图像的方法及移动平台 | |
| CN117333659A (zh) | 一种基于多目摄像头的多目标检测方法、系统及摄像机 | |
| CN108513122B (zh) | 基于3d成像技术的模型调整方法及模型生成装置 | |
| CN115935011A (zh) | 一种基于bim模型的镜现平台数据处理方法 | |
| CN115643491A (zh) | 视频流的播放方法和视频监控系统、存储介质及电子装置 | |
| CN216313204U (zh) | 一种移动拍摄装置 | |
| WO2020044809A1 (ja) | 情報処理装置、情報処理方法及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |