CN114401416B - 一种腔镜术中直播双向交互系统及其方法 - Google Patents

一种腔镜术中直播双向交互系统及其方法 Download PDF

Info

Publication number
CN114401416B
CN114401416B CN202210056281.7A CN202210056281A CN114401416B CN 114401416 B CN114401416 B CN 114401416B CN 202210056281 A CN202210056281 A CN 202210056281A CN 114401416 B CN114401416 B CN 114401416B
Authority
CN
China
Prior art keywords
live broadcast
intraoperative
operator
video
screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210056281.7A
Other languages
English (en)
Other versions
CN114401416A (zh
Inventor
赵洪宇
王旻
魏丽娟
刘佰纯
白东梅
丁思奇
戴新羽
刘敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jilin University
Original Assignee
Jilin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jilin University filed Critical Jilin University
Priority to CN202210056281.7A priority Critical patent/CN114401416B/zh
Publication of CN114401416A publication Critical patent/CN114401416A/zh
Application granted granted Critical
Publication of CN114401416B publication Critical patent/CN114401416B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/27—Server based end-user applications
    • H04N21/274—Storing end-user multimedia data in response to end-user request, e.g. network recorder
    • H04N21/2743—Video hosting of uploaded data from client
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4334—Recording operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/475—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data
    • H04N21/4758—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data for providing answers, e.g. voting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Biomedical Technology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Gynecology & Obstetrics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Endoscopes (AREA)

Abstract

本发明涉及医疗直播信息交互技术领域，具体涉及一种腔镜术中直播双向交互系统及其方法，包括术者直播演示端和直播观看者端，所述术者直播演示端位于手术室现场，其特征在于：所述术者直播演示端设有术中主屏幕、术中副屏幕、术中声音收集模块和头戴式术中激光标记输入模块，所述术中主屏幕和术中副屏幕之间可自动切换，所述术者直播演示端用于将术者的激光标记信号以及声音信号集成叠加到所述术中主屏幕的实时视频中和/或所述术中副屏幕的延时视频中，所述直播观看者端设有观看显示屏、观看声音收集模块、激光笔设备和鼠标设备，所述激光笔设备包括点线面写入控制模块、语音输入模块和备注输入模块。

Description

一种腔镜术中直播双向交互系统及其方法
技术领域
本发明涉及医疗直播信息交互技术领域，具体涉及一种腔镜术中直播双向交互系统及其方法。
背景技术
现有医疗腔镜术中直播互动的观看地点一般为手术室或手术演示大厅，并且一般通过手术有线直播或局域网直播，录取画面包括腔镜屏幕、术野以及手术室内实时场景，互动模式采用语音双向互动和视频单向互动，而现在手术室因无菌原则及手术人员流动管理等原因允许进入的人员越来越少，有时仅有台上的四个人，包括护士，麻醉师，手术室不会超过六至七个人，观摩学习等技术传递诉求也逐渐增多，学员、观摩者或者手术直播时，评委或者会诊专家，无法与手术台进行有效互动，仅仅依靠语音及画面单向互动，无针对手术画面达成有效双向互动，即观看者针对即时画面的观点与意见系统无法保留，术者针对问题针对即时画面的解答，无法通过有效的互动手段和方式使观摩者充分理解，难以满足术中即时问题、及时解答的互动学习需求。现在急需一种可进行屏幕共享式交互的腔镜即时双向交互影像系统，且除手术台上人外，其他观看者如学员、会诊教授、评委、专家等均可以观看，并进行即时双向互动。
发明内容
本发明要解决的技术问题是针对现有技术所存在的不足，提供一种腔镜术中直播双向交互系统及其方法。
本发明要解决的技术问题是通过以下技术方案实现的，本发明公开了一种腔镜术中直播双向交互系统，包括术者直播演示端和直播观看者端，所述术者直播演示端位于手术室现场，所述术者直播演示端设有术中主屏幕、术中副屏幕、术中声音收集模块和头戴式术中激光标记输入模块，所述术中主屏幕和术中副屏幕之间可自动切换，所述术者直播演示端用于将术者的激光标记信号以及声音信号集成叠加到所述术中主屏幕的实时视频中和/或所述术中副屏幕的延时视频中，所述直播观看者端设有观看显示屏、观看声音收集模块、激光笔设备和鼠标设备，所述激光笔设备包括点线面写入控制模块、语音输入模块和备注输入模块，所述点线面写入控制模块包括预设图形符号生成单元，所述直播观看者端用于将激光笔设备发出的激光标记信号以及声音信号集成叠加到所述观看显示屏的实时视频中，所述鼠标设备用于录播回放视频的标记，所述术者直播演示端和直播观看者端均连接有云端系统。
进一步，所述头戴式术中激光标记输入模块包括激光发射器和标记种类颜色控制发射模块，所述标记种类颜色控制发射模块通过面部运动控制以实现在所述术中主屏幕上发射所需激光标记。
进一步，所述术中主屏幕、术中副屏幕和观看显示屏的屏幕表面均设有用于对投射到屏幕表面的激光标记信号进行收集的激光捕捉输入单元，所述激光捕捉输入单元将检测信号输入到视频传输控制系统且通过相应合成算法将激光标记信号同步叠加到术中主屏幕的直播画面中。
进一步，所述术中主屏幕的画面源采用手术视像系统中原有的腔镜画面和术野画面，所述术中副屏幕的显示画面为术中主屏幕的画面叠加术者和观看者的激光标记信号的集成画面，所述术中主屏幕用于显示的近距离即时互动画面，所述术中副屏幕用于显示的远距离延时互动画面。
进一步，所述激光笔设备还包括颜色授权控制模块，所述颜色授权控制模块包括姓名预登记模块，所述颜色授权控制模块用于不同观看者的登陆授权从而根据不同的授权颜色区分不同的观看者标记符号。
一种通过上述腔镜术中直播双向交互系统进行近距离即时直播互动的方法，包括，首先，将直播观看者端设在手术室附近且直播观看者端与术者直播演示端通过视频传输线硬件连接，术者进行腔镜手术实际操作或演示，此时术中主屏幕和观看显示屏均同步显示即时视频；其次，术中观看者可通过激光笔设备和观看声音收集模块与术者进行基于屏幕内镜即时画面的沟通提问，同样，术者也可通过头戴式术中激光标记输入模块和术中声音收集模块与观看者进行基于同一屏幕内镜即时画面的沟通回答；最后，术者直播演示端和直播观看者端的同步直播交互视频直接传送到云端系统进行保存。
一种通过上述腔镜术中直播双向交互系统进行远距离延时直播互动的方法，包括，首先，将直播观看者端设在外地且直播观看者端与术者直播演示端通过互联网或移动通信远距离进行连接，术者进行腔镜手术实际操作或演示，此时术中主屏幕显示即时腔镜视频，而观看显示屏由于远距离直播视频信号传输的时间差显示延时视频，术中副屏幕显示二次延时的视频画面；其次，术中观看者可通过激光笔设备和观看声音收集模块与术者进行基于观看显示屏的一次延时画面的沟通提问，继而，术者通过头戴式术中激光标记输入模块和术中声音收集模块与观看者进行基于术中副屏幕显示的二次延时视频画面的沟通回答；最后，术者直播演示端和直播观看者端的即时和延时直播交互视频均传送到云端系统进行保存。进一步地，所述术中副屏幕可以拓展为多个，具体数量可以根据对外连接的远距离延时互动的直播观看者端的个数进行确定。
一种通过上述腔镜术中直播双向交互系统进行云端录播回放互动的方法，包括，首先，直播观看者端获取云端系统存储的历史录播交互视频，直播观看者端通过激光笔设备和观看声音收集模块对历史录播交互视频进行弹幕式批注插入操作，继而视频上传到云端系统；其次，术者由云端系统受到由直播观看者端发送的带有批注的历史录播交互视频，术者通过头戴式术中激光标记输入模块和术中声音收集模块进行基于上述视频批注的答复；最后，术者对该视频的多种弹幕观点批注的叠加进行保留和隐藏操作，继而视频上传到云端系统以备直播观看者端进行查看。
本发明与现有技术相比具有以下优点：
本发明通过即时、延时及手术腔镜视频云端双向交互，将术者与观摩者、指导者的观点进行上传并传输保存至至云端，在有线连接及局域网直播中，手术演示大厅内的观摩者及指导者可以通过观看实时腔镜画面对术中操作进行指导及提问，观摩者及指导者通过激光笔、语音接收器等对实时腔镜画面进行提问、指导，终端将激光笔定位信号与语音信号捕捉并上传，术者在术中的屏幕上可以实时接收观摩者及指导者对于术野画面点线面及语音信号，与术者进行即时语音加视频双向交互。同时，术者术中实时了解到观摩者及指导者需求后，可以通过头戴式光学交互发射器在腔镜视野内针对提问、指导等给予语音及腔镜视野内点线面激光定位信号回馈，从而实现观摩者、指导者在手术演示大厅与术者术中即时视频与语音双向交互，术者与观摩者、指导者可即时通过腔镜画面进行高效交互；同理于即时交互，术中延时及腔镜手术视频云端交互可将观摩者、指导者及共同观看者对于腔镜视频操作步骤等内容进行延时或云端交互，术者或腔镜视频发布者可查看到来自不同观看者的对于腔镜过程中点线面及语音的观点及意见，同样术者或腔镜视频发布者可以针对以上针对点线面基语音的观点及意见给予回复并解答。
附图说明
图1是本发明的整体结构原理示意框图；
具体实施方式
如图1所示，本发明所公开的一种腔镜术中直播双向交互系统，包括术者直播演示端和直播观看者端，所述术者直播演示端位于手术室现场，所述术者直播演示端设有术中主屏幕、术中副屏幕、术中声音收集模块和头戴式术中激光标记输入模块，具体地，头戴式术中激光标记输入模块包括激光发射器和标记种类颜色控制发射模块，所述标记种类颜色控制发射模块通过面部运动控制以实现在所述术中主屏幕上发射所需激光标记，所述术中主屏幕和术中副屏幕之间可自动切换，所述术者直播演示端用于将术者的激光标记信号以及声音信号集成叠加到所述术中主屏幕的实时视频中和/或所述术中副屏幕的延时视频中，所述直播观看者端设有观看显示屏、观看声音收集模块、激光笔设备和鼠标设备，所述激光笔设备包括点线面写入控制模块、语音输入模块和备注输入模块，所述激光笔设备还包括颜色授权控制模块，所述颜色授权控制模块包括姓名预登记模块，所述颜色授权控制模块用于不同观看者的登陆授权从而根据不同的授权颜色区分不同的观看者标记符号，所述点线面写入控制模块包括预设图形符号生成单元，所述直播观看者端用于将激光笔设备发出的激光标记信号以及声音信号集成叠加到所述观看显示屏的实时视频中，所述鼠标设备用于录播回放视频的标记，所述术者直播演示端和直播观看者端均连接有云端系统。所述术中主屏幕、术中副屏幕和观看显示屏的屏幕表面均设有用于对投射到屏幕表面的激光标记信号进行收集的激光捕捉输入单元，所述激光捕捉输入单元将检测信号输入到视频传输控制系统且通过相应合成算法将激光标记信号同步叠加到术中主屏幕的直播画面中。所述术中主屏幕的画面源采用手术视像系统中原有的腔镜画面和术野画面，所述术中副屏幕的显示画面为术中主屏幕的画面叠加术者和观看者的激光标记信号的集成画面，所述术中主屏幕用于显示的近距离即时互动画面，所述术中副屏幕用于显示的远距离延时互动画面。
具体地可利用上述系统实现三种典型的腔镜术中直播交互方式：
对应于第一种使用场景的通过上述腔镜术中直播双向交互系统进行近距离即时直播互动的方法，首先，将直播观看者端设在手术室附近且直播观看者端与术者直播演示端通过视频传输线硬件连接，术者进行腔镜手术实际操作或演示，此时术中主屏幕和观看显示屏均同步显示即时视频；其次，术中观看者可通过激光笔设备和观看声音收集模块与术者进行基于屏幕内镜即时画面的沟通提问，同样，术者也可通过头戴式术中激光标记输入模块和术中声音收集模块与观看者进行基于同一屏幕内镜即时画面的沟通回答；最后，术者直播演示端和直播观看者端的同步直播交互视频直接传送到云端系统进行保存。
对应于第二种使用场景的通过上述腔镜术中直播双向交互系统进行远距离延时直播互动的方法，首先，将直播观看者端设在外地且直播观看者端与术者直播演示端通过互联网或移动通信远距离进行连接，术者进行腔镜手术实际操作或演示，此时术中主屏幕显示即时腔镜视频，而观看显示屏由于远距离直播视频信号传输的时间差显示延时视频，术中副屏幕显示二次延时的视频画面；其次，术中观看者可通过激光笔设备和观看声音收集模块与术者进行基于观看显示屏的一次延时画面的沟通提问，继而，术者通过头戴式术中激光标记输入模块和术中声音收集模块与观看者进行基于术中副屏幕显示的二次延时视频画面的沟通回答；最后，术者直播演示端和直播观看者端的即时和延时直播交互视频均传送到云端系统进行保存。进一步地，所述术中副屏幕可以拓展为多个，具体数量可以根据对外连接的远距离延时互动的直播观看者端的个数进行确定。
对应于第三种使用场景的通过上述腔镜术中直播双向交互系统进行云端录播回放互动的方法，首先，直播观看者端获取云端系统存储的历史录播交互视频，直播观看者端通过激光笔设备和观看声音收集模块对历史录播交互视频进行弹幕式批注插入操作，继而视频上传到云端系统；其次，术者由云端系统受到由直播观看者端发送的带有批注的历史录播交互视频，术者通过头戴式术中激光标记输入模块和术中声音收集模块进行基于上述视频批注的答复，术中声音收集模块主要用于术中即时与延时交互；而第三种场景，主要为术者坐在电脑旁对批注的手术视频进行答复，可以改为电脑的鼠标、声音收集模块进行视频模式的交互；最后，术者对该视频的多种弹幕观点批注的叠加进行保留和隐藏操作，继而视频上传到云端系统以备直播观看者端进行查看。
对于激光捕捉方式，下面分不同的应用情景进行进一步地说明：即时方式：针对观看屏幕及术中屏幕分辨率，屏幕比率的不同，术者及观看屏幕具有捕捉激光笔及头戴式激光发射器的激光投射信号能力，并将信号与视频进行合成，或实施干预不进行合成，观看屏幕将激光信号在屏幕分辨率及尺寸差别下进行信号转码，可使观看者在激光目标放在胆囊颈上时，术中主、副屏幕显示的即时或延时互动画面其投射目标也在胆囊颈同一解剖位置，类似于应用多屏幕共享其画面位置且具有统一的画面坐标系统一参数设置。延时及云端交互方式：将激光笔在不同尺寸、分辨率的信号输入前提下，标准化后与视频信号合成或与视频合成后进行标准化后转码，最终目的是术者及观摩者可以看到不失真实术中腔镜术野画面。另外需要说明的是，术中、延时、云端交互其语音输入及传输，其合成模式相同。本发明技术中的激光信号与即时、延时、云端视频的坐标系标准化、分辨率及位置标准化参数设置具有显著的技术进步性。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换及改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种腔镜术中直播双向交互系统，包括术者直播演示端和直播观看者端，所述术者直播演示端位于手术室现场，其特征在于：所述术者直播演示端设有术中主屏幕、术中副屏幕、术中声音收集模块和头戴式术中激光标记输入模块，所述术中主屏幕和术中副屏幕之间可自动切换，所述术中主屏幕的画面源采用手术视像系统中原有的腔镜画面和术野画面，所述术中副屏幕的显示画面为术中主屏幕的画面叠加术者和观看者的激光标记信号的集成画面，所述术中主屏幕用于显示的近距离即时互动画面，所述术中副屏幕用于显示的远距离延时互动画面，所述术者直播演示端用于将术者的激光标记信号以及声音信号集成叠加到所述术中主屏幕的实时视频中和/或所述术中副屏幕的延时视频中，所述直播观看者端设有观看显示屏、观看声音收集模块、激光笔设备和鼠标设备，所述激光笔设备包括点线面写入控制模块、语音输入模块和备注输入模块，所述激光笔设备还包括颜色授权控制模块，所述颜色授权控制模块包括姓名预登记模块，所述颜色授权控制模块用于不同观看者的登陆授权从而根据不同的授权颜色区分不同的观看者标记符号，所述点线面写入控制模块包括预设图形符号生成单元，所述直播观看者端用于将激光笔设备发出的激光标记信号以及声音信号集成叠加到所述观看显示屏的实时视频中，所述鼠标设备用于录播回放视频的标记，所述术者直播演示端和直播观看者端均连接有云端系统。
2.根据权利要求1所述的一种腔镜术中直播双向交互系统，其特征在于：所述头戴式术中激光标记输入模块包括激光发射器和标记种类颜色控制发射模块，所述标记种类颜色控制发射模块通过面部运动控制以实现在所述术中主屏幕上发射所需激光标记。
3.根据权利要求1所述的一种腔镜术中直播双向交互系统，其特征在于：所述术中主屏幕、术中副屏幕和观看显示屏的屏幕表面均设有用于对投射到屏幕表面的激光标记信号进行收集的激光捕捉输入单元，所述激光捕捉输入单元将检测信号输入到视频传输控制系统且通过相应合成算法将激光标记信号同步叠加到术中主屏幕的直播画面中。
4.一种通过如权利要求1所述的腔镜术中直播双向交互系统进行近距离即时直播互动的方法，其特征在于：
首先，将直播观看者端设在手术室附近且直播观看者端与术者直播演示端通过视频传输线硬件连接，术者进行腔镜手术实际操作或演示，此时术中主屏幕和观看显示屏均同步显示即时视频；
其次，术中观看者可通过激光笔设备和观看声音收集模块与术者进行基于屏幕内镜即时画面的沟通提问，同样，术者也可通过头戴式术中激光标记输入模块和术中声音收集模块与观看者进行基于同一屏幕内镜即时画面的沟通回答；
最后，术者直播演示端和直播观看者端的同步直播交互视频直接传送到云端系统进行保存。
5.一种通过如权利要求1所述的腔镜术中直播双向交互系统进行远距离延时直播互动的方法，其特征在于：
首先，将直播观看者端设在外地且直播观看者端与术者直播演示端通过互联网或移动通信远距离进行连接，术者进行腔镜手术实际操作或演示，此时术中主屏幕显示即时腔镜视频，而观看显示屏由于远距离直播视频信号传输的时间差显示延时视频，术中副屏幕显示二次延时的视频画面；
其次，术中观看者可通过激光笔设备和观看声音收集模块与术者进行基于观看显示屏的一次延时画面的沟通提问，继而，术者通过头戴式术中激光标记输入模块和术中声音收集模块与观看者进行基于术中副屏幕显示的二次延时视频画面的沟通回答；
最后，术者直播演示端和直播观看者端的即时和延时直播交互视频均传送到云端系统进行保存。
6.根据权利要求5所述的直播互动方法，其特征在于：所述术中副屏幕可以拓展为多个，具体数量可以根据对外连接的远距离延时互动的直播观看者端的个数进行确定。
7.一种通过如权利要求1所述的腔镜术中直播双向交互系统进行云端录播回放互动的方法，其特征在于：
首先，直播观看者端获取云端系统存储的历史录播交互视频，直播观看者端通过激光笔设备和观看声音收集模块对历史录播交互视频进行弹幕式批注插入操作，继而视频上传到云端系统；
其次，术者由云端系统受到由直播观看者端发送的带有批注的历史录播交互视频，术者通过头戴式术中激光标记输入模块和术中声音收集模块进行基于上述视频的批注的答复；
最后，术者对该视频的多种弹幕观点批注的叠加进行保留和隐藏操作，继而视频上传到云端系统以备直播观看者端进行查看。
CN202210056281.7A 2022-01-18 2022-01-18 一种腔镜术中直播双向交互系统及其方法 Active CN114401416B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210056281.7A CN114401416B (zh) 2022-01-18 2022-01-18 一种腔镜术中直播双向交互系统及其方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210056281.7A CN114401416B (zh) 2022-01-18 2022-01-18 一种腔镜术中直播双向交互系统及其方法

Publications (2)

Publication Number Publication Date
CN114401416A CN114401416A (zh) 2022-04-26
CN114401416B true CN114401416B (zh) 2023-06-30

Family

ID=81230825

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210056281.7A Active CN114401416B (zh) 2022-01-18 2022-01-18 一种腔镜术中直播双向交互系统及其方法

Country Status (1)

Country Link
CN (1) CN114401416B (zh)

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101256457A (zh) * 2008-03-10 2008-09-03 清华大学 带用户身份标识的无线控制激光笔及多用户光点识别系统
CN202077141U (zh) * 2011-05-17 2011-12-14 郭荣玉 数字化监控网络应用系统
CN104076949A (zh) * 2013-03-29 2014-10-01 华为技术有限公司 一种激光笔光束同步方法及相关设备、系统
WO2015166573A1 (ja) * 2014-05-01 2015-11-05 貴弘 市橋 ライブ放送システム
CN105959719A (zh) * 2016-06-27 2016-09-21 徐文波 一种视频直播方法、装置和系统
CN107224332A (zh) * 2017-06-02 2017-10-03 青岛大学附属医院 数字化手术室自动控制系统
CN208938403U (zh) * 2018-08-21 2019-06-04 南京楚思客科技有限公司 一种亮度可调的无线彩色激光翻页笔
CN111445736A (zh) * 2020-04-01 2020-07-24 吉林大学 腔镜示教用头戴式术中光学交互系统
CN111629220A (zh) * 2020-04-28 2020-09-04 南京新广云信息科技有限公司 一种远程医疗的快速回放对比系统和方法
CN112235595A (zh) * 2020-11-04 2021-01-15 无锡蓝软智能医疗科技有限公司 基于混合现实技术的手术场景动态呈现方法、系统及介质
CN112462994A (zh) * 2020-12-02 2021-03-09 广州朗国电子科技有限公司 多个飞鼠光标不同颜色显示方法、装置、存储介质及终端
CN113448475A (zh) * 2021-06-30 2021-09-28 广州博冠信息科技有限公司 虚拟直播间的交互控制方法、装置、存储介质与电子设备
CN214959711U (zh) * 2021-06-29 2021-11-30 沈阳爱视游网络科技有限公司 一种轻量化多平台互动视频直播云播控系统
WO2022003729A1 (en) * 2020-07-02 2022-01-06 Cnr Medimentor Private Limited System and method for telestrating the operative procedures

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7113169B2 (en) * 2002-03-18 2006-09-26 The United States Of America As Represented By The Secretary Of The Air Force Apparatus and method for a multiple-user interface to interactive information displays
US10726822B2 (en) * 2004-09-27 2020-07-28 Soundstreak, Llc Method and apparatus for remote digital content monitoring and management
CN103325400B (zh) * 2013-05-17 2016-02-17 北京中科大洋信息技术有限公司 一种手术影像录播示教系统和方法
CN204425527U (zh) * 2015-03-24 2015-06-24 深圳市威视爱普科技开发有限公司 一种低成本手术室录播示教双向系统
PL241337B1 (pl) * 2015-04-14 2022-09-12 Medinice Spolka Akcyjna Sposób monitorowania i kontrolowania parametrów pacjenta oraz przekazywania informacji medycznych oraz system do realizacji tego sposobu
CN209748700U (zh) * 2016-10-20 2019-12-06 中国石油化工股份有限公司 一种异地视频会议系统
CN213241115U (zh) * 2020-10-30 2021-05-18 深圳齐心好视通云计算有限公司 触控显示屏调整电路和视频会议装置
CN113225575B (zh) * 2021-04-29 2022-03-11 读书郎教育科技有限公司 一种智慧课堂答疑交互的系统及方法

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101256457A (zh) * 2008-03-10 2008-09-03 清华大学 带用户身份标识的无线控制激光笔及多用户光点识别系统
CN202077141U (zh) * 2011-05-17 2011-12-14 郭荣玉 数字化监控网络应用系统
CN104076949A (zh) * 2013-03-29 2014-10-01 华为技术有限公司 一种激光笔光束同步方法及相关设备、系统
WO2015166573A1 (ja) * 2014-05-01 2015-11-05 貴弘 市橋 ライブ放送システム
CN105959719A (zh) * 2016-06-27 2016-09-21 徐文波 一种视频直播方法、装置和系统
CN107224332A (zh) * 2017-06-02 2017-10-03 青岛大学附属医院 数字化手术室自动控制系统
CN208938403U (zh) * 2018-08-21 2019-06-04 南京楚思客科技有限公司 一种亮度可调的无线彩色激光翻页笔
CN111445736A (zh) * 2020-04-01 2020-07-24 吉林大学 腔镜示教用头戴式术中光学交互系统
CN111629220A (zh) * 2020-04-28 2020-09-04 南京新广云信息科技有限公司 一种远程医疗的快速回放对比系统和方法
WO2022003729A1 (en) * 2020-07-02 2022-01-06 Cnr Medimentor Private Limited System and method for telestrating the operative procedures
CN112235595A (zh) * 2020-11-04 2021-01-15 无锡蓝软智能医疗科技有限公司 基于混合现实技术的手术场景动态呈现方法、系统及介质
CN112462994A (zh) * 2020-12-02 2021-03-09 广州朗国电子科技有限公司 多个飞鼠光标不同颜色显示方法、装置、存储介质及终端
CN214959711U (zh) * 2021-06-29 2021-11-30 沈阳爱视游网络科技有限公司 一种轻量化多平台互动视频直播云播控系统
CN113448475A (zh) * 2021-06-30 2021-09-28 广州博冠信息科技有限公司 虚拟直播间的交互控制方法、装置、存储介质与电子设备

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
"Reality Surgery" — A Research Ethics Perspective on the Live Broadcast of Surgical Procedures;Judson B.Williams MD.等;《journal of surgical education》;全文 *
传统教学与网络教学相结合的授课方法在外科学中的应用;王旻;《中国实验诊断学》;全文 *
腔镜手术演示在大型会议中的直播实践;蒋国斌;;中国医学装备(12);全文 *

Also Published As

Publication number Publication date
CN114401416A (zh) 2022-04-26

Similar Documents

Publication Publication Date Title
KR102308443B1 (ko) 스마트 첨단 강의 및 녹화 시스템
Rafiq et al. Digital video capture and synchronous consultation in open surgery
CN110349456B (zh) 互动课堂的智能控制系统、远程控制终端及教室终端
JP2011528570A5 (zh)
CN207460391U (zh) 具有摄像功能的投影设备
WO2014033729A2 (en) A system, method, and platform, for embedding video feeds captured during a surgery, with multimedia data, in real-time
WO2019124111A1 (ja) 制御装置および制御方法
CN111641796A (zh) 一种用于远程手术指导和示教的系统及方法
JP2007158680A (ja) 追尾撮像装置およびこれを利用した追尾撮像システム
JP2018087950A (ja) プロジェクションシステム、及び、プロジェクションシステムの制御方法
KR100901111B1 (ko) 삼차원 가상 공간 콘텐츠를 이용한 영상제공시스템
CN114401416B (zh) 一种腔镜术中直播双向交互系统及其方法
CN207397518U (zh) 无线移动实物投影系统
CN113301367B (zh) 音视频处理方法、设备、系统及存储介质
CN112558761A (zh) 一种面向移动端的远程虚拟现实交互系统及交互方法
WO2005074303A1 (en) Stereoscopic projection-based display for surgical robot
CN111131854A (zh) 一种医疗示教主机及系统
KR101776839B1 (ko) 휴대용 강의저장 및 방송 시스템
Russell et al. Laparoscopic telescope with alpha port and aesop to view open surgical procedures
CN113259544B (zh) 一种远程互动全息演示系统及方法
CN216017008U (zh) 一种基于手术室的数据传输系统
CN113315885B (zh) 一种用于远程互动的全息演播室及系统
KR100276433B1 (ko) 증강 현실을 이용한 관광 망원경 시스템 및 그 운용방법
CN114979777A (zh) 超高清视频信号处理设备、方法以及超高清视频管理系统
CN208112777U (zh) 一种基于同步记录的幕课系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant