CN113392674A - 一种用于调控显微视频信息的方法与设备 - Google Patents
一种用于调控显微视频信息的方法与设备 Download PDFInfo
- Publication number
- CN113392674A CN113392674A CN202010171382.XA CN202010171382A CN113392674A CN 113392674 A CN113392674 A CN 113392674A CN 202010171382 A CN202010171382 A CN 202010171382A CN 113392674 A CN113392674 A CN 113392674A
- Authority
- CN
- China
- Prior art keywords
- information
- target
- microscopic
- video
- video frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
本申请的目的是提供一种用于调控显微视频信息的方法与设备,具体包括:通过显示装置呈现关于目标试样的显微视频信息,其中,所述显微视频信息包括关于所述目标试样的多个显微图像信息,每个显微图像信息由所述目标试样的多个子区域对应的显微子图像序列确定;根据目标特征信息识别所述显微视频信息包含所述目标特征信息的目标视频帧;对包含所述目标视频帧的所述显微视频信息执行对应的调控操作。本申请通过在呈现目标试样的高显微视频信息同时识别包含目标特征信息的目标视频帧,识别范围广,识别速度快且准确率高,提升用户使用体验。
Description
技术领域
本申请涉及显微图像处理领域,尤其涉及一种用于调控显微视频信息的技术。
背景技术
显微光学成像,通常也称"光学显微成像",或"光学显微术"(OpticalMicroscopy,或Light Microscopy),是指透过样品或从样品反射回来的可见光,通过一个或多个透镜后,能够得到微小样品的放大图像的技术。所得图像可以通过目镜直接用眼睛观察,也可以用感光板或数字化图像探测器如CCD、CMOS进行记录,还可以在计算机上进行显示和分析处理。当然,通过与摄像装置相结合,还可以录制关于样品在视野范围内的视频等。但是,显微镜能够观察到的视野范围有限,当观察的样品大小超出当前视野范围时,同时仅能观察当前视野下的样品状况,且对于观察到的当前视野中的样品状况,是否包含研究人员关注的特征,肉眼观察效率低且容易出现错漏等。
发明内容
本申请的一个目的是提供一种用于调控显微视频信息的方法。
根据本申请的一个方面,提供了一种用于调控显微视频信息的方法,该方法包括:
通过显示装置呈现关于目标试样的显微视频信息,其中,所述显微视频信息包括关于所述目标试样的多个显微图像信息,每个显微图像信息由所述目标试样的多个子区域对应的显微子图像序列确定;
根据目标特征信息识别所述显微视频信息包含所述目标特征信息的目标视频帧;
对包含所述目标视频帧的所述显微视频信息执行对应的调控操作。
根据本申请的另一个方面,提供了一种用于调控显微视频信息的方法,应用于网络设备,该方法包括:
接收对应用户设备发送的、关于目标试样的显微视频请求,其中,所述显微视频请求包括所述目标试样的标识信息;
根据所述目标试样的标识信息确定对应的显微视频信息,其中,所述显微视频信息包括关于所述目标试样的多个显微图像信息,每个显微图像信息由所述目标试样的多个子区域对应的显微子图像序列确定;
将所述显微视频信息返回至所述用户设备。
根据本申请的另一个方面,提供了一种用于调控显微视频信息的方法,应用于用户设备,该方法包括:
向对应网络设备发送关于目标试样的显微视频请求,其中,所述显微视频请求包括所述目标试样的标识信息及目标特征信息的标识信息;
接收所述网络设备返回的包含目标视频帧的显微视频信息,其中,所述显微视频信息包括关于所述目标试样的多个显微图像信息,每个显微图像信息由所述目标试样的多个子区域对应的显微子图像序列确定,所述目标视频帧中包含所述目标特征信息;
通过显示装置呈现所述显微视频信息,并对所述显微视频信息执行对应的调控操作。
根据本申请的一个方面,提供了一种用于调控显微视频信息的方法,其中,该方法包括:
所述用户设备向对应网络设备发送关于显微视频请求,其中,所述显微视频请求包括所述目标试样的标识信息;
所述网络设备接收对应用户设备发送的、关于目标试样的显微视频请求,其中,所述显微视频请求包括所述目标试样的标识信息;
所述网络设备根据所述目标试样的标识信息确定对应的显微视频信息;
所述网络设备将所述显微视频信息返回至所述用户设备;
所述用户设备接收所述网络设备返回的显微视频信息,其中,所述显微视频信息与所述目标试样的标识信息相对应;
所述用户设备通过显示装置呈现关于目标试样的显微视频信息,其中,所述显微视频信息包括关于所述目标试样的多个显微图像信息,每个显微图像信息由所述目标试样的多个子区域对应的显微子图像序列确定;
所述用户设备根据目标特征信息识别所述显微视频信息包含所述目标特征信息的目标视频帧,并对包含所述目标视频帧的所述显微视频信息执行对应的调控操作。
根据本申请的另一个方面,提供了一种用于调控显微视频信息的方法,其中,该方法包括:
所述用户设备向对应网络设备发送关于目标试样的显微视频请求,其中,所述显微视频请求包括所述目标试样的标识信息及目标特征信息的标识信息;
所述网络设备接收所述用户设备发送的、关于目标试样的显微视频请求,其中,所述显微视频请求包括所述目标试样的标识信息;
所述网络设备根据所述目标试样的标识信息确定对应的显微视频信息,其中,所述显微视频信息包括关于所述目标试样的多个显微图像信息,每个显微图像信息由所述目标试样的多个子区域对应的显微子图像序列确定;
所述网络设备将所述显微视频信息返回至所述用户设备;
所述用户设备接收所述网络设备返回的包含目标视频帧的显微视频信息,其中,所述显微视频信息包括关于所述目标试样的多个显微图像信息,每个显微图像信息由所述目标试样的多个子区域对应的显微子图像序列确定,所述目标视频帧中包含所述目标特征信息;
所述用户设备通过显示装置呈现所述显微视频信息,并对所述显微视频信息执行对应的调控操作。
根据本申请的一个方面,提供了一种用于调控显微视频信息的设备,该设备包括:
一一模块,用于通过显示装置呈现关于目标试样的显微视频信息,其中,所述显微视频信息包括关于所述目标试样的多个显微图像信息,每个显微图像信息由所述目标试样的多个子区域对应的显微子图像序列确定;
一二模块,用于根据目标特征信息识别所述显微视频信息包含所述目标特征信息的目标视频帧;
一三模块,用于对包含所述目标视频帧的所述显微视频信息执行对应的调控操作。
根据本申请的另一个方面,提供了一种用于调控显微视频信息的网络设备,该设备包括:
二一模块,用于接收对应用户设备发送的、关于目标试样的显微视频请求,其中,所述显微视频请求包括所述目标试样的标识信息;
二二模块,用于根据所述目标试样的标识信息确定对应的显微视频信息,其中,所述显微视频信息包括关于所述目标试样的多个显微图像信息,每个显微图像信息由所述目标试样的多个子区域对应的显微子图像序列确定;
二三模块,用于将所述显微视频信息返回至所述用户设备。
根据本申请的另一个方面,提供了一种用于调控显微视频信息的用户设备,该设备包括:
三一模块,用于向对应网络设备发送关于目标试样的显微视频请求,其中,所述显微视频请求包括所述目标试样的标识信息及目标特征信息的标识信息;
三二模块,用于接收所述网络设备返回的包含目标视频帧的显微视频信息,其中,所述显微视频信息包括关于所述目标试样的多个显微图像信息,每个显微图像信息由所述目标试样的多个子区域对应的显微子图像序列确定,所述目标视频帧中包含所述目标特征信息;
三三模块,用于通过显示装置呈现所述显微视频信息,并对所述显微视频信息执行对应的调控操作。
根据本申请的一个方面,提供了一种用于调控显微视频信息的设备,该设备包括:
处理器;以及
被安排成存储计算机可执行指令的存储器,所述可执行指令在被执行时使所述处理器执行如上所述任一方法的操作。
根据本申请的一个方面,提供了一种存储指令的计算机可读介质,所述指令在被执行时使得系统进行如上所述任一方法的操作。
与现有技术相比,本申请通过显示装置呈现关于目标试样的显微视频信息,其中,所述显微视频信息包括关于所述目标试样的多个显微图像信息,每个显微图像信息由所述目标试样的多个子区域对应的显微子图像序列确定,根据目标特征信息识别所述显微视频信息包含所述目标特征信息的目标视频帧,并对包含所述目标视频帧的所述显微视频信息执行对应的调控操作。本申请通过在呈现目标试样的高显微视频信息同时识别包含目标特征信息的目标视频帧,识别范围广,识别速度快且准确率高,且识别后对视频进行相应调控操作,能够使用户聚焦于目标视频帧,提高用户观看显微视频信息的效率,能够快速精准实现用户在显微视频的感兴趣目标的查找或匹配,提升用户使用体验。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本申请的其它特征、目的和优点将会变得更明显:
图1示出根据本申请一个实施例的一种用于调控显微视频信息的方法流程图;
图2示出根据本申请一个实施例的一种用于调控显微视频信息的系统方法流程图;
图3示出根据本申请一个实施例的一种用于调控显微视频信息的方法流程图;
图4示出根据本申请另一个实施例的一种用于调控显微视频信息的系统方法流程图;
图5示出根据本申请一个实施例的一种用于调控显微视频信息的方法流程图;
图6示出根据本申请一个实施例的一种设备的功能模块;
图7示出根据本申请另一个实施例的一种网络设备的功能模块;
图8示出根据本申请另一个实施例的一种用户设备的功能模块;
图9示出可被用于实施本申请中所述的各个实施例的示例性系统。
附图中相同或相似的附图标记代表相同或相似的部件。
具体实施方式
下面结合附图对本申请作进一步详细描述。
在本申请一个典型的配置中,终端、服务网络的设备和可信方均包括一个或多个处理器(例如,中央处理器(Central Processing Unit,CPU))、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RandomAccess Memory,RAM)和/或非易失性内存等形式,如只读存储器(Read Only Memory,ROM)或闪存(Flash Memory)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(Phase-Change Memory,PCM)、可编程随机存取存储器(Programmable Random Access Memory,PRAM)、静态随机存取存储器(Static Random-Access Memory,SRAM)、动态随机存取存储器(Dynamic Random AccessMemory,DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(Electrically-Erasable Programmable Read-Only Memory,EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(Compact Disc Read-Only Memory,CD-ROM)、数字多功能光盘(Digital Versatile Disc,DVD)或其他光学存储、磁盒式磁带,磁带磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。
本申请所指设备包括但不限于用户设备、网络设备、或用户设备与网络设备通过网络相集成所构成的设备。所述用户设备包括但不限于任何一种可与用户进行人机交互(例如通过触摸板进行人机交互)的移动电子产品,例如智能手机、平板电脑等,所述移动电子产品可以采用任意操作系统,如Android操作系统、iOS操作系统等。其中,所述网络设备包括一种能够按照事先设定或存储的指令,自动进行数值计算和信息处理的电子设备,其硬件包括但不限于微处理器、专用集成电路(Application Specific IntegratedCircuit,ASIC)、可编程逻辑器件(Programmable Logic Device,PLD)、现场可编程门阵列(Field Programmable Gate Array,FPGA)、数字信号处理器(Digital Signal Processor,DSP)、嵌入式设备等。所述网络设备包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云;在此,云由基于云计算(Cloud Computing)的大量计算机或网络服务器构成,其中,云计算是分布式计算的一种,由一群松散耦合的计算机集组成的一个虚拟超级计算机。所述网络包括但不限于互联网、广域网、城域网、局域网、VPN网络、无线自组织网络(Ad Hoc网络)等。优选地,所述设备还可以是运行于所述用户设备、网络设备、或用户设备与网络设备、网络设备、触摸终端或网络设备与触摸终端通过网络相集成所构成的设备上的程序。
当然,本领域技术人员应能理解上述设备仅为举例,其他现有的或今后可能出现的设备如可适用于本申请,也应包含在本申请保护范围以内,并在此以引用方式包含于此。
在本申请的描述中,“多个”的含义是两个或者更多,除非另有明确具体的限定。
图1示出了根据本申请一个方面的一种用于调控显微视频信息的方法,该方法包括步骤S101、步骤S102以及步骤S103。在步骤S101中,计算设备通过显示装置呈现关于目标试样的显微视频信息,其中,所述显微视频信息包括关于所述目标试样的多个显微图像信息,每个显微图像信息由所述目标试样的多个子区域对应的显微子图像序列确定;在步骤S102中,计算设备根据目标特征信息识别所述显微视频信息包含所述目标特征信息的目标视频帧;在步骤S103中,计算设备对包含所述目标视频帧的所述显微视频信息执行对应的调控操作。在此,所述方法可应用于计算设备,所述计算设备包括但不限于用户设备、网络设备、或用户设备与网络设备通过网络相集成所构成的设备,所述用户设备包括但不限于任何一种可与用户进行人机交互(例如通过触摸板进行人机交互)的终端,所述网络设备包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云端。
具体而言,在步骤S101中,计算设备通过显示装置呈现关于目标试样的显微视频信息,其中,所述显微视频信息包括关于所述目标试样的多个显微图像信息,每个显微图像信息由所述目标试样的多个子区域对应的显微子图像序列确定。例如,显微视频信息包括由子区域的多个显微图像信息按照对应显微参数序列排序及特定视频参数生成的显微视频信息,其中,对应显微参数序列包括由同一显微参数的不同赋值按照特定顺序(如参数值变化规律等)排列组成,其中,所述显微参数包括但不限于:拍摄时间信息;焦面高度信息;旋转角度信息;俯仰角度信息;偏航角度信息;照明灯光亮度信息;照明灯光颜色信息;温度信息;湿度信息;PH值信息;荧光波段信息;偏振光角度信息;DIC旋转角信息。例如,显微参数信息包括目标试样所处的显微系统中可用于连续渐变的自变量参数,该参数的赋值可以一个具体的数值,或者是一个区间,如[T-t0,T+t0]对应的区间等。所述显微视频信息根据显微图像信息的维度信息不同生成的视频信息也不同,例如,所述显微图像信息包括二维显微图像信息和/或三维显微图像信息,其对应的显微视频信息包括二维显微视频信息和/或三维显微视频信息,其中,显微图像信息由目标试样的多个子区域的显微子图像序列确定,例如,根据各个子区域拍摄的多个拍摄子图像组成的显微子图像序列,生成各个子区域对应的显微子图像信息,并基于多个子区域的显微子图像信息进行图像融合确定目标试样的显微图像信息;或者,直接根据各子区域的显微子图像序列,取各拍摄子图像信息中比较清晰的部分进行图像融合确定目标试样的整体的显微图像信息。如在一些实施方式中,所述显微视频信息包括但不限于:二维显微视频信息;三维显微视频信息。其中,二维图像信息可以是通过在高清晰度的摄像装置(如CCD摄像机等)配合显微镜的光学镜头,采集关于目标试样或者目标试样的子区域的拍摄子图像,还可以是根据子区域的多个拍摄子图像的各拍摄子图像的景深中较清晰的部分合成的子区域整体较清晰的二维显微子图像信息;所述二维显微子视频信息是根据所述子区域的二维拍摄图像序列生成。三维图像信息是根据子区域的多个拍摄子图像的各拍摄子图像的景深中较清晰的部分及各像素点的高度信息生成的子区域的整体较清晰的三维显微子图像信息,并根据各个子区域的三维显微子图像信息进行图像融合获取对应的目标试样整体的三维显微图像信息。
在步骤S102中,计算设备根据目标特征信息识别所述显微视频信息包含所述目标特征信息的目标视频帧。例如,目标特征信息包括目标模板对应的特征点的位置信息或者特征点位置之间的关联关系等,该目标特征信息是基于用户的输入信息(如选中操作、输入关键字段等)确定的,基于对应的目标特征信息,对显微视频信息中每一帧视频帧通过计算机视觉算法进行图像识别,确定显微视频信息中包含目标特征信息的目标视频帧。或者,计算设备利用人工智能算法对显微视频信息中的目标特征信息进行识别,如在一些实施方式中,在步骤S102中,计算设备利用目标特征信息相关的训练样本进行模型训练建立对应的深度学习模型,并将所述显微视频信息输入所述深度学习模型,识别包含所述目标特征信息的目标视频帧。例如,计算设备建立人工智能算法对应的深度学习模型,基于该深度学习模型对显微视频信息中包含目标特征信息的视频帧进行识别,如计算设备利用目标特征信息相关的训练样本(如从网络上抓取的、用户输入或者接收其他设备发送的相关图像等),基于对应训练样本进行训练,从而建立目标特征信息对应的深度学习模型,随后,将显微视频信息输入该深度学习模型,识别该显微视频信息中包含目标特征信息的视频帧等。
在步骤S103中,计算设备对包含所述目标视频帧的所述显微视频信息执行对应的调控操作。例如,计算设备根据目标特征信息的显微视频信息执行一定的调控,使用户能够快速获取到目标特征信息相关的目标视频帧等,提高用户观看显微视频信息的效率等。在一些实施方式中,所述调控操作包括但不限于:标记所述目标视频帧;在所述目标视频帧中标记出所述目标特征信息;所述显微视频信息播放至所述目标视频帧时暂停;所述显微视频信息播放至所述目标视频帧时调整所述显微视频信息的播放速率;放大所述目标视频帧呈现所述目标特征信息;同时呈现所述目标视频帧。例如,计算设备识别出对应的目标视频帧后,执行对应的调控操作,如调控操作包括标记所述目标视频帧,如在显微视频信息中标记出对应目标视频帧的位置(如播放时间轴中的时间或者播放显微参数信息对应的显微参数的赋值等),使用户能够快速获取到目标视频帧在显微视频信息中的位置从而实现后续的跳转或者查看等其他操作;又如,所述调控操作包括在所述目标视频帧中标记出所述目标特征信息,如所述目标视频帧是包括目标试样整体的较为全面的显微图像信息,在该显微图像信息中的目标特征信息若比较小或者由于色差不明显等,对于肉眼观察比较困难等情况,计算设备在目标视频帧中标记出对应的目标特征信息,如在目标视频帧对应区域用色差比较明显的框线圈出或者将目标特征信息的轮廓线用色差比较明显的线凸显出来等;又如,调控操作还包括所述显微视频信息播放至所述目标视频帧时暂停,如为了更加凸显出目标视频帧,在播放显微视频信息过程中当播放至目标视频帧时,暂停当前的显微视频信息,可以是一直暂停,也可以是暂停一段时间后继续播放等;又如,调控操作还包括所述显微视频信息播放至所述目标视频帧时调整所述显微视频信息的播放速率,例如,所述显微视频信息播放其他视频帧时以用户设置的速度进行播放,当播放至目标视频帧时,可以加快或者放慢对应的视频帧,达到忽略或者仔细观看目标视频帧的效果;调控操作还包括放大所述目标视频帧呈现所述目标特征信息,如所述目标特征信息在所述目标视频帧中范围占比较小,为了仔细观看该目标特征信息,计算设备可以根据目标特征信息在当前屏幕的占比,适当放大所述目标视频帧,并将目标特征信息放在屏幕中心聚焦呈现;所述调控操作还包括同时呈现所述目标视频帧,如直接通过显示装置同时呈现目标视频帧,通过将显微视频信息中包含的目标视频帧同步呈现进行对比等。
例如,用户甲持有对应计算设备(如用户设备,PC设备等),该用户设备接收其他设备发送的关于某玻璃制品表面的显微视频信息,如用户设备与对应网络设备建立了通信连接,通过该通信连接向网络设备发送显微视频请求,并接收网络设备基于该显微视频请求返回关于某玻璃制品表面的显微视频信息。或者,用户设备与对应显微设备建立了通信连接,基于该通信连接接收显微设备采集的关于某玻璃制品表面的拍摄子图像信息,用户设备基于该拍摄子图像信息生成关于玻璃制品表面的显微视频信息。用户设备通过显示装置(如显示屏等)呈现该显微视频信息,其中,该显微视频信息是该目标试样(玻璃制品表面)当前物镜下的整体的显微图像信息。计算设备根据该目标特征信息(如玻璃制品表面划痕等)进行图像识别,识别该显微图像信息中包含划痕的玻璃制品表面的视频帧,例如,计算设备从网络上抓取大量关于该玻璃制品表面划痕相关的显微图像,并基于该显微图像信息进行训练建立对应的深度学习模型,随后,将显微视频信息输入该深度学习模型,识别出该显微视频信息中包含划痕的视频帧。随后,计算设备可以对包含划痕的视频帧或者显微视频信息等执行一定的调控操作,如在显微视频信息中标记出包含划痕的视频帧所在的播放时间点等,或者在包含划痕的视频帧中圈出划痕所在的区域等,或者当显微视频信息播放至划痕对应视频帧时暂停或者调节(放慢)播放速率等,或者在目标视频帧中放大呈现划痕所在区域,或者将显微视频信息中包含划痕的视频帧同时呈现在屏幕中进行比对等。
在一些实施方式中,在步骤S102中,计算设备根据目标特征信息识别所述显微视频信息中包含所述目标特征信息的初始视频帧;若所述初始视频帧中包含的所述目标特征信息满足预定条件,确定该初始视频帧为对应的目标视频帧。例如,所述初始视频帧为包含目标特征信息的视频帧,识别对应的初始视频帧后,进一步基于初始视频帧中包含的目标特征信息的相关信息,是否满足预定条件,从而从初始视频帧中筛选出对应的目标视频帧,其中,目标视频帧包括基于预定条件筛选出的包含目标特征信息的视频帧等,目标特征信息的相关信息包括但不限于目标特征信息的数量或者数值等。在一些实施方式中,所述预定条件包括但不限于:所述目标特征信息的目标数值信息大于或等于所述第一数值信息,其中,所述目标数值信息用于指示所述目标视频帧中包含的目标特征信息的赋值;所述初始视频帧的邻域内N个视频帧的目标特征信息对应的目标数值信息总和大于或等于所述第二数值信息,其中,所述目标数值信息用于指示所述目标视频帧中包含的目标特征信息的赋值,N为正整数;所述目标特征信息的目标数量信息大于或等于所述第一数量信息,其中,所述目标数量信息用于指示所述目标视频帧中包含的目标特征信息的数量;所述初始视频帧的邻域内M个视频帧的目标特征信息对应的目标数量信息总和大于或等于所述第二数量信息,其中,所述目标数量信息用于指示所述目标视频帧中包含的目标特征信息的数量,M为正整数。例如,目标特征信息包含该目标特征信息的数量或者数值等,如玻璃制品表面划痕等视频帧中包含该视频帧中划痕的数量或者深度等。对应的预定条件包括所述目标特征信息的目标数值信息大于或等于所述第一数值信息,其中,所述目标数值信息用于指示所述目标视频帧中包含的目标特征信息的赋值,如若将包含玻璃制品表面划痕的视频帧作为初始视频帧,进一步根据初始视频帧中划痕的深度进行判断,如若某初始视频帧中划痕深度超过第一数值信息(如10微米等),则确定初始视频帧为对应的目标视频帧;又如,所述初始视频帧的邻域内N个视频帧的目标特征信息对应的目标数值信息总和大于或等于所述第二数值信息,其中,所述目标数值信息用于指示所述目标视频帧中包含的目标特征信息的赋值,N为正整数,例如,以该视频帧的前后N(如前后各一个)个视频帧作为关联视频帧,若该三个视频帧中均包含对应玻璃表面的划痕,其中,前一个视频帧的玻璃划痕深度为7微米,该视频帧的玻璃划痕深度为8微米,后一个视频帧的玻璃划痕深度为9微米等,则关联视频帧内的玻璃划痕的深度总和超过第二数值信息(如20微米),则将该视频帧作为对应的目标视频帧,或者将该三个视频帧均作为对应的目标视频帧;又如,预定条件包括所述目标特征信息的目标数量信息大于或等于所述第一数量信息,其中,所述目标数量信息用于指示所述目标视频帧中包含的目标特征信息的数量,如某初始视频帧中划痕的数量超过第一数量信息(如3条划痕等),则确定初始视频帧为对应的目标视频帧;还如,预定条件包括所述初始视频帧的邻域内M个视频帧的目标特征信息对应的目标数量信息总和大于或等于所述第二数量信息,其中,所述目标数量信息用于指示所述目标视频帧中包含的目标特征信息的数量,M为正整数,如以该视频帧的前后M(如前后各两个)个视频帧作为关联视频帧,若该五个视频帧中,玻璃划痕的数量总和超过第二数值信息(如8条划痕等),则将该视频帧作为对应的目标视频帧等。在此,本领域技术人员应能理解,上述预定条件或者其任意组合均适用于本申请,也应包含在本申请保护范围以内,并在此以引用方式包含于此。
在一些实施方式中,所述调控操作包括所述目标视频帧中标记出所述目标特征信息,其中,所述方法还包括步骤S104(未示出),在步骤S104中,计算设备在所述显微视频信息的后续视频帧中跟踪标记所述目标特征信息对应的目标区域。例如,当所述调控操作包括根据所述目标视频帧中标记出所述目标特征信息时,计算设备在目标视频帧中标记出对应目标特征信息所在范围后,在后续视频帧中跟踪标记所述目标特征信息对应的区域,如根据计算设备视觉算法,对所述目标特征信息在后续视频帧进行目标跟踪,或者在后续视频帧中持续标记出目标区域,该目标区域中目标特征信息可能存在,也可能消失等。
在一些实施方式中,所述方法还包括步骤S105(未示出),在步骤S105中,计算设备根据所述目标视频帧确定对应的目标显微视频信息。例如,计算设备确定所述显微视频信息中包含目标特征信息的目标视频帧后,提取出对应的目标视频帧,并基于该目标视频帧重新生成一个仅包含目标视频帧的目标显微视频信息,计算设备可以基于用户的操作对该目标显微视频信息进行呈现、存储、分享等操作,目标显微视频信息的生成进一步提高了用户观察目标视频帧的效率,使用户获取数据更有针对性,提升了用户的使用体验。
在一些实施方式中,所述方法还包括步骤S106(未示出),在步骤S106中,计算设备基于用户在所述显微视频信息的视频帧中的选中范围操作,生成对应的目标特征信息,其中,所述目标特征信息与所述显微视频信息的视频帧中被选中的范围相对应。例如,选中范围操作包括用户通过输入装置确定的当前显微视频信息的视频帧中的显示范围中某一区域的坐标信息等,通过该选中范围操作计算设备可以确定该显示范围内的图像特征,并将该图像特征作为对应的目标特征信息,对显微视频信息进行识别等,从而确定出显微视频信息中包含该区域的图像特征的目标视频帧。
在一些实施方式中,所述计算设备包括用户设备与网络设备,所述步骤S101、步骤S102以及步骤S103应用于用户设备时,图2所示所述步骤S107步骤S108也应用于用户设备,如图2所示的一种用于调控显微视频信息的方法,其中,该方法具体包括:
在步骤S107中,所述用户设备向对应网络设备发送关于显微视频请求,其中,所述显微视频请求包括所述目标试样的标识信息;
在步骤S201中,所述网络设备接收对应用户设备发送的、关于目标试样的显微视频请求,其中,所述显微视频请求包括所述目标试样的标识信息;
在步骤S202中,所述网络设备根据所述目标试样的标识信息确定对应的显微视频信息其中,所述显微视频信息包括关于所述目标试样的多个显微图像信息,每个显微图像信息由所述目标试样的多个子区域对应的显微子图像序列确定;
在步骤S203中,所述网络设备将所述显微视频信息返回至所述用户设备;
在步骤S108中,所述用户设备接收所述网络设备返回的显微视频信息,其中,所述显微视频信息与所述目标试样的标识信息相对应;
在步骤S101中,所述用户设备通过显示装置呈现关于目标试样的显微视频信息,其中,所述显微视频信息包括关于所述目标试样的多个显微图像信息,每个显微图像信息由所述目标试样的多个子区域对应的显微子图像序列确定;
在步骤S102中,所述用户设备根据目标特征信息识别所述显微视频信息包含所述目标特征信息的目标视频帧;
在步骤S103中,所述用户设备对包含所述目标视频帧的所述显微视频信息执行对应的调控操作。
参考图2所示的系统方法,例如,所述用户设备通过向网络设备发送关于目标试样的显微视频请求,其中,该显微视频请求包括关于目标试样的标识信息,其中,所述标识信息包括用于确定对应显微视频信息的标识符等。网络设备存储有目标试样的标识信息与目标试样的显微图像信息或者显微视频信息的对应关系,网络设备基于用户设备上传的目标试样的标识信息,确定对应的显微视频信息,其中,该显微视频信息可以是网络设备数据库中已有的显微视频信息,或者是网络设备根据该目标试样的显微图像信息实时生成,或者网络设备根据目标试样的多个显微子图像序列先生成对应显微图像信息再确定对应的显微视频信息等;网络设备确定对应的显微视频信息后,将该显微视频信息返回至所述用户设备,用户设备接收并呈现所述显微视频信息,并基于识别结果对该显微视频信息进行相关调控操作等。
在一些实施方式中,所述目标试样的标识信息包括但不限于:所述目标试样的多个显微图像信息;所述目标试样的关键字段;所述目标试样的图像信息;所述目标试样的显微记录信息;所述目标试样的唯一标识码信息;所述目标试样的指示信息,其中,所述指示信息用于在包含目标试样的图像信息中指示所述目标试样所处的范围。例如,所述标识信息包括用于确定对应显微视频信息的标识符等,包括但不限于所述目标试样的多个显微图像信息,如关于目标试样的多个显微图像信息,基于该多个显微图像信息网络设备可以获取对应的显微视频信息;或者,所述标识信息包括所述目标试样的关键字段,如目标试样的名称或者从目标试样的名称中提取的用于搜索子区域的关键字或关键词等;所述标识信息包括所述目标试样的显微记录信息,如用户在应用中上传或者搜索过的关于目标试样的显微图像信息或者显微视频信息的历史记录等;所述目标试样的唯一标识码信息,如所述目标试样在应用中设置的唯一标识码等;所述标识信息可以包括所述目标试样的多个图像信息,如网络设备基于该图像信息可以在数据库中识别对应目标试样等;所述标识信息还包括所述目标试样的指示信息,其中,所述指示信息用于在每个目标试样所属的相关图像中指示各子区域所处的范围,例如,当前用户设备通过显示装置呈现关于目标试样的相关图像,基于用户的选中操作(如圈中或者点击框选等)等,用户设备获取关于一个或多个图像信息中关于目标试样的指示信息,即选中操作对应的选中区域在各视频帧中包含的目标试样范围。
参考图2所示的系统方法,图3示出一种用于调控显微视频信息的方法,应用于网络设备,其中,该方法包括步骤S201、步骤S202以及步骤S203。在步骤S201中,网络设备接收对应用户设备发送的、关于目标试样的显微视频请求,其中,所述显微视频请求包括所述目标试样的标识信息;在步骤S202中,网络设备根据所述目标试样的标识信息确定对应的显微视频信息,其中,所述显微视频信息包括关于所述目标试样的多个显微图像信息,每个显微图像信息由所述目标试样的多个子区域对应的显微子图像序列确定;在步骤S203中,网络设备将所述显微视频信息返回至所述用户设备。在此,网络设备存储有目标试样的标识信息与目标试样的显微图像信息或者显微视频信息的对应关系,网络设备基于用户设备上传的目标试样的标识信息,确定对应的显微视频信息,其中,该显微视频信息可以是网络设备数据库中已有的显微视频信息,或者是网络设备根据该目标试样的显微图像信息实时生成,或者网络设备根据目标试样的多个显微子图像序列先生成对应显微图像信息再确定对应的显微视频信息等;网络设备确定对应的显微视频信息后,将该显微视频信息返回至所述用户设备,用户设备接收并呈现所述显微视频信息,并基于识别结果对该显微视频信息进行相关调控操作等。例如,所述标识信息包括用于确定对应显微视频信息的标识符等,包括但不限于所述目标试样的多个显微图像信息,如关于目标试样的多个显微图像信息,基于该多个显微图像信息网络设备可以获取对应的显微视频信息;或者,所述标识信息包括所述目标试样的关键字段,如目标试样的名称或者从目标试样的名称中提取的用于搜索目标试样的关键字或关键词等;所述标识信息包括所述目标试样的显微记录信息,如用户在应用中上传或者搜索过的关于目标试样的显微图像信息或者显微视频信息的历史记录等;所述目标试样的唯一标识码信息,如所述目标试样在应用中设置的唯一标识码等;所述标识信息可以包括所述目标试样的多个图像信息,如网络设备基于该图像信息可以在数据库中识别对应目标试样等;所述标识信息还包括所述目标试样的指示信息,其中,所述指示信息用于在每个目标试样所属的相关图像中指示各子区域所处的范围,例如,当前用户设备通过显示装置呈现关于目标试样的相关图像,基于用户的选中操作(如圈中或者点击框选等)等,用户设备获取关于一个或多个图像信息中关于目标试样的指示信息,即选中操作对应的选中区域在各视频帧中包含的目标试样范围。
图4示出一种用于调控显微视频信息的方法,其中,步骤S201、步骤S202、步骤S203以及步骤S204应用于网络设备,步骤S301、步骤S302以及步骤S303应用于用户设备,该方法具体包括:
在步骤S301中,所述用户设备向对应网络设备发送关于目标试样的显微视频请求,其中,所述显微视频请求包括所述目标试样的标识信息及目标特征信息的标识信息;
在步骤S201中,所述网络设备接收所述用户设备发送的、关于目标试样的显微视频请求,其中,所述显微视频请求包括所述目标试样的标识信息;
在步骤S202中,所述网络设备根据所述目标试样的标识信息确定对应的显微视频信息,其中,所述显微视频信息包括关于所述目标试样的多个显微图像信息,每个显微图像信息由所述目标试样的多个子区域对应的显微子图像序列确定;
在步骤S204中,所述网络设备根据所述目标特征信息的标识信息确定对应的目标特征信息,并根据所述目标特征信息识别所述显微视频信息包含所述目标特征信息的目标视频帧;
在步骤S203中,所述网络设备将包含所述目标视频帧所述显微视频信息返回至所述用户设备;
在步骤S302中,所述用户设备接收所述网络设备返回的包含目标视频帧的显微视频信息,其中,所述显微视频信息包括关于所述目标试样的多个显微图像信息,每个显微图像信息由所述目标试样的多个子区域对应的显微子图像序列确定,所述目标视频帧中包含所述目标特征信息;
在步骤S303中,所述用户设备通过显示装置呈现所述显微视频信息,并对所述显微视频信息执行对应的调控操作。
结合图4所示的系统方法,在一些实施方式中,所述显微视频请求还包括目标特征信息的标识信息,在步骤S204中,网络设备根据所述目标特征信息的标识信息确定对应的目标特征信息,并根据所述目标特征信息识别所述显微视频信息包含所述目标特征信息的目标视频帧;在步骤S203中,网络设备将包含所述目标视频帧的所述显微视频信息返回至所述用户设备。例如,目标特征信息的标识信息包括用于指示目标特征信息的标识符等,如所述目标特征信息的关键字段;所述目标特征信息的图像信息;所述目标特征信息的显微记录信息;所述目标特征信息的唯一标识码信息;所述目标特征信息的指示信息,其中,所述指示信息用于在包含目标特征信息的图像信息(如显微视频信息中的视频帧等)中指示所述目标试样所处的范围等。网络设备端存储有目标特征信息标识信息与目标特征信息之间的对应关系,基于目标特征信息的标识信息确定对应的目标特征信息,并利用所述目标特征信息对显微视频信息进行目标识别等,例如,根据计算机视觉算法,对显微视频信息进行简单的颜色对比、图像特征点匹配等,或者利用人工智能算法进行识别等。随后,网络设备将包含目标特征信息的显微视频信息返回至用户设备。
在一些实施方式中,在步骤S203中,网络设备还将所述目标视频帧的高质量视频帧发送至所述用户设备。例如,正常的视频通过网络设备与用户设备间的通信连接进行传输时,会先对视频进行压缩,随后再在用户设备端进行解压缩,该过程对视频中视频帧的质量会有一定的影响,而目标视频帧是用户需要高度关注的视频帧,网络设备会将高质量的目标视频帧发送至用户设备端,如采取对图像质量损伤交底的压缩方法进行压缩,或者直接发送原图等方式传输目标视频帧等。
参考图4所示的系统方法,图5示出一种用于调控显微视频信息的方法,该方法应用于用户设备,包括步骤S301、步骤S302以及步骤S303。在步骤S301中,用户设备向对应网络设备发送关于目标试样的显微视频请求,其中,所述显微视频请求包括所述目标试样的标识信息及目标特征信息的标识信息;在步骤S302中,用户设备接收所述网络设备返回的包含目标视频帧的显微视频信息,其中,所述显微视频信息包括关于所述目标试样的多个显微图像信息,每个显微图像信息由所述目标试样的多个子区域对应的显微子图像序列确定,所述目标视频帧中包含所述目标特征信息;在步骤S303中,通过显示装置呈现所述显微视频信息,并对所述显微视频信息执行对应的调控操作。例如,所述用户设备通过向网络设备发送关于目标试样的显微视频请求,其中,该显微视频请求包括关于目标试样的标识信息,其中,所述标识信息包括用于确定对应显微视频信息的标识符等。网络设备存储有目标试样的标识信息与目标试样的显微图像信息或者显微视频信息的对应关系,网络设备基于用户设备上传的目标试样的标识信息,确定对应的显微视频信息,其中,该显微视频信息可以是网络设备数据库中已有的显微视频信息,或者是网络设备根据该目标试样的显微图像信息实时生成,或者网络设备根据目标试样的多个显微子图像序列先生成对应显微图像信息再确定对应的显微视频信息等;网络设备确定对应的显微视频信息后,网络设备端存储有目标特征信息标识信息与目标特征信息之间的对应关系,基于目标特征信息的标识信息确定对应的目标特征信息,并利用所述目标特征信息对显微视频信息进行目标识别等,例如,根据计算机视觉算法,对显微视频信息进行简单的颜色对比、图像特征点匹配等,或者利用人工智能算法进行识别等。随后,网络设备将包含目标特征信息的显微视频信息返回至用户设备。用户设备接收并呈现所述显微视频信息,并基于目标视频帧对该显微视频信息进行相关调控操作等。在一些实施方式中,所述目标特征信息的标识信息包括但不限于:所述目标特征信息的关键字段;所述目标特征信息的图像信息;所述目标特征信息的显微记录信息;所述目标特征信息的唯一标识码信息;所述目标特征信息的指示信息,其中,所述指示信息用于在包含目标特征信息的图像信息中指示所述目标试样所处的范围。例如,所述标识信息包括用于确定对应目标特征信息的标识符等,包括但不限于所述目标特征信息的关键字段,如目标特征信息的名称或者从目标特征信息的名称中提取的用于搜索目标特征信息的关键字或关键词等;所述标识信息包括所述目标特征信息的显微记录信息,如用户在应用中上传或者搜索过的关于目标特征信息的显微图像信息或者显微视频信息的历史记录等;所述目标特征信息的唯一标识码信息,如所述目标特征信息在应用中设置的唯一标识码等;所述标识信息可以包括所目标特征信息的多个图像信息,如网络设备基于该图像信息可以在数据库中识别对应目标特征信息等;所述标识信息还包括所述目标特征信息的指示信息,其中,所述指示信息用于在每个目标特征信息所属的相关图像中指示各目标特征信息所处的范围,例如,当前用户设备通过显示装置呈现关于目标特征信息的相关图像(如显微图像信息等),基于用户的选中操作(如圈中或者点击框选等)等,用户设备获取关于目标特征信息的指示信息,即选中操作对应的选中区域在各目标对象视频帧中包含的目标特征信息范围。
图6示出了根据本申请一个方面的一种用于调控显微视频信息的设备,该设备包括一一模块101、一二模块102以及一三模块103。一一模块101,用于通过显示装置呈现关于目标试样的显微视频信息,其中,所述显微视频信息包括关于所述目标试样的多个显微图像信息,每个显微图像信息由所述目标试样的多个子区域对应的显微子图像序列确定;一二模块102,用于根据目标特征信息识别所述显微视频信息包含所述目标特征信息的目标视频帧;一三模块103,用于对包含所述目标视频帧的所述显微视频信息执行对应的调控操作。其中,一一模块101、一二模块102以及一三模块103分别用于执行如图1中所对应实施例中步骤S101、步骤S102以及步骤S103。为简明起见,计算设备的具体工作方式和所能达到的技术效果请见图1所示的具体实施例,在此不再赘述。
具体而言,一一模块101,用于通过显示装置呈现关于目标试样的显微视频信息,其中,所述显微视频信息包括关于所述目标试样的多个显微图像信息,每个显微图像信息由所述目标试样的多个子区域对应的显微子图像序列确定。例如,显微视频信息包括由子区域的多个显微图像信息按照对应显微参数序列排序及特定视频参数生成的显微视频信息,其中,对应显微参数序列包括由同一显微参数的不同赋值按照特定顺序(如参数值变化规律等)排列组成,其中,所述显微参数包括但不限于:拍摄时间信息;焦面高度信息;旋转角度信息;俯仰角度信息;偏航角度信息;照明灯光亮度信息;照明灯光颜色信息;温度信息;湿度信息;PH值信息;荧光波段信息;偏振光角度信息;DIC旋转角信息。例如,显微参数信息包括目标试样所处的显微系统中可用于连续渐变的自变量参数,该参数的赋值可以一个具体的数值,或者是一个区间,如[T-t0,T+t0]对应的区间等。所述显微视频信息根据显微图像信息的维度信息不同生成的视频信息也不同,例如,所述显微图像信息包括二维显微图像信息和/或三维显微图像信息,其对应的显微视频信息包括二维显微视频信息和/或三维显微视频信息,其中,显微图像信息由目标试样的多个子区域的显微子图像序列确定,例如,根据各个子区域拍摄的多个拍摄子图像组成的显微子图像序列,生成各个子区域对应的显微子图像信息,并基于多个子区域的显微子图像信息进行图像融合确定目标试样的显微图像信息;或者,直接根据各子区域的显微子图像序列,取各拍摄子图像信息中比较清晰的部分进行图像融合确定目标试样的整体的显微图像信息。如在一些实施
在一些实施方式中,一二模块102,用于利用目标特征信息相关的训练样本进行模型训练建立对应的深度学习模型,并将所述显微视频信息输入所述深度学习模型,识别包含所述目标特征信息的目标视频帧。在此,所述利用深度学习模型进行目标识别的过程与前述步骤S102中的实施例相同或相近,故不再赘述,以引用方式包含于此。
在一些实施方式中,所述调控操作包括但不限于:标记所述目标视频帧;在所述目标视频帧中标记出所述目标特征信息;所述显微视频信息播放至所述目标视频帧时暂停;所述显微视频信息播放至所述目标视频帧时调整所述显微视频信息的播放速率;放大所述目标视频帧呈现所述目标特征信息;同时呈现所述目标视频帧。在此,各种调控操作相关的实施例与前述调控操作的实施例相同或相近,故不再赘述,以引用方式包含于此。
在一些实施方式中,在步骤S102中,计算设备根据目标特征信息识别所述显微视频信息中包含所述目标特征信息的初始视频帧;若所述初始视频帧中包含的所述目标特征信息满足预定条件,确定该初始视频帧为对应的目标视频帧。在一些实施方式中,所述预定条件包括但不限于:所述目标特征信息的目标数值信息大于或等于所述第一数值信息,其中,所述目标数值信息用于指示所述目标视频帧中包含的目标特征信息的赋值;所述初始视频帧的邻域内N个视频帧的目标特征信息对应的目标数值信息总和大于或等于所述第二数值信息,其中,所述目标数值信息用于指示所述目标视频帧中包含的目标特征信息的赋值,N为正整数;所述目标特征信息的目标数量信息大于或等于所述第一数量信息,其中,所述目标数量信息用于指示所述目标视频帧中包含的目标特征信息的数量;所述初始视频帧的邻域内M个视频帧的目标特征信息对应的目标数量信息总和大于或等于所述第二数量信息,其中,所述目标数量信息用于指示所述目标视频帧中包含的目标特征信息的数量,M为正整数。在此,所述基于目标特征信息进一步判断目标视频帧的具体实现方式与前述步骤S102中的实施例相同或相近,故不再赘述,以引用方式包含于此。
在一些实施方式中,所述调控操作包括所述目标视频帧中标记出所述目标特征信息,其中,所述设备还包括一四模块104(未示出),用于在所述显微视频信息的后续视频帧中跟踪标记所述目标特征信息对应的目标区域。在此,所述一四模块104的具体实现方式与前述步骤S104中的实施例相同或相近,故不再赘述,以引用方式包含于此。
在一些实施方式中,所述设备还包括一五模块105(未示出),用于根据所述目标视频帧确定对应的目标显微视频信息。在此,所述一五模块105的具体实现方式与前述步骤S105中的实施例相同或相近,故不再赘述,以引用方式包含于此。
在一些实施方式中,所述设备还包括一六模块106(未示出),用于基于用户在所述显微视频信息的视频帧中的选中范围操作,生成对应的目标特征信息,其中,所述目标特征信息与所述显微视频信息的视频帧中被选中的范围相对应。在此,所述一六模块106的具体实现方式与前述步骤S106中的实施例相同或相近,故不再赘述,以引用方式包含于此。
在一些实施方式中,所述计算设备包括用户设备与网络设备,所述一一模块101、一二模块102以及一三模块103应用于用户设备时,所述设备还包括所述一七模块107(未示出)及一八模块108(未示出),其中,该设备包含于用于调控显微视频信息的系统,该系统包括用户设备和网络设备,具体包括:
在一七模块107中,所述用户设备向对应网络设备发送关于显微视频请求,其中,所述显微视频请求包括所述目标试样的标识信息;
在二一模块201中,所述网络设备接收对应用户设备发送的、关于目标试样的显微视频请求,其中,所述显微视频请求包括所述目标试样的标识信息;
在二二模块202中,所述网络设备根据所述目标试样的标识信息确定对应的显微视频信息其中,所述显微视频信息包括关于所述目标试样的多个显微图像信息,每个显微图像信息由所述目标试样的多个子区域对应的显微子图像序列确定;
在二三模块203中,所述网络设备将所述显微视频信息返回至所述用户设备;
在一八模块108中,所述用户设备接收所述网络设备返回的显微视频信息,其中,所述显微视频信息与所述目标试样的标识信息相对应;
在一一模块101中,所述用户设备通过显示装置呈现关于目标试样的显微视频信息,其中,所述显微视频信息包括关于所述目标试样的多个显微图像信息,每个显微图像信息由所述目标试样的多个子区域对应的显微子图像序列确定;
在一二模块102中,所述用户设备根据目标特征信息识别所述显微视频信息包含所述目标特征信息的目标视频帧;
在一三模块103中,所述用户设备对包含所述目标视频帧的所述显微视频信息执行对应的调控操作。
在此,所述一七模块107、一八模块108的具体实现方式与前述步骤S107及步骤S108的实施例相同或相近,故不再赘述,在此以引用方式包含于此。
在一些实施方式中,所述目标试样的标识信息包括但不限于:所述目标试样的多个显微图像信息;所述目标试样的关键字段;所述目标试样的图像信息;所述目标试样的显微记录信息;所述目标试样的唯一标识码信息;所述目标试样的指示信息,其中,所述指示信息用于在包含目标试样的图像信息中指示所述目标试样所处的范围。在此,所述目标试样的标识信息的具体实现方式与前述图1所示目标试样的标识信息相关实施例相同或相近,故不再赘述,在此以引用方式包含于此。
参考前述的系统,图7示出一种用于调控显微视频信息的网络设备,其中,该设备包括二一模块201、二二模块202以及二三模块203。二一模块201,用于接收对应用户设备发送的、关于目标试样的显微视频请求,其中,所述显微视频请求包括所述目标试样的标识信息;二二模块202,用于根据所述目标试样的标识信息确定对应的显微视频信息,其中,所述显微视频信息包括关于所述目标试样的多个显微图像信息,每个显微图像信息由所述目标试样的多个子区域对应的显微子图像序列确定;二三模块203,用于将所述显微视频信息返回至所述用户设备。在此,二一模块201、二二模块202以及二三模块203的具体实现方式与达成的技术效果与前述步骤S201、步骤S202以及步骤S203的实施例及技术效果相同或相近,故不再赘述,以引用方式包含于此。
在一些实施方式中,所述显微视频请求还包括目标特征信息的标识信息,所示设备还包括二四模块204(未示出),用于根据所述目标特征信息的标识信息确定对应的目标特征信息,并根据所述目标特征信息识别所述显微视频信息包含所述目标特征信息的目标视频帧;二三模块203,用于将包含所述目标视频帧的所述显微视频信息返回至所述用户设备。在此,所述二四模块204的具体实现方式与前述步骤S204的实施例相同或相近,故不再赘述,以引用方式包含于此。
在一些实施方式中,二三模块203,还用于将所述目标视频帧的高质量视频帧发送至所述用户设备。在此,所述二三模块203中方高质量的目标视频帧的具体实现方式与前述步骤S203的相关实施例相同或相近,故不再赘述,以引用方式包含于此。
图8示出一种用于调控显微视频信息的用户设备,包括三一模块301、三二模块302以及三三模块303。三一模块301,用于向对应网络设备发送关于目标试样的显微视频请求,其中,所述显微视频请求包括所述目标试样的标识信息及目标特征信息的标识信息;三二模块302,用于接收所述网络设备返回的包含目标视频帧的显微视频信息,其中,所述显微视频信息包括关于所述目标试样的多个显微图像信息,每个显微图像信息由所述目标试样的多个子区域对应的显微子图像序列确定,所述目标视频帧中包含所述目标特征信息;三三模块303,用于通过显示装置呈现所述显微视频信息,并对所述显微视频信息执行对应的调控操作。在此,三一模块301、三二模块302以及三三模块303的具体实现方式与达成的技术效果与前述步骤S301、步骤S302以及步骤S303的实施例及技术效果相同或相近,故不再赘述,以引用方式包含于此。
在一些实施方式中,所述目标特征信息的标识信息包括但不限于:所述目标特征信息的关键字段;所述目标特征信息的图像信息;所述目标特征信息的显微记录信息;所述目标特征信息的唯一标识码信息;所述目标特征信息的指示信息,其中,所述指示信息用于在包含目标特征信息的图像信息中指示所述目标试样所处的范围。在此,所述目标特征信息的标识信息的具体实现方式与前述目标特征信息的标识信息相关实施例相同或相近,故不再赘述,以引用方式包含于此。
除上述各实施例介绍的方法和设备外,本申请还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机代码,当所述计算机代码被执行时,如前任一项所述的方法被执行。
本申请还提供了一种计算机程序产品,当所述计算机程序产品被计算机设备执行时,如前任一项所述的方法被执行。
本申请还提供了一种计算机设备,所述计算机设备包括:
一个或多个处理器;
存储器,用于存储一个或多个计算机程序;
当所述一个或多个计算机程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现如前任一项所述的方法。
图9示出了可被用于实施本申请中所述的各个实施例的示例性系统;
如图9所示在一些实施例中,系统300能够作为各所述实施例中的任意一个上述设备。在一些实施例中,系统300可包括具有指令的一个或多个计算机可读介质(例如,系统存储器或NVM/存储设备320)以及与该一个或多个计算机可读介质耦合并被配置为执行指令以实现模块从而执行本申请中所述的动作的一个或多个处理器(例如,(一个或多个)处理器305)。
对于一个实施例,系统控制模块310可包括任意适当的接口控制器,以向(一个或多个)处理器305中的至少一个和/或与系统控制模块310通信的任意适当的设备或组件提供任意适当的接口。
系统控制模块310可包括存储器控制器模块330,以向系统存储器315提供接口。存储器控制器模块330可以是硬件模块、软件模块和/或固件模块。
系统存储器315可被用于例如为系统300加载和存储数据和/或指令。对于一个实施例,系统存储器315可包括任意适当的易失性存储器,例如,适当的DRAM。在一些实施例中,系统存储器315可包括双倍数据速率类型四同步动态随机存取存储器(DDR4SDRAM)。
对于一个实施例,系统控制模块310可包括一个或多个输入/输出(I/O)控制器,以向NVM/存储设备320及(一个或多个)通信接口325提供接口。
例如,NVM/存储设备320可被用于存储数据和/或指令。NVM/存储设备320可包括任意适当的非易失性存储器(例如,闪存)和/或可包括任意适当的(一个或多个)非易失性存储设备(例如,一个或多个硬盘驱动器(HDD)、一个或多个光盘(CD)驱动器和/或一个或多个数字通用光盘(DVD)驱动器)。
NVM/存储设备320可包括在物理上作为系统300被安装在其上的设备的一部分的存储资源,或者其可被该设备访问而不必作为该设备的一部分。例如,NVM/存储设备320可通过网络经由(一个或多个)通信接口325进行访问。
(一个或多个)通信接口325可为系统300提供接口以通过一个或多个网络和/或与任意其他适当的设备通信。系统300可根据一个或多个无线网络标准和/或协议中的任意标准和/或协议来与无线网络的一个或多个组件进行无线通信。
对于一个实施例,(一个或多个)处理器305中的至少一个可与系统控制模块310的一个或多个控制器(例如,存储器控制器模块330)的逻辑封装在一起。对于一个实施例,(一个或多个)处理器305中的至少一个可与系统控制模块310的一个或多个控制器的逻辑封装在一起以形成系统级封装(SiP)。对于一个实施例,(一个或多个)处理器305中的至少一个可与系统控制模块310的一个或多个控制器的逻辑集成在同一模具上。对于一个实施例,(一个或多个)处理器305中的至少一个可与系统控制模块310的一个或多个控制器的逻辑集成在同一模具上以形成片上系统(SoC)。
在各个实施例中,系统300可以但不限于是:服务器、工作站、台式计算设备或移动计算设备(例如,膝上型计算设备、手持计算设备、平板电脑、上网本等)。在各个实施例中,系统300可具有更多或更少的组件和/或不同的架构。例如,在一些实施例中,系统300包括一个或多个摄像机、键盘、液晶显示器(LCD)屏幕(包括触屏显示器)、非易失性存储器端口、多个天线、图形芯片、专用集成电路(ASIC)和扬声器。
需要注意的是,本申请可在软件和/或软件与硬件的组合体中被实施,例如,可采用专用集成电路(ASIC)、通用目的计算机或任何其他类似硬件设备来实现。在一个实施例中,本申请的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地,本申请的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中,例如,RAM存储器,磁或光驱动器或软磁盘及类似设备。另外,本申请的一些步骤或功能可采用硬件来实现,例如,作为与处理器配合从而执行各个步骤或功能的电路。
另外,本申请的一部分可被应用为计算机程序产品,例如计算机程序指令,当其被计算机执行时,通过该计算机的操作,可以调用或提供根据本申请的方法和/或技术方案。本领域技术人员应能理解,计算机程序指令在计算机可读介质中的存在形式包括但不限于源文件、可执行文件、安装包文件等,相应地,计算机程序指令被计算机执行的方式包括但不限于:该计算机直接执行该指令,或者该计算机编译该指令后再执行对应的编译后程序,或者该计算机读取并执行该指令,或者该计算机读取并安装该指令后再执行对应的安装后程序。在此,计算机可读介质可以是可供计算机访问的任意可用的计算机可读存储介质或通信介质。
通信介质包括藉此包含例如计算机可读指令、数据结构、程序模块或其他数据的通信信号被从一个系统传送到另一系统的介质。通信介质可包括有导的传输介质(诸如电缆和线(例如,光纤、同轴等))和能传播能量波的无线(未有导的传输)介质,诸如声音、电磁、RF、微波和红外。计算机可读指令、数据结构、程序模块或其他数据可被体现为例如无线介质(诸如载波或诸如被体现为扩展频谱技术的一部分的类似机制)中的已调制数据信号。术语“已调制数据信号”指的是其一个或多个特征以在信号中编码信息的方式被更改或设定的信号。调制可以是模拟的、数字的或混合调制技术。
作为示例而非限制,计算机可读存储介质可包括以用于存储诸如计算机可读指令、数据结构、程序模块或其它数据的信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动的介质。例如,计算机可读存储介质包括,但不限于,易失性存储器,诸如随机存储器(RAM,DRAM,SRAM);以及非易失性存储器,诸如闪存、各种只读存储器(ROM,PROM,EPROM,EEPROM)、磁性和铁磁/铁电存储器(MRAM,FeRAM);以及磁性和光学存储设备(硬盘、磁带、CD、DVD);或其它现在已知的介质或今后开发的能够存储供计算机系统使用的计算机可读信息/数据。
在此,根据本申请的一个实施例包括一个装置,该装置包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器,其中,当该计算机程序指令被该处理器执行时,触发该装置运行基于前述根据本申请的多个实施例的方法和/或技术方案。
对于本领域技术人员而言,显然本申请不限于上述示范性实施例的细节,而且在不背离本申请的精神或基本特征的情况下,能够以其他的具体形式实现本申请。因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本申请的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外,显然“包括”一词不排除其他单元或步骤,单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一,第二等词语用来表示名称,而并不表示任何特定的顺序。
Claims (22)
1.一种用于调控显微视频信息的方法,其中,该方法包括:
通过显示装置呈现关于目标试样的显微视频信息,其中,所述显微视频信息包括关于所述目标试样的多个显微图像信息,每个显微图像信息由所述目标试样的多个子区域对应的显微子图像序列确定;
根据目标特征信息识别所述显微视频信息中包含所述目标特征信息的目标视频帧;
对包含所述目标视频帧的所述显微视频信息执行对应的调控操作。
2.根据权利要求1所述的方法,其中,所述根据目标特征信息识别所述显微视频信息中包含所述目标特征信息的目标视频帧,包括:
利用目标特征信息相关的训练样本进行模型训练建立对应的深度学习模型,并将所述显微视频信息输入所述深度学习模型,识别包含所述目标特征信息的目标视频帧。
3.根据权利要求1所述的方法,其中,所述根据目标特征信息识别所述显微视频信息中包含所述目标特征信息的目标视频帧,包括:
根据目标特征信息识别所述显微视频信息中包含所述目标特征信息的初始视频帧;
若所述初始视频帧中包含的所述目标特征信息满足预定条件,确定该初始视频帧为对应的目标视频帧。
4.根据权利要求3所述的方法,其中,所述预定条件包括以下至少任一项:
所述目标特征信息的目标数值信息大于或等于所述第一数值信息,其中,所述目标数值信息用于指示所述目标视频帧中包含的目标特征信息的赋值;
所述初始视频帧的邻域内N个视频帧的目标特征信息对应的目标数值信息总和大于或等于所述第二数值信息,其中,所述目标数值信息用于指示所述目标视频帧中包含的目标特征信息的赋值,N为正整数;
所述目标特征信息的目标数量信息大于或等于所述第一数量信息,其中,所述目标数量信息用于指示所述目标视频帧中包含的目标特征信息的数量;
所述初始视频帧的邻域内M个视频帧的目标特征信息对应的目标数量信息总和大于或等于所述第二数量信息,其中,所述目标数量信息用于指示所述目标视频帧中包含的目标特征信息的数量,M为正整数。
5.根据权利要求1至4中任一项所述的方法,其中,所述调控操作包括以下至少任一项:
标记所述目标视频帧;
在所述目标视频帧中标记出所述目标特征信息;
所述显微视频信息播放至所述目标视频帧时暂停;
所述显微视频信息播放至所述目标视频帧时调整所述显微视频信息的播放速率;
放大所述目标视频帧呈现所述目标特征信息;
同时呈现所述目标视频帧。
6.根据权利要求5所述的方法,其中,所述调控操作包括所述目标视频帧中标记出所述目标特征信息,其中,所述方法还包括:
在所述显微视频信息的后续视频帧中跟踪标记所述目标特征信息对应的目标区域。
7.根据权利要求1至6中任一项所述的方法,其中,所述方法还包括:
根据所述目标视频帧确定对应的目标显微视频信息。
8.根据权利要求1至7中任一项所述的方法,其中,所述方法还包括:
基于用户在所述显微视频信息的视频帧中的选中范围操作,生成对应的目标特征信息,其中,所述目标特征信息与所述显微视频信息的视频帧中被选中的范围相对应。
9.根据权利要求1至8中任一项所述的方法,应用于用户设备,其中,所述方法还包括:
向对应网络设备发送关于显微视频请求,其中,所述显微视频请求包括所述目标试样的标识信息;
接收所述网络设备返回的显微视频信息,其中,所述显微视频信息与所述目标试样的标识信息相对应。
10.根据权利要求9所述的方法,其中,所述目标试样的标识信息包括以下至少任一项:
所述目标试样的多个显微图像信息;
所述目标试样的关键字段;
所述目标试样的图像信息;
所述目标试样的显微记录信息;
所述目标试样的唯一标识码信息;
所述目标试样的指示信息,其中,所述指示信息用于在包含目标试样的图像信息中指示所述目标试样所处的范围。
11.一种用于调控显微视频信息的方法,应用于网络设备,其中,该方法包括:
接收对应用户设备发送的、关于目标试样的显微视频请求,其中,所述显微视频请求包括所述目标试样的标识信息;
根据所述目标试样的标识信息确定对应的显微视频信息,其中,所述显微视频信息包括关于所述目标试样的多个显微图像信息,每个显微图像信息由所述目标试样的多个子区域对应的显微子图像序列确定;
将所述显微视频信息返回至所述用户设备。
12.根据权利要求11所述的方法,其中,所述显微视频请求还包括目标特征信息的标识信息,其中,所述方法还包括:
根据所述目标特征信息的标识信息确定对应的目标特征信息;
根据所述目标特征信息识别所述显微视频信息包含所述目标特征信息的目标视频帧;
其中,所述将所述显微视频信息返回至所述用户设备,包括:
将包含所述目标视频帧的所述显微视频信息返回至所述用户设备。
13.根据权利要求12所述的方法,其中,所述将包含所述目标视频帧的所述显微视频信息返回至所述用户设备,还包括:
将所述目标视频帧的高质量视频帧发送至所述用户设备。
14.一种用于调控显微视频信息的方法,应用于用户设备,其中,该方法包括:
向对应网络设备发送关于目标试样的显微视频请求,其中,所述显微视频请求包括所述目标试样的标识信息及目标特征信息的标识信息;
接收所述网络设备返回的包含目标视频帧的显微视频信息,其中,所述显微视频信息包括关于所述目标试样的多个显微图像信息,每个显微图像信息由所述目标试样的多个子区域对应的显微子图像序列确定,所述目标视频帧中包含所述目标特征信息;
通过显示装置呈现所述显微视频信息,并对所述显微视频信息执行对应的调控操作。
15.根据权利要求14所述的方法,其中,所述目标特征信息的标识信息包括以下至少任一项:
所述目标特征信息的关键字段;
所述目标特征信息的图像信息;
所述目标特征信息的显微记录信息;
所述目标特征信息的唯一标识码信息;
所述目标特征信息的指示信息,其中,所述指示信息用于在包含目标特征信息的图像信息中指示所述目标试样所处的范围。
16.一种用于调控显微视频信息的方法,其中,该方法包括:
所述用户设备向对应网络设备发送关于显微视频请求,其中,所述显微视频请求包括所述目标试样的标识信息;
所述网络设备接收对应用户设备发送的、关于目标试样的显微视频请求,其中,所述显微视频请求包括所述目标试样的标识信息;
所述网络设备根据所述目标试样的标识信息确定对应的显微视频信息;
所述网络设备将所述显微视频信息返回至所述用户设备;
所述用户设备接收所述网络设备返回的显微视频信息,其中,所述显微视频信息与所述目标试样的标识信息相对应;
所述用户设备通过显示装置呈现关于目标试样的显微视频信息,其中,所述显微视频信息包括关于所述目标试样的多个显微图像信息,每个显微图像信息由所述目标试样的多个子区域对应的显微子图像序列确定;
所述用户设备根据目标特征信息识别所述显微视频信息包含所述目标特征信息的目标视频帧,对包含所述目标视频帧的所述显微视频信息执行对应的调控操作。
17.一种用于调控显微视频信息的方法,其中,该方法包括:
所述用户设备向对应网络设备发送关于目标试样的显微视频请求,其中,所述显微视频请求包括所述目标试样的标识信息及目标特征信息的标识信息;
所述网络设备接收所述用户设备发送的、关于目标试样的显微视频请求,其中,所述显微视频请求包括所述目标试样的标识信息;
所述网络设备根据所述目标试样的标识信息确定对应的显微视频信息,其中,所述显微视频信息包括关于所述目标试样的多个显微图像信息,每个显微图像信息由所述目标试样的多个子区域对应的显微子图像序列确定;
所述网络设备根据所述目标特征信息的标识信息确定对应的目标特征信息,并根据所述目标特征信息识别所述显微视频信息包含所述目标特征信息的目标视频帧;
所述网络设备将包含所述目标视频帧的所述显微视频信息返回至所述用户设备;
所述用户设备接收所述网络设备返回的包含目标视频帧的显微视频信息,其中,所述显微视频信息包括关于所述目标试样的多个显微图像信息,每个显微图像信息由所述目标试样的多个子区域对应的显微子图像序列确定,所述目标视频帧中包含所述目标特征信息;
所述用户设备通过显示装置呈现所述显微视频信息,并对所述显微视频信息执行对应的调控操作。
18.一种用于调控显微视频信息的设备,该设备包括:
一一模块,用于通过显示装置呈现关于目标试样的显微视频信息,其中,所述显微视频信息包括关于所述目标试样的多个显微图像信息,每个显微图像信息由所述目标试样的多个子区域对应的显微子图像序列确定;
一二模块,用于根据目标特征信息识别所述显微视频信息包含所述目标特征信息的目标视频帧;
一三模块,用于对包含所述目标视频帧的所述显微视频信息执行对应的调控操作。
19.一种用于调控显微视频信息的网络设备,该设备包括:
二一模块,用于接收对应用户设备发送的、关于目标试样的显微视频请求,其中,所述显微视频请求包括所述目标试样的标识信息;
二二模块,用于根据所述目标试样的标识信息确定对应的显微视频信息,其中,所述显微视频信息包括关于所述目标试样的多个显微图像信息,每个显微图像信息由所述目标试样的多个子区域对应的显微子图像序列确定;
二三模块,用于将所述显微视频信息返回至所述用户设备。
20.一种用于调控显微视频信息的用户设备,该设备包括:
三一模块,用于向对应网络设备发送关于目标试样的显微视频请求,其中,所述显微视频请求包括所述目标试样的标识信息及目标特征信息的标识信息;
三二模块,用于接收所述网络设备返回的包含目标视频帧的显微视频信息,其中,所述显微视频信息包括关于所述目标试样的多个显微图像信息,每个显微图像信息由所述目标试样的多个子区域对应的显微子图像序列确定,所述目标视频帧中包含所述目标特征信息;
三三模块,用于通过显示装置呈现所述显微视频信息,并对所述显微视频信息执行对应的调控操作。
21.一种用于调控显微视频信息的设备,其中,该设备包括:
处理器;以及
被安排成存储计算机可执行指令的存储器,所述可执行指令在被执行时使所述处理器执行如权利要求1至15中任一项所述方法的操作。
22.一种存储指令的计算机可读介质,所述指令在被执行时使得系统进行如权利要求1至15中任一项所述方法的操作。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010171382.XA CN113392674A (zh) | 2020-03-12 | 2020-03-12 | 一种用于调控显微视频信息的方法与设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010171382.XA CN113392674A (zh) | 2020-03-12 | 2020-03-12 | 一种用于调控显微视频信息的方法与设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113392674A true CN113392674A (zh) | 2021-09-14 |
Family
ID=77615651
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010171382.XA Pending CN113392674A (zh) | 2020-03-12 | 2020-03-12 | 一种用于调控显微视频信息的方法与设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113392674A (zh) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160055886A1 (en) * | 2014-08-20 | 2016-02-25 | Carl Zeiss Meditec Ag | Method for Generating Chapter Structures for Video Data Containing Images from a Surgical Microscope Object Area |
US20170108685A1 (en) * | 2015-10-16 | 2017-04-20 | Mikroscan Technologies, Inc. | Systems, media, methods, and apparatus for enhanced digital microscopy |
CN108337532A (zh) * | 2018-02-13 | 2018-07-27 | 腾讯科技(深圳)有限公司 | 演出片段的标注方法、视频播放方法、装置及系统 |
-
2020
- 2020-03-12 CN CN202010171382.XA patent/CN113392674A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160055886A1 (en) * | 2014-08-20 | 2016-02-25 | Carl Zeiss Meditec Ag | Method for Generating Chapter Structures for Video Data Containing Images from a Surgical Microscope Object Area |
US20170108685A1 (en) * | 2015-10-16 | 2017-04-20 | Mikroscan Technologies, Inc. | Systems, media, methods, and apparatus for enhanced digital microscopy |
CN108337532A (zh) * | 2018-02-13 | 2018-07-27 | 腾讯科技(深圳)有限公司 | 演出片段的标注方法、视频播放方法、装置及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109887003B (zh) | 一种用于进行三维跟踪初始化的方法与设备 | |
CN108769517B (zh) | 一种基于增强现实进行远程辅助的方法与设备 | |
US11107195B1 (en) | Motion blur and depth of field for immersive content production systems | |
CN110673716B (zh) | 智能终端与用户交互的方法、装置、设备及存储介质 | |
CN113741698A (zh) | 一种确定和呈现目标标记信息的方法与设备 | |
US10620511B2 (en) | Projection device, projection system, and interface apparatus | |
US20120050850A1 (en) | Microscope and filter inserting method | |
US20230153941A1 (en) | Video generation method and apparatus, and readable medium and electronic device | |
WO2022100162A1 (zh) | 一种短视频中动态镜头制作的方法和装置 | |
CN110751735A (zh) | 一种基于增强现实的远程指导的方法与设备 | |
CN114332417A (zh) | 一种多人场景交互的方法、设备、存储介质及程序产品 | |
CN112822419A (zh) | 一种用于生成视频信息的方法与设备 | |
CN113965665A (zh) | 一种用于确定虚拟直播图像的方法与设备 | |
CN109636922B (zh) | 一种用于呈现增强现实内容的方法与设备 | |
CN113470167B (zh) | 一种用于呈现三维显微图像的方法与设备 | |
CN109816791B (zh) | 用于生成信息的方法和装置 | |
CN113392674A (zh) | 一种用于调控显微视频信息的方法与设备 | |
CN108960130B (zh) | 视频文件智能处理方法和装置 | |
CN113395483B (zh) | 一种用于呈现多个显微子视频信息的方法与设备 | |
CN113393407B (zh) | 一种获取试样的显微图像信息的方法与设备 | |
CN113392675B (zh) | 一种呈现显微视频信息的方法与设备 | |
TW201928725A (zh) | 一種導航引導圖的產生方法和裝置 | |
CN113395485B (zh) | 一种用于获取目标显微图像的方法与设备 | |
CN113392267B (zh) | 一种用于生成目标对象的二维显微视频信息的方法与设备 | |
CN113470185B (zh) | 一种呈现三维显微图像的方法与设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |