CN109272483B - 胶囊内镜阅片及质量控制的系统及控制方法 - Google Patents

胶囊内镜阅片及质量控制的系统及控制方法 Download PDF

Info

Publication number
CN109272483B
CN109272483B CN201810864341.1A CN201810864341A CN109272483B CN 109272483 B CN109272483 B CN 109272483B CN 201810864341 A CN201810864341 A CN 201810864341A CN 109272483 B CN109272483 B CN 109272483B
Authority
CN
China
Prior art keywords
quality control
capsule
digestive tract
capsule endoscope
data acquisition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810864341.1A
Other languages
English (en)
Other versions
CN109272483A (zh
Inventor
张皓
曾娜
王新宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ankon Technologies Co Ltd
Original Assignee
Ankon Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ankon Technologies Co Ltd filed Critical Ankon Technologies Co Ltd
Priority to CN201810864341.1A priority Critical patent/CN109272483B/zh
Publication of CN109272483A publication Critical patent/CN109272483A/zh
Priority to US16/529,659 priority patent/US20200043613A1/en
Application granted granted Critical
Publication of CN109272483B publication Critical patent/CN109272483B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00011Operational features of endoscopes characterised by signal transmission
    • A61B1/00016Operational features of endoscopes characterised by signal transmission using wireless means
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00055Operational features of endoscopes provided with output arrangements for alerting the user
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00057Operational features of endoscopes provided with means for testing or calibration
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00064Constructional details of the endoscope body
    • A61B1/00071Insertion part of the endoscope body
    • A61B1/0008Insertion part of the endoscope body characterised by distal tip features
    • A61B1/00097Sensors
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00147Holding or positioning arrangements
    • A61B1/00158Holding or positioning arrangements using magnetic field
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/041Capsule endoscopes for imaging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/04Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
    • H04L63/0428Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30092Stomach; Gastric
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/12Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Biomedical Technology (AREA)
  • Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Optics & Photonics (AREA)
  • Veterinary Medicine (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • General Business, Economics & Management (AREA)
  • Artificial Intelligence (AREA)
  • Business, Economics & Management (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Urology & Nephrology (AREA)

Abstract

本发明提供了一种胶囊内镜阅片以及质量控制系统,包括胶囊内镜数据采集系统,其包括胶囊内窥镜、控制所述胶囊内窥镜移动和/或转动的体外磁场装置、与所述胶囊内窥镜和所述体外磁场装置均通讯连接的控制器;与胶囊内镜数据采集系统通讯连接的本地服务器,所述本地服务器包括消化道位置识别模块和质控流程匹配模块,质控流程匹配模块和消化道位置识别模块均与所述控制器通讯连接。

Description

胶囊内镜阅片及质量控制的系统及控制方法
技术领域
本发明涉及医疗器械,尤其涉及一种计算机辅助的胶囊内镜阅片及质量控制的系统及控制方法。
背景技术
磁控胶囊内镜是一种新型的消化道检查的医疗器械,但是在使用过程中对操作人员的要求较高,如果操作不规范很容易造成漏检和误检。
现有的计算机辅助诊断系统包括消息服务器集群,以及多个计算机辅助诊断服务器的工作节点,通过获取流式分发的待处理数据,进行实时流式并行处理得到处理结果。但是,该方案将辅助诊断结果存放到数据库中,不能实时推送给检测者实现检查过程的质控;该方案的输入设备和计算机辅助诊断系统之间的连接方式,不能有效解决辅助诊断结果的实时响应的问题;该方案没有提供输入设备和计算机辅助诊断系统之间的自动匹配方法,在配置系统时需要手动配置。
现有的一种医学影像平台采用了DICOM3.0协议完成开发,系统采用集中式的client/server结构,网络协议采用了TCP/IP协议,提供对病人图像的存储以及综合信息检索的功能。但是,该方案没有实现对影像进行识别的功能,因此也无法实时反馈检查的操作过程中的检查结果;该方案也没有提供图像输入的终端或设备接入的接口,因此也无法接入图像的采集设备。
有鉴于此,有必要提供一种胶囊内镜阅片及质量控制的系统及控制方法,以解决上述技术问题。
发明内容
本发明的目的在于提供一种采用计算机辅助消化道内镜阅片以及质量控制系统,以自动对消化道部位和病灶进行识别,并且能自动匹配磁控胶囊内镜操作规范流程,实时地提示操作者根据《中国磁控胶囊胃镜临床应用专家共识》(2017,上海)中提出的磁控胶囊内镜的操作规范进行操作,从而达到胶囊内镜检查过程质控的目的。
为实现上述发明目的,本发明提供了一种胶囊内镜阅片以及质量控制系统,其特征在于,包括:
胶囊内镜数据采集系统,其包括胶囊内窥镜、控制所述胶囊内窥镜移动和/或转动的体外磁场装置、与所述胶囊内窥镜和所述体外磁场装置均通讯连接的控制器;
与胶囊内镜数据采集系统通讯连接的本地服务器,所述本地服务器包括消化道位置识别模块和质控流程匹配模块,质控流程匹配模块和消化道位置识别模块均与所述控制器通讯连接。
作为本发明的进一步改进,所述消化道位置识别模块内具有:
图像数据筛选模块,用以筛选从所述胶囊内镜数据采集系统获取的图像数据;
消化道部位识别模块,内设有根据筛选后的图像识别出消化道的解剖学部位的消化道解剖学部位识别算法;
病灶识别模块,内设有识别出消化道的阳性病灶的消化道病灶识别算法;
位置识别模块,根据消化道解剖学部位以及胶囊内窥镜内部的加速度传感器、陀螺仪、TOF距离传感器及磁场传感器的传感器数据,分析得出胶囊内窥镜所处的消化道相对位置以及当前位置所包含的病灶。
作为本发明的进一步改进,所述质控流程匹配模块内预先设定有与消化道位置和/或病灶信息相对应的操作质控模型。
作为本发明的进一步改进,所述本地服务器与所述胶囊内镜数据采集系统通过局域网连接,或通过交换机、路由器、网线直连的方式连接。
作为本发明的进一步改进,所述胶囊内镜阅片以及质量控制系统还包括与所述本地服务器通讯连接的云端服务器。
作为本发明的进一步改进,所述云端服务器与所述本地服务器通过互联网连接,或通过企业内部局域网连接。
作为本发明的进一步改进,所述云端服务器与所述本地服务器通过加密连接方式连接。
作为本发明的进一步改进,所述云端服务器的服务架构包括web服务、应用服务、云存储、负载均衡及消息队列服务、深度学习服务集群服务。
为实现上述发明目的,本发明还提供一种胶囊内镜阅片以及质量控制方法,包括如下步骤:
胶囊内镜数据采集系统向本地服务器发送图像数据和传感器数据;
本地服务器通过消化道位置识别模块和质控流程匹配模块,基于图像数据和传感器数据实现质控流程,具体为:通过消化道位置识别模块对图像数据和传感器数据处理,通过质控流程匹配模块根据消化道位置识别模块的处理结果匹配质控操作内容,并向胶囊内镜数据采集系统返回病灶识别结果以及质控操作内容。
作为本发明的进一步改进,所述消化道位置识别模块对图像数据和传感器数据的处理流程是:
首先,图像数据筛选模块对从胶囊内镜数据采集系统接收到的图像数据进行预处理,去除各种不清晰、过亮或过暗的图像;
其次,消化道解剖学部位识别算法根据胶囊拍摄到的图像识别出消化道的解剖学部位,消化道病灶识别算法识别出消化道的阳性病灶;
然后,位置识别模块根据消化道解剖学部位以及胶囊内部的加速度传感器、陀螺仪、TOF距离传感器及磁场传感器等传感器数据,分析得到胶囊内窥镜所处的消化道相对位置以及当前位置所包含的阳性病灶。
作为本发明的进一步改进,所述消化道识别模块在图像处理方法上采用了CPU+GPU或CPU+FPGA的异构计算技术。
作为本发明的进一步改进,所述本地服务器的质控处理流程具体为:
首先,消化道位置识别模块对图像数据和传感器数据进行处理,识别出消化道位置信息及病灶信息后将其发送给质控流程匹配模块;
其次,质控流程匹配模块将消化道位置信息及病灶信息与操作质控模块相匹配,产生相应的质控操作码,并将质控操作码传输给胶囊内镜数据采集系统,所述质控操作码包含当前应该执行的操作信息;
然后,胶囊内镜数据采集系统收到质控操作码之后,判断胶囊内窥镜是否达到消化道位置区间的阈值,如果达到阈值,须要向操作者提示质控操作码;否则,记录质控标识。
作为本发明的进一步改进,所述的胶囊内镜阅片以及质量控制方法还包括检查过程质控处理流程,所述检查过程质控处理流程为:
当消化道位置识别模块识别到消化道部位后,在胶囊内镜数据采集系统显示器上的模拟消化道3D模型上高亮显示该消化道部位;当消化道位置识别模块识别到消化道疑似病灶时,在实时浏览界面向操作者提示质控操作码。
作为本发明的进一步改进,所述的胶囊内镜阅片以及质量控制方法还包括本地服务器与胶囊内镜数据采集系统的自动配置方法流程,其具体为:
胶囊内镜数据采集系统向局域网中发送IP组播或IP广播报文,等待本地服务器的单播响应;如果胶囊内镜数据采集系统收到本地服务器的消息,则记录本地服务器的IP地址并建立socket或RPC连接;待连接建立之后,胶囊内镜数据采集系统与本地服务器同步双方的系统配置。
作为本发明的进一步改进,所述胶囊内镜阅片以及质量控制方法还包括:通过云端服务器远程更新本地服务器的主控程序、图像处理算法、解剖学部位识别算法、消化道病灶识别算法、深度学习模型。
本发明的有益效果是:本发明的胶囊内镜阅片以及质量控制系统,通过质控流程匹配模块根据消化道位置识别模块的处理结果匹配质控操作内容,并向胶囊内镜数据采集系统返回病灶识别结果以及质控操作内容;对医生的操作具有指导意义。
附图说明
图1是本发明一较佳实施例中的消化道内胶囊内镜阅片以及质量控制系统与胶囊内镜数据采集系统的通讯连接示意图;
图2是本发明一较佳实施例中的本地服务器与胶囊内镜数据采集系统的质控流程示意图;
图3是本发明的云端服务器的服务内容示意图;
图4是本发明一较佳实施例中的消化道内胶囊内镜阅片以及质量控制系统与胶囊内镜数据采集系统的自动配置流程示意图。
具体实施方式
以下将结合附图所示的具体实施方式对本发明进行详细描述。但这些实施方式并不限制本发明,本领域的普通技术人员根据这些实施方式所做出的结构、方法、或功能上的变换均包含在本发明的保护范围内。
请参阅图1所示,为本发明较佳实施例的采用计算机辅助的消化道内胶囊内镜阅片以及质量控制系统,包括胶囊内镜数据采集系统、与所述胶囊内镜数据采集系统通讯连接的本地服务器。
胶囊内镜数据采集系统大体上包括胶囊内窥镜、控制所述胶囊内窥镜移动和/或转动的体外磁场装置、与所述胶囊内窥镜和体外磁场装置均通讯连接的控制器。所述胶囊内窥镜内具有用以获取消化道内图像信息的图像获取单元,用以控制或辅助判断所述胶囊内窥镜姿态信息的传感器,所述传感器包括但不限于:加速度传感器、陀螺仪、TOF距离传感器、磁场传感器。
胶囊内镜数据采集系统用以采集消化道内不同位置、不同角度、不同区域的图像信息,其他结构、操作方式等均采用现有技术实现,于此不再赘述。
本地服务器具有两个功能模块:质控流程匹配模块、消化道位置识别模块,质控流程匹配模块与消化道位置识别模块通讯连接,消化道位置识别模块向质控流程匹配模块提供消化道位置信息和病灶信息。
本地服务器与胶囊内镜数据采集系统通讯连接方式为:两者通过局域网连接,或通过交换机、路由器、网线直连的方式连接,配置简单即插即用。胶囊内镜数据采集系统向本地服务器实时发送JPG,DICOM,PNG,BMP等格式的图像数据和传感器数据,本地服务器对图像数据和传感器数据处理后返回病灶识别结果以及质控操作内容。
本地服务器与胶囊内镜数据采集系统能够自动配置,自动配置方法流程如图4所示。首先胶囊内镜数据采集系统向局域网中发送IP组播或IP广播报文,然后等待本地服务器的单播响应,如果收到本地服务器的消息则记录对方的IP地址,并建立socket或RPC连接,待连接建立之后本地服务器与胶囊内镜数据采集系统同步双方的系统配置,无需手动配置。
本领域技术人员可以理解的是:组播指在发送者和每一接收者之间实现点对多点网络连接。广播是指在IP子网内广播数据包,所有在子网内部的主机都将收到这些数据包。单播指在发送者和每一接收者之间实现点对点网络连接。例如本发明中,胶囊内镜数据采集系统向局域网中发送IP组播或IP广播报文,位于该局域网中的本地服务器都能够接收到信息,当一个本地服务器向胶囊内镜数据采集系统反馈信息时,两者之间建立点对点连接。
所述消化道识别模块用以对图像数据进行处理,在图像处理方法上采用了CPU+GPU或CPU+FPGA的异构计算技术,大大提升了图像处理的速度。图像处理方法包括消化道病灶识别算法,可识别消化道阳性病灶特征,并生成热力图和边界框提示病灶所在的位置。图像处理方法还包括消化道解剖学部位识别算法,可有效地识别出食道,齿状线,贲门,胃底,胃大弯,胃小弯,胃角,胃窦,幽门,十二指肠,十二指肠球部和降部,空肠,回肠,结肠等消化道部位。
具体地,消化道位置识别模块内具有图像数据筛选模块、消化道部位识别模块、病灶识别模块、根据传感器数据分析胶囊内窥镜所处的消化道相对位置及当前位置所包含的病灶的位置识别模块。
消化道位置识别模块对图像数据和传感器数据的处理流程是,首先,图像数据筛选模块对从胶囊内镜数据采集系统接收到的图像数据进行预处理,去除各种不清晰、过亮或过暗的图像;其次,通过消化道解剖学部位识别算法根据筛选后的图像识别出消化道的解剖学部位,并通过消化道病灶识别算法识别出消化道的阳性病灶;然后,位置识别模块根据识别出的消化道解剖学部位以及设于胶囊内窥镜内部的加速度传感器、陀螺仪、TOF距离传感器及磁场传感器等传感器数据,分析得出胶囊内窥镜目前的位移、角度等姿态信息,进而分析得到胶囊内窥镜所处的消化道相对位置以及当前位置所包含的阳性病灶。
其中,本发明的消化道解剖学部位识别算法可参考第201710267329.8号专利申请中的算法。
质控流程匹配模块内预先设定有与消化道位置和/或病灶信息相对应的操作质控模型。操作质控模型包括但不限于:根据《中国磁控胶囊胃镜临床应用专家共识》中“磁控胶囊胃镜检查规范化操作流程”设定的质控模型,以及消化道阳性病灶的提示。
本地服务器通过消化道位置识别模块和质控流程匹配模块,基于图像数据和传感器数据实现质控流程,其具体为:如图2所示,首先,消化道位置识别模块对图像数据和传感器数据进行处理,识别出消化道位置信息及病灶信息后将其发送给质控流程匹配模块;其次,质控流程匹配模块将消化道位置信息及病灶信息与操作质控模块相匹配,产生相应的质控操作码,并将质控操作码传输给胶囊内镜数据采集系统,所述质控操作码包含当前应该执行的操作信息;然后,胶囊内镜数据采集系统收到质控操作码之后判断胶囊内窥镜是否达到消化道位置区间的阈值,如果达到阈值,说明胶囊内窥镜已经运行到消化道的某个部位并拍摄图像,须要向操作者提示质控操作的具体内容;否则,说明胶囊内窥镜还未运行到该部位,仅记录质控标识。质控标识为此次质控操作的编号,胶囊内镜数据采集系统继续向本地服务器发送图像数据和传感器数据,并重复上述过程。
所述胶囊内镜阅片以及质量控制系统的检查过程质控流程为:当消化道位置识别模块识别到关键的消化道部位后,在胶囊内镜数据采集系统显示器上的模拟消化道3D模型上该消化道部位会高亮显示;当消化道位置识别模块识别到消化道疑似病灶时,在实时浏览界面向操作者提示质控操作码。
胶囊内镜阅片以及质量控制系统还包括与所述本地服务器通讯连接的云端服务器,以辅助所述本地服务器对图像数据等进行处理和计算。
云端服务器与本地服务器的连接方式为:两者可通过互联网连接,或通过企业内部局域网连接,在此基础上还可通过VPN、SSL等加密连接方式连接以保证数据安全性。
云端服务器可以远程更新本地服务器的主控程序、图像处理算法、解剖学部位识别算法、消化道病灶识别算法、深度学习模型等;更新方法采用现有技术,即将新的程序传输给本地服务器更新旧的程序,于此不再赘述。另外,当运行一些运算量较大的数据分析算法时,本地服务器将预处理过的数据上传至云端服务器处理,等待云端服务器处理完成后接收处理结果。
云端服务器的软件服务架构组成如图3所示,包括web服务、应用服务、云存储、负载均衡及消息队列服务、深度学习服务集群服务。Web服务用来向辅助阅片系统用户发布Web服务,Web服务可以使用CGI网关、linux系统的Apache服务或nginx服务、windows系统的IIS服务,支持http和https协议。应用服务提供云服务的存储、图像识别、操作质控服务的应用程序接口和安全加密认证接口,应用服务支持JSON,XML等协议,支持加密令牌认证。云存储提供海量数据的存储功能,云存储服务可以是对象存储服务,也可以是分布式关系数据库,各种NoSQL数据库,Key-Value数据库。负载均衡及消息队列服务将计算任务均衡分配到深度学习集群中,使用了分布式消息队列服务,负载均衡支持轮询,权值,流量比例等多种策略。深度学习服务集群具有强大的计算能力,支持openMPI(并行计算库),Apachespark大数据分析平台,谷歌公司的张量计算平台Tensorflow,深度学习库Torch,深度学习平台Theano,深度学习平台MXNet等多种平台,并部署多种深度学习推理模型满足应用要求,例如用于识别消化道病灶和消化道部位的深度学习模型。
当本地服务器和云端服务器是连通状态的时候,本地服务器可以向云端服务器发送图像、或数据处理的中间结果,中间结果包括但不限于:尺度不变特征变换(SIFT),方向梯度直方图(HOG),加速稳健特征(SURF)等图像特征值,深度学习卷积计算产生的向量或张量,图像组成的多维数组等形式。当本地服务器和云服务器无法连通或没有授权时,本地服务器将直接处理并将结果反馈给胶囊内镜数据采集系统。
基于上述胶囊内镜阅片以及质量控制系统,本发明的胶囊内镜阅片以及质量控制方法,包括在上文胶囊内镜阅片以及质量控制系统中描述的所有处理流程及方法描述,以下仅系统地、简要概括说明部分方法。
胶囊内镜阅片以及质量控制方法包括:胶囊内镜数据采集系统向本地服务器发送图像数据和传感器数据;本地服务器通过消化道位置识别模块和质控流程匹配模块,基于图像数据和传感器数据实现质控流程,具体为:通过消化道位置识别模块对图像数据和传感器数据处理,通过质控流程匹配模块根据消化道位置识别模块的处理结果匹配质控操作内容,并向胶囊内镜数据采集系统返回病灶识别结果以及质控操作内容。
具体地,所述消化道位置识别模块对图像数据和传感器数据的处理流程是:首先,图像数据筛选模块对从胶囊内镜数据采集系统接收到的图像数据进行预处理,去除各种不清晰、过亮或过暗的图像;其次,消化道解剖学部位识别算法根据胶囊拍摄到的图像识别出消化道的解剖学部位,消化道病灶识别算法识别出消化道的阳性病灶;然后,位置识别模块根据消化道解剖学部位以及胶囊内部的加速度传感器、陀螺仪、TOF距离传感器及磁场传感器等传感器数据,分析得到胶囊内窥镜所处的消化道相对位置以及当前位置所包含的阳性病灶。
其中,所述消化道识别模块在图像处理方法上采用了CPU+GPU或CPU+FPGA的异构计算技术;具体可参考上文描述,于此不再赘述。
所述本地服务器的质控处理流程具体可参考图2及上文描述,在此简单描述为:首先,消化道位置识别模块对图像数据和传感器数据进行处理,识别出消化道位置信息及病灶信息后将其发送给质控流程匹配模块;其次,质控流程匹配模块将消化道位置信息及病灶信息与操作质控模块相匹配,产生相应的质控操作码,并将质控操作码传输给胶囊内镜数据采集系统,所述质控操作码包含当前应该执行的操作信息;然后,胶囊内镜数据采集系统收到质控操作码之后,判断胶囊内窥镜是否达到消化道位置区间的阈值,如果达到阈值,须要向操作者提示质控操作码;否则,记录质控标识。
进一步地,所述的胶囊内镜阅片以及质量控制方法还包括检查过程质控处理流程,所述检查过程质控处理流程为:当消化道位置识别模块识别到消化道部位后,在胶囊内镜数据采集系统显示器上的模拟消化道3D模型上高亮显示该消化道部位;当消化道位置识别模块识别到消化道疑似病灶时,在实时浏览界面向操作者提示质控操作码。
所述的胶囊内镜阅片以及质量控制方法还包括本地服务器与胶囊内镜数据采集系统的自动配置方法流程,其具体可参考图4所示及上文描述,在此简单描述为:胶囊内镜数据采集系统向局域网中发送IP组播或IP广播报文,等待本地服务器的单播响应;如果胶囊内镜数据采集系统收到本地服务器的消息,则记录本地服务器的IP地址并建立socket或RPC连接;待连接建立之后,胶囊内镜数据采集系统与本地服务器同步双方的系统配置。
所述胶囊内镜阅片以及质量控制方法还包括:通过云端服务器远程更新本地服务器的主控程序、图像处理算法、解剖学部位识别算法、消化道病灶识别算法、深度学习模型。
综上所述,本发明的胶囊内镜阅片以及质量控制系统及控制方法,通过质控流程匹配模块根据消化道位置识别模块的处理结果匹配质控操作内容,并向胶囊内镜数据采集系统返回病灶识别结果以及质控操作内容;对医生的操作具有指导意义。
应当理解,虽然本说明书按照实施方式加以描述,但并非每个实施方式仅包含一个独立的技术方案,说明书的这种叙述方式仅仅是为清楚起见,本领域技术人员应当将说明书作为一个整体,各实施方式中的技术方案也可以经适当组合,形成本领域技术人员可以理解的其他实施方式。
上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施方式的具体说明,它们并非用以限制本发明的保护范围,凡未脱离本发明技艺精神所作的等效实施方式或变更均应包含在本发明的保护范围。

Claims (14)

1.一种胶囊内镜阅片以及质量控制系统,其特征在于,包括:
胶囊内镜数据采集系统,其包括胶囊内窥镜、控制所述胶囊内窥镜移动和/或转动的体外磁场装置、与所述胶囊内窥镜和所述体外磁场装置均通讯连接的控制器;
与胶囊内镜数据采集系统通讯连接的本地服务器,所述本地服务器包括消化道位置识别模块和质控流程匹配模块,所述质控流程匹配模块内预先设定有与消化道位置和/或病灶信息相对应的操作质控模型;质控流程匹配模块和消化道位置识别模块均与所述控制器通讯连接。
2.根据权利要求1所述的胶囊内镜阅片以及质量控制系统,其特征在于:所述消化道位置识别模块内具有:
图像数据筛选模块,用以筛选从所述胶囊内镜数据采集系统获取的图像数据;
消化道部位识别模块,内设有根据筛选后的图像识别出消化道的解剖学部位的消化道解剖学部位识别算法;
病灶识别模块,内设有识别出消化道的阳性病灶的消化道病灶识别算法;
位置识别模块,根据消化道解剖学部位以及胶囊内窥镜内部的加速度传感器、陀螺仪、TOF距离传感器及磁场传感器的传感器数据,分析得出胶囊内窥镜所处的消化道相对位置以及当前位置所包含的病灶。
3.根据权利要求1所述的胶囊内镜阅片以及质量控制系统,其特征在于:所述本地服务器与所述胶囊内镜数据采集系统通过局域网连接,或通过交换机、路由器、网线直连的方式连接。
4.根据权利要求1所述的胶囊内镜阅片以及质量控制系统,其特征在于:所述胶囊内镜阅片以及质量控制系统还包括与所述本地服务器通讯连接的云端服务器。
5.根据权利要求4所述的胶囊内镜阅片以及质量控制系统,其特征在于:所述云端服务器与所述本地服务器通过互联网连接,或通过企业内部局域网连接。
6.根据权利要求5所述的胶囊内镜阅片以及质量控制系统,其特征在于:所述云端服务器与所述本地服务器通过加密连接方式连接。
7.根据权利要求4所述的胶囊内镜阅片以及质量控制系统,其特征在于:所述云端服务器的服务架构包括web服务、应用服务、云存储、负载均衡及消息队列服务、深度学习服务集群服务。
8.一种胶囊内镜阅片以及质量控制方法,其特征在于:包括如下步骤:
胶囊内镜数据采集系统向本地服务器发送图像数据和传感器数据;
本地服务器通过消化道位置识别模块和质控流程匹配模块,基于图像数据和传感器数据实现质控流程,具体为:通过消化道位置识别模块对图像数据和传感器数据处理,通过质控流程匹配模块根据消化道位置识别模块的处理结果匹配质控操作内容,并向胶囊内镜数据采集系统返回病灶识别结果以及质控操作内容。
9.根据权利要求8所述的胶囊内镜阅片以及质量控制方法,其特征在于:
所述消化道位置识别模块对图像数据和传感器数据的处理流程是:
首先,图像数据筛选模块对从胶囊内镜数据采集系统接收到的图像数据进行预处理,去除各种不清晰、过亮或过暗的图像;
其次,消化道解剖学部位识别算法根据胶囊拍摄到的图像识别出消化道的解剖学部位,消化道病灶识别算法识别出消化道的阳性病灶;
然后,位置识别模块根据消化道解剖学部位以及胶囊内部的加速度传感器、陀螺仪、TOF距离传感器及磁场传感器等传感器数据,分析得到胶囊内窥镜所处的消化道相对位置以及当前位置所包含的阳性病灶。
10.根据权利要求8所述的胶囊内镜阅片以及质量控制方法,其特征在于:
所述消化道识别模块在图像处理方法上采用了CPU+GPU或CPU+FPGA的异构计算技术。
11.根据权利要求8所述的胶囊内镜阅片以及质量控制方法,其特征在于:所述本地服务器的质控处理流程具体为:
首先,消化道位置识别模块对图像数据和传感器数据进行处理,识别出消化道位置信息及病灶信息后将其发送给质控流程匹配模块;
其次,质控流程匹配模块将消化道位置信息及病灶信息与操作质控模块相匹配,产生相应的质控操作码,并将质控操作码传输给胶囊内镜数据采集系统,所述质控操作码包含当前应该执行的操作信息;
然后,胶囊内镜数据采集系统收到质控操作码之后,判断胶囊内窥镜是否达到消化道位置区间的阈值,如果达到阈值,须要向操作者提示质控操作码;否则,记录质控标识。
12.根据权利要求11所述的胶囊内镜阅片以及质量控制方法,其特征在于:
所述的胶囊内镜阅片以及质量控制方法还包括检查过程质控处理流程,所述检查过程质控处理流程为:
当消化道位置识别模块识别到消化道部位后,在胶囊内镜数据采集系统显示器上的模拟消化道3D模型上高亮显示该消化道部位;当消化道位置识别模块识别到消化道疑似病灶时,在实时浏览界面向操作者提示质控操作码。
13.根据权利要求8所述的胶囊内镜阅片以及质量控制方法,其特征在于:所述的胶囊内镜阅片以及质量控制方法还包括本地服务器与胶囊内镜数据采集系统的自动配置方法流程,其具体为:
胶囊内镜数据采集系统向局域网中发送IP组播或IP广播报文,等待本地服务器的单播响应;如果胶囊内镜数据采集系统收到本地服务器的消息,则记录本地服务器的IP地址并建立socket或RPC连接;待连接建立之后,胶囊内镜数据采集系统与本地服务器同步双方的系统配置。
14.根据权利要求8所述的胶囊内镜阅片以及质量控制方法,其特征在于:所述胶囊内镜阅片以及质量控制方法还包括:通过云端服务器远程更新本地服务器的主控程序、图像处理算法、解剖学部位识别算法、消化道病灶识别算法、深度学习模型。
CN201810864341.1A 2018-08-01 2018-08-01 胶囊内镜阅片及质量控制的系统及控制方法 Active CN109272483B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201810864341.1A CN109272483B (zh) 2018-08-01 2018-08-01 胶囊内镜阅片及质量控制的系统及控制方法
US16/529,659 US20200043613A1 (en) 2018-08-01 2019-08-01 Capsule endoscopy image review and quality control system and control method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810864341.1A CN109272483B (zh) 2018-08-01 2018-08-01 胶囊内镜阅片及质量控制的系统及控制方法

Publications (2)

Publication Number Publication Date
CN109272483A CN109272483A (zh) 2019-01-25
CN109272483B true CN109272483B (zh) 2021-03-30

Family

ID=65153037

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810864341.1A Active CN109272483B (zh) 2018-08-01 2018-08-01 胶囊内镜阅片及质量控制的系统及控制方法

Country Status (2)

Country Link
US (1) US20200043613A1 (zh)
CN (1) CN109272483B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022532422A (ja) * 2019-05-17 2022-07-14 ギブン イメージング リミテッド カプセル内視鏡検査処置のためのシステム、デバイス、アプリ、及び方法
KR102292404B1 (ko) * 2019-08-12 2021-08-20 아주대학교산학협력단 캡슐 내시경, 캡슐 내시경과 연동하는 수신 장치 및 캡슐 내시경 제어 방법
CN111227768A (zh) * 2020-01-16 2020-06-05 重庆金山医疗技术研究院有限公司 一种内窥镜的导航控制方法及装置
CN111739617B (zh) * 2020-06-15 2023-07-11 中国医学科学院医学信息研究所 医疗影像人工智能质控标注方法、装置、设备及存储介质
CN111815635B (zh) * 2020-09-11 2020-12-11 安翰科技(武汉)股份有限公司 一种胶囊内窥镜图像质量判断方法和系统
CN112862754A (zh) * 2021-01-05 2021-05-28 重庆天如生物科技有限公司 一种基于智能识别的留图漏检提示系统和方法
CN114637871A (zh) * 2022-03-23 2022-06-17 安翰科技(武汉)股份有限公司 消化道数据库的建立方法、装置及存储介质
CN114494247B (zh) * 2022-04-01 2022-06-21 武汉大学 齿状线分割方法、装置、计算机设备及存储介质
CN115496748B (zh) * 2022-11-08 2023-03-14 武汉楚精灵医疗科技有限公司 小肠图像的肠段识别方法、装置及存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101668473B (zh) * 2007-04-26 2012-07-18 奥林巴斯医疗株式会社 医疗信息管理网络系统
JP5551957B2 (ja) * 2010-03-31 2014-07-16 富士フイルム株式会社 投影画像生成装置およびその作動方法、並びに投影画像生成プログラム
CN106419942B (zh) * 2016-10-31 2019-09-10 中国人民解放军第二军医大学 一种用于消化道隆起性病变筛查的胶囊内镜及其应用
CN106934799B (zh) * 2017-02-24 2019-09-03 安翰科技(武汉)股份有限公司 胶囊内窥镜图像辅助阅片系统及方法
CN107240091B (zh) * 2017-04-21 2019-09-03 安翰科技(武汉)股份有限公司 胶囊内窥镜图像预处理系统及方法
CN108615037A (zh) * 2018-05-31 2018-10-02 武汉大学人民医院(湖北省人民医院) 基于深度学习的可控胶囊内镜操作实时辅助系统及操作方法

Also Published As

Publication number Publication date
US20200043613A1 (en) 2020-02-06
CN109272483A (zh) 2019-01-25

Similar Documents

Publication Publication Date Title
CN109272483B (zh) 胶囊内镜阅片及质量控制的系统及控制方法
CN110473192B (zh) 消化道内镜图像识别模型训练及识别方法、装置及系统
CN108553081B (zh) 一种基于舌苔图像的诊断系统
US11151721B2 (en) System and method for automatic detection, localization, and semantic segmentation of anatomical objects
WO2020103676A1 (zh) 图像识别方法、装置、系统及存储介质
CN110909780A (zh) 一种图像识别模型训练和图像识别方法、装置及系统
WO2011033890A1 (ja) 診断処理装置、診断処理システム、診断処理方法、診断処理プログラム及びコンピュータ読み取り可能な記録媒体、並びに、分類処理装置
CN111311635A (zh) 一种目标定位方法、装置及系统
CN109145759A (zh) 车辆属性识别方法、装置、服务器及存储介质
WO2020177348A1 (zh) 用于生成三维模型的方法和装置
WO2005092176A1 (en) Real-time remote diagnosis of in vivo images
US20140233788A1 (en) System, method, and software for optical device recognition association
WO2020003607A1 (ja) 情報処理装置、モデル学習方法、データ認識方法および学習済みモデル
US20190380781A1 (en) Airway model generation system and intubation assistance system
CN114219897B (zh) 一种基于特征点识别的牙齿正畸结果预测方法及系统
US20220130544A1 (en) Machine learning techniques to assist diagnosis of ear diseases
TW201843647A (zh) 用於促進影像系統之自主控制的系統及方法
WO2023179720A1 (zh) 消化道数据库的建立方法、装置及存储介质
US20220222817A1 (en) Transfer learning for medical applications using limited data
CN110197722B (zh) Ai-cpu系统平台
WO2023165332A1 (zh) 组织腔体的定位方法、装置、可读介质和电子设备
WO2020071086A1 (ja) 情報処理装置、制御方法、及びプログラム
WO2019235335A1 (ja) 診断支援システム、診断支援方法及び診断支援プログラム
CN114048738A (zh) 基于症状描述的数据采集方法、装置、计算设备、介质
US11049242B2 (en) Portable and rapid screening in vitro detection system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 430000 D3-4 Guanggu Biological City, 666 High-tech Avenue, Donghu New Technology Development Zone, Wuhan City, Hubei Province

Applicant after: Anhan Science and Technology (Wuhan) Co., Ltd.

Address before: 430000 D3-4 Guanggu Biological City, 666 High-tech Avenue, Donghu New Technology Development Zone, Wuhan City, Hubei Province

Applicant before: Ankon Photoelectric Technology (Wuhan) Co., Ltd.

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant