CN103839254B - 基于用户交互的轮廓分割设备和方法 - Google Patents

基于用户交互的轮廓分割设备和方法 Download PDF

Info

Publication number
CN103839254B
CN103839254B CN201310616460.2A CN201310616460A CN103839254B CN 103839254 B CN103839254 B CN 103839254B CN 201310616460 A CN201310616460 A CN 201310616460A CN 103839254 B CN103839254 B CN 103839254B
Authority
CN
China
Prior art keywords
profile
user
modification
display
mode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310616460.2A
Other languages
English (en)
Other versions
CN103839254A (zh
Inventor
金叡薰
禹景久
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN103839254A publication Critical patent/CN103839254A/zh
Application granted granted Critical
Publication of CN103839254B publication Critical patent/CN103839254B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46Arrangements for interfacing with the operator or the patient
    • A61B6/467Arrangements for interfacing with the operator or the patient characterised by special input means
    • A61B6/469Arrangements for interfacing with the operator or the patient characterised by special input means for selecting a region of interest [ROI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486Drag-and-drop
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20092Interactive image processing based on input by user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20092Interactive image processing based on input by user
    • G06T2207/20096Interactive definition of curve of interest

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radiology & Medical Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)
  • Position Input By Displaying (AREA)
  • Picture Signal Circuits (AREA)
  • Image Processing (AREA)

Abstract

提供了一种基于用户交互的轮廓分割设备和方法,所述设备包括:界面单元,被配置为向终端提供支持一个或更多个模式的界面,并在界面上显示包括感兴趣区域的轮廓的图像。所述设备还包括轮廓修改单元,被配置为基于用户从所述一个或更多个模式选择的模式和用户执行的操作来修改轮廓。

Description

基于用户交互的轮廓分割设备和方法
本申请要求于2012年11月27日提交到韩国知识产权局的第10-2012-0135473号韩国专利申请的权益,所述申请的全部公开通过引用合并于此以用于各种目的。
技术领域
以下描述涉及一种用于基于用户交互来对图像中的病变区域的轮廓进行分割的设备和方法。
背景技术
一般而言,医学图像中的感兴趣区域(ROI)的准确轮廓在通过计算机辅助诊断(CAD)系统确定诊断结果方面会起到重要作用。也就是说,当获得了ROI(具体地讲,病变区域)的准确轮廓时,可准确提取出所述轮廓的相应特征值。因此,使用提取的特征值可使得能够做出关于相应病变是良性还是恶性的准确分类,从而提高诊断的准确度。
然而,由于在一般的CAD系统中提供的边界不总是准确的,因此需要用户修改。然而,在一般的CAD系统中提供的轮廓修改通常通过经由鼠标或触摸屏输入点来执行,这不便且耗时。
发明内容
在一个总体方面,一种设备包括:界面单元,被配置为向终端提供支持一个或更多个模式的界面,并在界面上显示包括感兴趣区域的轮廓的图像。所述设备还包括:轮廓修改单元,被配置为基于由用户从所述一个或更多个模式选择的模式以及由用户执行的操作来修改轮廓。
在另一总体方面,一种方法包括:向终端提供支持一个或更多个模式的界面,并在界面上显示包括感兴趣区域的轮廓的图像。所述方法还包括:基于由用户从所述一个或更多个模式中选择的模式以及由用户执行的操作来修改轮廓。
从以下详细描述、附图和权利要求中,其他特征和方面将是清楚的。
附图说明
图1是示出轮廓分割设备的示例的框图。
图2是示出轮廓分割设备的界面的示例的示图。
图3A至图3D是示出轮廓分割设备的部分修改模式的示例的示图。
图4是示出轮廓分割设备的全部修改模式的示例的示图。
图5A至图5B是示出轮廓分割设备的自由修改模式的示例的示图。
图6是示出轮廓分割方法的示例的流程图。
图7是示出在轮廓分割方法中修改轮廓的示例的详细流程图。
具体实施方式
提供以下详细描述以帮助读者全面理解在此描述的方法、设备和/或系统。然而,在此描述的系统、设备和/或方法的各种改变、修改和等同物对于本领域普通技术人员而言将是清楚的。此外,为了更加清楚和简明,对于本领域普通技术人员而言已知的功能和构造的描述可被省略。
贯穿附图和详细描述,相同的参考标号是指相同的元件。附图可不必是按比例的,为了清楚、图示和方便,可夸大附图中的元件的相对大小、比例和描绘。
在此描述的特征可以以不同的形式被实施,并且将不被解释为受限于在此描述的示例。确切地说,已提供在此描述的示例使得本公开将彻底且完整,并且将本公开的全部范围传达给本领域的普通技术人员。
图1是示出轮廓分割设备100的示例的框图。轮廓分割设备100可被应用于计算机辅助诊断(CAD)系统,并可提供界面使得由CAD系统从医学图像提取的感兴趣区域(ROI)(例如,病变区域)轮廓可被用户容易且准确地修改,从而提高诊断的准确性。此外,轮廓分割设备100可被应用于除CAD系统以外的图像处理系统,并可提供支持使得能够准确分割由所述图像处理系统从图像提取的ROI的轮廓。参照图1,轮廓分割设备100包括轮廓输入单元110、界面单元120和轮廓修改单元130。
轮廓输入单元110接收图像,并可接收从所述图像提取的ROI的轮廓的信息。例如,轮廓输入单元110可接收医学图像和CAD系统从所述医学图像提取的ROI的轮廓的信息。在另一示例中,轮廓输入单元110接收图像,并可将轮廓分割算法(诸如,例如主动轮廓模型)应用于接收的图像以从接收的图像提取ROI的轮廓。
界面单元120向用户终端提供基于用户交互的界面。例如,用户终端可以是全硬件装置,诸如,计算机、膝上型计算机、智能电话、平板个人计算机(PC)和/或本领域普通技术人员已知的其他硬件装置。界面单元120可将界面输出到用户终端的显示单元(例如,监控器、触摸面板和/或本领域普通技术人员已知的其他显示单元)。用户可通过提供的界面容易地执行修改轮廓的各种操作,并且轮廓分割设备100可接收并处理与用户执行的各种操作相应的用户输入。此外,界面单元120基于接收的轮廓或提取的轮廓产生轮廓,并将产生的轮廓叠加在接收的图像上以在界面上显示叠加的轮廓。
图2是示出轮廓分割设备的界面20的示例的示图。将参照图1和图2描述界面20和通过界面20进行的轮廓修改。
界面单元120可将界面20输出到用户终端10的显示单元。界面20包括显示轮廓25的图像输出区域23以及可被用户使用以选择轮廓修改模式(即,全部修改模式、部分修改模式或自由修改模式)的轮廓修改模式选择区域21。此外,用户可在图像输出区域23使用输入对象27(诸如,例如手、手指、鼠标、触控笔和/或本领域普通技术人员已知的其他输入对象)执行预定操作,从而修改轮廓25。
例如,用户可通过重复执行点击操作若干次,使用输入对象27执行拖动操作,和/或执行摇摄操作(panning operation)来修改轮廓25,其中,在所述摇摄操作中完成沿预定方向的触摸面板上的移动。可选择地,用户可通过执行预定时间的按压操作来修改轮廓25。这些操作仅仅是示例(图1和图2的示例不限于所述示例),可通过提前设置的多种其他手势或多触摸来修改轮廓25。
当用户通过输入对象27在界面20上执行预定操作时,轮廓修改单元130接收与所述预定操作相应的用户输入,并基于所述用户输入和用户选择的模式来修改轮廓25。例如,当用户在轮廓25内部执行所述预定操作时(例如,当用户初始执行所述操作的点(例如,点击点或摇摄或拖动操作的起始点)出现在轮廓25内部时),轮廓修改单元130可向内修改轮廓25。在另一示例中,当用户在轮廓25外部执行所述预定操作时(例如,当用户初始执行所述操作的点(例如,摇摄或拖动操作的起始点)出现在轮廓25外部时),轮廓修改单元130可向外修改轮廓25。在又一示例中,当用户执行多操作时,轮廓修改单元130可在用户的两个手指在同时触摸触摸面板的同时朝着彼此移动时向外修改轮廓25,并可在用户的两个手指在同时触摸触摸面板的同时彼此分离地移动时向内修改轮廓25。
轮廓修改单元130可将轮廓分割算法的阈值设置得高于原始阈值,从而当与用户执行的操作相应的输入在于向内修改轮廓25时减小轮廓25,轮廓修改单元130可将所述阈值设置得低于原始阈值,从而当所述输入在于向外修改轮廓25时增大轮廓。
轮廓修改单元130可基于与用户执行的操作相应的输入的类型、所述输入的强度和/或所述输入的速度来调整轮廓分割算法的阈值。轮廓修改单元130可将经过调整的阈值应用于轮廓修改算法,以修改轮廓25。
例如,当用户执行的操作是产生离散输入的操作(诸如,重复若干次的点击操作、摇摄操作和/或拖动操作)时,所述阈值的调整幅度可被相对增大以重新计算轮廓25,由此可呈现出轮廓25离散地改变。当用户执行的操作是产生连续输入的操作(诸如预定时间的按压操作)时,所述阈值的调整幅度可被相对减小以重新计算轮廓25,由此可呈现出轮廓25连续改变。
在另一示例中,所述阈值的调整幅度可基于所述输入的速度而被更加精密地调整。例如,在当点击操作被用户重复若干次的同时点击操作的速度增大时,所述阈值的调整幅度可被相对减小,并且在当点击操作被用户重复若干次的同时点击操作的速度减小时,所述阈值的调整幅度可被相对增大,从而调整轮廓25的改变程度。按照相同的方式,当用户执行的摇摄操作的速度增大或减小时,所述阈值的调整幅度可相对增大或减小,从而调整轮廓25的改变程度。
在又一示例中,可通过基于所述输入的强度更加精密地调整所述阈值的调整幅度来调整轮廓25的改变程度。例如,在当用户执行预定时间的按压操作的同时按压操作的压力或输入强度增大时,所述阈值的调整幅度可被相对减小,使得轮廓25可更加连续地改变。在当用户执行预定时间的按压操作的同时按压操作的输入强度减小时,所述阈值的调整幅度可被相对增大,使得轮廓25可相对离散地改变。
在又一示例中,当用户执行了预定时间的按压操作时,轮廓修改单元130可提前设置时间单位,并可在每当经过设置的时间单位时改变所述阈值的调整幅度,从而调整所述阈值。例如,可在每当以三秒为单位经过按压时间时减小所述阈值的调整幅度,使得轮廓25的改变的幅度可被减小。
当通过轮廓修改单元130重新计算轮廓25时,界面单元120产生重新计算的轮廓25,并在界面20上显示产生的轮廓25。当通过轮廓修改单元130反复修改轮廓25时,界面单元120在界面20上反复显示修改的轮廓25的改变,使得用户可确认基于用户已执行的操作而改变的轮廓25。
在该示例中,界面单元120可通过将轮廓25的类型、颜色和/或粗细与原始轮廓的类型、颜色和/或粗细进行区分来在界面20上显示轮廓25的改变,使得用户可用裸眼容易地确认轮廓25的改变。例如,当原始轮廓是黑色实线时,修改的轮廓25可按照多种组合(诸如黑色虚线、红色实线和红色虚线)来显示。
同时,用户可从界面20的轮廓修改模式选择区域21选择用于修改轮廓25的轮廓修改模式。在下文中,将参照图3A至图5B描述轮廓修改模式。
图3A至图3D是示出轮廓分割设备100的部分修改模式的示例的示图。图3A是示出在部分修改模式下修改轮廓30的示例的示图,如图3A中所示,轮廓30的部分或预定范围被修改。图3A的左侧示出在界面上通过用户在轮廓30内部操作输入对象32来向内修改轮廓30,图3A的右侧示出在界面上通过用户在轮廓30外部操作输入对象32来向外修改轮廓30
参照图1和图3B,当用户在轮廓修改模式之中选择部分修改模式时,轮廓修改单元130可通过将轮廓分割算法应用于轮廓30的预定范围来部分地修改轮廓30。所述预定范围可以是针对用户通过输入对象32执行操作的初始点33提前设置的范围34。当所述范围34被设置增大以便包括全部轮廓30时,即使用户选择部分修改模式,也可操作全部修改模式,因此,轮廓分割算法可被应用于轮廓30的全部范围。
此外,如图3C和图3D中所示,用户可直接设置应用轮廓分割算法的预定范围。参照图1和图3C,界面单元120在界面上分别输出图形35和图形36,其中,所述图形35和图形36包括当用户选择部分修改模式时由用户指定或选择的各自的预定形状(例如,圆形、椭圆形、多边形和/或本领域普通技术人员已知的其他形状)。用户可使用输入对象32调整各图形35和图形36的大小,由此轮廓30的预定范围被设置为与图形35和图形36相应。
此外,如图3D的上部分中所示,用户可通过输入对象32指定自由区域37,以修改轮廓30的与自由区域37相应的部分,由此轮廓30的预定范围被设置为与自由区域37相应。此外,如图3D的下部分中所示,用户可使用输入对象32以自由曲线38的形式选择轮廓30的预定范围,由此所述预定范围被设置为与所述自由曲线38相应。
再次参照图1和图3C至图3D,当用户选择部分修改模式时,界面单元120可在界面上输出可被用户使用以选择设置轮廓30的被修改的范围(例如,通过图形、自由区域和自由曲线)的方法的菜单(例如,弹出菜单)。当用户选择通过图形设置被修改的范围的方法时,界面单元120可在界面上输出可被用户使用以选择多种图形中的任意一种的附加菜单。当用户把将用于修改轮廓30的预定范围设置为以包括全部轮廓30时,可操作全部修改模式,并且可将轮廓修改算法应用于全部轮廓30。
图4是示出轮廓分割设备100的全部修改模式的示例的示图。参照图1和图4,当用户在界面的轮廓修改模式之中选择全部修改模式时,轮廓修改单元130基于与用户执行的操作相应的输入来调整轮廓40的全部范围的阈值,从而将轮廓分割算法应用于所述全部范围并重新计算轮廓40。
更详细地讲,如图4的上部分中所示,当用户通过输入对象42在轮廓40内部执行预定操作(诸如,例如点击操作)时,轮廓修改单元130将所述阈值调整得高于原始阈值,使得轮廓40被向内修改,也就是说,轮廓40按照轮廓40被减小的方向来修改。可选择地,如图4的下部分中所示,当用户通过输入对象42在轮廓40外部执行预定操作时,轮廓修改单元130将所述阈值调整得低于原始阈值,使得轮廓40被向外修改,也就是说,轮廓40按照轮廓40被增大的方向来修改。
图5A至图5B是示出轮廓分割设备100的自由修改模式的示例的示图。参照图1和图5A至图5B,轮廓分割设备100支持自由修改模式,使得用户可自由地修改轮廓。
如图5A的上部分中所示,用户针对原始轮廓50中将被修改的一部分,使用输入对象52直接在界面上绘制轮廓51。用户可以以相对精密的方式部分地或整个地修改原始轮廓50。轮廓修改单元130基于用户直接绘制轮廓51的操作来修改原始轮廓50。按照这种方式,最终修改的轮廓53可如图5A的下部分中所示被显示在界面上。同时,用户可通过重复绘制所述轮廓若干次来修改所述轮廓,直到用户期望的轮廓被产生并被显示为止。
参照图5B,当用户使用输入对象52绘制轮廓51从而修改输出在界面60的图像输出区域61上的原始轮廓50时,界面单元120可在界面60的预定区域62上显示不包括输入对象52的绘制有轮廓51的部分。这是为了允许用户确认当轮廓51被输入对象52覆盖并且对用户不可见时轮廓51是否被准确地绘制。预定区域62可支持放大镜模式,其中,所述放大镜模式可被用户使用以按照用户选择的至少一个步长(例如,放大或缩小)来放大或减小绘制有轮廓51的部分,使得用户可通过按照逐步的方式放大或缩小绘制有轮廓51的部分容易地确认轮廓51被准确绘制。
图6是示出轮廓分割方法的示例的流程图,图7是示出在轮廓分割方法中修改轮廓的示例的详细流程图。参照图6和图7,可由图1的轮廓分割设备100执行所述轮廓分割方法。
在操作610,轮廓分割设备100向用户终端提供支持一个或更多个轮廓修改模式的界面。用户可使用多种输入对象(诸如,例如手、手指、鼠标、触控笔和/或本领域普通技术人员已知的其他输入对象)来在所述界面上执行多种操作。轮廓分割设备100可接收并处理与用户在所述界面上执行的操作相应的输入。轮廓修改模式可包括如图2中示出的部分修改模式、全部修改模式和/或自由修改模式,并且每个模式可被输出在所述界面的轮廓修改模式选择区域21上,使得用户可选择所述模式中的任意模式。
在操作620,轮廓分割设备100将从图像提取的ROI的轮廓叠加在图像上,并在界面上显示包括轮廓的叠加图像。轮廓分割设备100可从CAD系统或图像处理系统接收图像和/或轮廓的信息,基于接收的信息产生轮廓,将产生的轮廓叠加在接收的图像上,并在界面上显示叠加的轮廓。在仅图像被接收时,轮廓分割设备100可从图像提取轮廓的信息。
在操作630,当用户选择轮廓修改模式中的任意轮廓修改模式并执行预定操作以修改轮廓时,轮廓分割设备100基于用户从多种轮廓修改模式选择的轮廓修改模式和与用户执行的预定操作相应的输入来修改轮廓。将参照图7更详细地描述修改轮廓的步骤。
参照图7,在操作701,轮廓分割设备100从用户接收选择的轮廓修改模式和与预定操作相应的输入。
在操作702,轮廓分割设备100确定选择的轮廓修改模式是全部修改模式、部分修改模式还是自由修改模式。当选择的轮廓修改模式被确定为全部修改模式时,轮廓分割设备100在操作703继续。当选择的轮廓修改模式被确定为部分修改模式时,轮廓分割设备100在操作705继续。当选择的轮廓修改模式被确定为自由修改模式时,轮廓分割设备100在操作711继续。
在操作703,轮廓分割设备100针对显示在界面上的轮廓的全部范围调整轮廓分割算法的阈值和/或参数。用户可确认用户执行操作的点(例如,点击点、以及遥摄与拖动操作的起始点),并确定是向内还是向外修改轮廓。如图4中所述,当在轮廓内部执行操作时,所述阈值可被设置得高于原始阈值,从而减小轮廓,当在轮廓外部执行操作时,所述阈值可被设置得低于原始阈值,从而增大轮廓。
此外,可基于根据用户执行的操作的输入的类型、所述输入的强度和/或所述输入的速度来将所述阈值的调整幅度调整为不同,由此可改变轮廓的改变程度。如上所述,当执行离散输入的操作(诸如点击操作的重复、遥摄操作和/或拖动操作)被执行时,所述阈值的调整幅度可增大,使得轮廓可被离散地改变。另一方面,当连续输入(诸如预定时间的按压操作)被执行时,所述阈值的调整幅度可被减小,使得轮廓可被连续改变。
在操作704,轮廓分割设备100将经过调整的阈值和/或参数应用于轮廓分割算法以重新计算全部轮廓。
在操作705,轮廓分割设备100确定是否接收到用于设置或修改预定范围的请求,即,是否请求了范围修改,其中,用户在所述预定范围中修改轮廓。当确定请求了范围修改时,轮廓分割设备100在操作707继续。否则,轮廓分割设备100在操作706继续。
在操作706,轮廓分割设备100将轮廓修改范围限定为相对于执行操作的初始点的预定大小的范围。
在操作707,轮廓分割设备100在界面上显示或提供可被用户使用以选择可用于在所述界面上设置轮廓修改范围的各种模式(即,范围设置模式)的菜单。例如,所述范围设置模式可包括如图3B至3D中所示的使用图形的范围设置模式、使用自由区域的范围设置模式、使用自由曲线的范围设置模式。
在操作708,当用户使用选择的范围设置模式设置预定范围时,轮廓分割设备100将轮廓修改范围限定为由用户直接设置的预定范围。当所述预定大小的范围或用户设置的预定范围包括如上所述的显示在界面上的全部轮廓时,可操作全部修改模式。
在操作709,轮廓分割设备100针对限定的预定范围调整阈值和/或参数。按照与全部修改模式中的相同方式,可基于限定的预定范围内的用户执行操作的点、根据用户执行的操作的输入的类型、所述输入的强度和/或所述输入的速度来将所述阈值的调整幅度调整为不同,由此可改变轮廓的改变程度。
在操作710,轮廓分割设备100将经过调整的阈值和/或参数应用于轮廓分割算法以重新计算轮廓的限定的预定范围。
在操作711,当用户在界面上执行绘制轮廓的操作时,轮廓分割设备100基于与所述操作相应的输入来修改轮廓,并在界面上显示用户绘制的轮廓。
在操作712,轮廓分割设备100确定是否接收到允许将绘制有轮廓的部分(不包括输入对象)显示在界面的预定区域上的修改请求。当确定接收到修改请求时,轮廓分割设备100在操作713中继续。否则,轮廓分割设备100结束轮廓分割方法。
在操作713,轮廓分割设备100在界面的预定区域上修改并显示绘制有轮廓的部分。例如,可从用户接收修改的信息,并且轮廓可被修改并显示以匹配所述信息。
再次参照图6,在操作640,轮廓分割设备100在界面上显示修改的轮廓的改变。例如,可通过将修改的轮廓的类型、颜色和/或粗细与原始轮廓的类型、颜色和/或粗细进行区分来显示修改的轮廓的改变,使得用户可容易地确认修改的轮廓的改变。
可使用一个或更多个硬件组件、一个或更多个软件组件或者一个或更多个硬件组合和一个或更多个软件组件的组合来实现上述各种单元和方法。
硬件组件可以是例如物理地执行一个或更多个操作的物理装置,但不限于此。硬件组件的示例包括麦克风、放大器、低通滤波器、高通滤波器、带通滤波器、模数转换器、数模转换器和处理装置。
可例如通过由用于执行一个或更多个操作的指令或软件控制的处理装置来实现软件组件,但不限于此。计算机、控制器或其他控制装置可使处理装置运行软件或执行指令。可通过一个处理装置实现一个软件组件,或者可通过一个处理装置实现两个或更多个软件组件,或者可通过两个或更多个处理装置实现一个软件组件,或者可通过两个或更多个处理装置实现两个或更多个软件组件。
可使用一个或更多个通用计算机或专用计算机(诸如,例如处理器、控制器和算术逻辑单元、数字信号处理器、微型计算机、现场可编程阵列、可编程逻辑单元、微处理器、或能够运行软件或执行指令的任何其他装置)来实现处理装置。处理装置可运行操作系统(OS),并可运行在OS下操作的一个或更多个软件应用。处理装置可在运行软件或执行指令时访问、存储、操纵、处理和创建数据。为了简明,在描述中可使用单数术语“处理装置”,但是本领域普通技术人员将理解:处理装置可包括多个处理元件和多种类型的处理元件。例如,处理装置可包括一个或更多个处理器或者包括一个或更多个处理器和一个或更多个控制器。此外,不同的处理配置是可行的,诸如并行处理器或多核处理器。
被配置用于实现软件组件以执行操作A的处理装置可包括编程为运行软件或执行指令以控制处理器执行操作A的处理器。此外,被配置用于实现软件组件以执行操作A、操作B和操作C的处理装置可包括各种配置,诸如,例如被配置用于实现软件组件以执行操作A、B和C的处理器;被配置用于实现软件组件以执行操作A的第一处理器、以及被配置用于实现软件组件以执行操作B和C的第二处理器;被配置用于实现软件组件以执行操作A和B的第一处理器、以及被配置用于实现软件组件以执行操作C的第二处理器;被配置用于实现软件组件以执行操作A的第一处理器、被配置用于实现软件组件以执行操作B的第二处理器、以及被配置用于实现软件组件以执行操作C的第三处理器;被配置用于实现软件组件以执行操作A、B和C的第一处理器和被配置用于实现软件组件以执行操作A、B和C的第二处理器;或均实现操作A、B和C中的一个或更多个的一个或更多个处理器的任何其他配置。尽管这些示例参照三个操作A、B和C,但是可实现的操作的数量不限于三个,而是可实现的操作的数量可以是实现期望的结果或执行期望的任务所需的任意数量的操作。
控制处理装置实现软件组件的软件或指令可包括独立地或共同地指示或配置所述处理装置执行一个或更多个期望的操作的计算机程序、一条代码、指令或它们的某些组合。所述软件或指令可包括可被处理装置直接执行的机器代码(诸如由编译器产生的机器代码)和/或可由处理装置使用解释器执行的更高级代码。所述软件或指令以及任何相关数据、数据文件和数据结构可被永久地或暂时地包含在能够将指令或数据提供给处理装置或能够被处理装置解释的任意类型的机器、组件、物理设备或虚拟设备、计算机存储介质或装置、或传播信号波中。所述软件或指令以及任何相关数据、数据文件和数据结构还可分布在联网的计算机系统上,从而所述软件或指令以及任何相关数据、数据文件和数据结构以分布式方式被存储和执行。
例如,所述软件或指令以及任何相关数据、数据文件和数据结构可被记录、存储或固定在一个或更多个非暂时性计算机可读存储介质中。非暂时性计算机可读存储介质可以是能够存储所述软件或指令以及任何相关数据、数据文件和数据结构的任何数据存储装置,使得所述软件或指令以及任何相关数据、数据文件和数据结构可被计算机系统或处理装置读取。非暂时性计算机可读存储介质的示例包括只读存储器(ROM)、随机存取存储器(RAM)、闪存、CD-ROM、CD-R、CD+R、CD-RW、CD+RW、DVD-ROM、DVD-R、DVD+R、DVD-RW、DVD+RW、DVD-RAM、BD-ROM、BD-R、BD-R LTH、BD-RE、磁带、软盘、磁光数据存储装置、光学数据存储装置、硬盘、固态盘或本领域普通技术人员已知的任何其他非暂时性计算机可读存储介质。
实现在此公开的示例的功能程序、代码和代码段可被示例所述领域的程序员基于如在此提供的附图及其相应描述容易地解释。
仅作为非穷举的说明,在此描述的终端和装置可以是移动装置(诸如蜂窝电话、个人数字助理(PDA)、数码相机、便携式游戏机、MP3播放器、便携式/个人多媒体播放器(PMP)、手持电子书、便携式膝上型PC、全球定位系统(GPS)导航装置、平板电脑、传感器)或静止装置(诸如桌上型PC、高清电视(HDTV)、DVD播放器、蓝光播放器、机顶盒、家用电器)或者是本领域普通技术人员已知的能够进行无线通信和/或网络通信的任何其他装置。
尽管本公开包括特定示例,但本领域普通技术人员将清楚,在不脱离权利要求及其等同物的精神和范围的情况下可在这些示例中做出形式和细节上的各种改变。在此描述的示例将仅被视为描述性意义,而不是为了限制的目的。每个示例中的特征或方面的描述将被认为是适合于其他示例中的相似特征或方面。如果描述的技术按照不同的顺序被执行,或者/并且如果描述的系统、架构、装置或电路中的组件以不同的方式被组合并且/或者被其他组件及其等同物取代或补充,则可实现合适的结果。因此,本公开的范围不是由详细的描述来限定,而是由权利要求书及其等同物来限定,并且权利要求书及其等同物的范围内的所有变化将被解释为包括在本公开中。

Claims (23)

1.一种轮廓分割设备,包括:
显示器;
存储器,被配置为存储指令;
至少一个处理器,在执行存储的指令时被配置为进行以下操作:
在显示器上显示包括至少一个感兴趣区域的医学图像;
使用轮廓分割算法提取包括在所述医学图像中的所述至少一个感兴趣区域的轮廓;
在所述医学图像上显示提取的轮廓;以及
基于用户从用于修改轮廓的一个或更多个模式选择的模式以及用户执行的操作,修改显示的轮廓的至少一部分,
其中,所述至少一个处理器还被配置为:
响应于检测到用户执行的操作在轮廓内部,将轮廓分割算法的阈值调整为高于先前阈值使得轮廓被向内修改;并且
响应于检测到用户执行的操作在轮廓外部,将轮廓分割算法的阈值调整为低于所述先前阈值使得轮廓被向外修改。
2.根据权利要求1所述的轮廓分割设备,其中,所述至少一个处理器还被配置为:
基于用户执行的操作的类型、或用户执行的操作的强度、或用户执行的操作的速度、或者是用户执行的操作的类型、用户执行的操作的强度和用户执行的操作的速度的任意组合来调整轮廓分割算法的阈值;
基于经过调整的阈值来修改轮廓。
3.根据权利要求1所述的轮廓分割设备,其中,所述至少一个处理器还被配置为:
在显示器上显示修改的轮廓的改变。
4.根据权利要求3所述的轮廓分割设备,其中,所述至少一个处理器还被配置为:
将修改的轮廓的类型、或颜色、或粗细、或者是修改的轮廓的类型、颜色和粗细的任意组合与所述至少一个感兴趣区域的轮廓的类型、或颜色、或粗细、或者是所述至少一个感兴趣区域的轮廓的类型、颜色和粗细的任意组合进行区分。
5.根据权利要求1所述的轮廓分割设备,其中,所述至少一个处理器还被配置为:
响应于选择的模式是部分修改模式来修改轮廓范围。
6.根据权利要求5所述的轮廓分割设备,其中,所述范围被预先确定,并且包括相对于显示器上用户执行的操作起始的点的预定大小。
7.根据权利要求5所述的轮廓分割设备,其中,由用户使用预定图形、或自由区域、或自由曲线来在显示器上设置所述范围。
8.根据权利要求1所述的轮廓分割设备,其中,所述至少一个处理器还被配置为:
响应于选择的模式是全部修改模式来修改全部轮廓。
9.根据权利要求1所述的轮廓分割设备,其中,所述至少一个处理器还被配置为:
响应于选择的模式是自由修改模式,基于用户在显示器上绘制轮廓的操作来修改轮廓。
10.根据权利要求9所述的轮廓分割设备,其中,所述至少一个处理器还被配置为:
当用户执行的操作被执行时,在显示器的预定区域上显示包括轮廓并且不包括用户使用的对象的部分以执行用户执行的操作。
11.根据权利要求10所述的轮廓分割设备,其中,所述至少一个处理器还被配置为:
通过将包括轮廓并且不包括用户使用的对象的部分放大或减小到用户选择的步长来进行显示。
12.一种轮廓分割方法,包括:
在显示器上显示包括至少一个感兴趣区域的医学图像;
使用轮廓分割算法提取包括在所述医学图像中的所述至少一个感兴趣区域的轮廓;
在所述医学图像上显示提取的轮廓;以及
基于用户从用于修改轮廓的一个或更多个模式选择的模式以及用户执行的操作,修改显示的轮廓的至少一部分,
其中,修改步骤包括:
响应于检测到用户执行的操作在轮廓内部,将轮廓分割算法的阈值调整为高于先前阈值使得轮廓被向内修改;并且
响应于检测到用户执行的操作在轮廓外部,将轮廓分割算法的阈值调整为低于所述先前阈值使得轮廓被向外修改。
13.根据权利要求12所述的轮廓分割方法,其中,修改步骤包括:
基于用户执行的操作的类型、或用户执行的操作的强度、或用户执行的操作的速度、或者是用户执行的操作的类型、用户执行的操作的强度和用户执行的操作的速度的任意组合来调整轮廓分割算法的阈值;
基于经过调整的阈值来修改轮廓。
14.根据权利要求12所述的轮廓分割方法,还包括:
在显示器上显示修改的轮廓的改变。
15.根据权利要求14所述的轮廓分割方法,其中,显示改变的步骤包括:
将修改的轮廓的类型、或颜色、或粗细、或者是修改的轮廓的类型、颜色和粗细的任意组合与所述至少一个感兴趣区域的轮廓的类型、或颜色、或粗细、或者是所述至少一个感兴趣区域的轮廓的类型、颜色和粗细的任意组合进行区分。
16.根据权利要求12所述的轮廓分割方法,其中,修改步骤包括:
响应于选择的模式是部分修改模式来修改轮廓范围。
17.根据权利要求16所述的轮廓分割方法,其中,所述范围被预先确定,并且包括相对于显示器上用户执行的操作起始的点的预定大小。
18.根据权利要求16所述的轮廓分割方法,其中,由用户使用预定图形、或自由区域、或自由曲线来在显示器上设置所述范围。
19.根据权利要求12所述的轮廓分割方法,其中,修改步骤包括:
响应于选择的模式是全部修改模式来修改全部轮廓。
20.根据权利要求12所述的轮廓分割方法,其中,修改步骤包括:
响应于选择的模式是自由修改模式,基于用户在显示器上绘制轮廓的操作来修改轮廓。
21.根据权利要求20所述的轮廓分割方法,还包括:
当用户执行的操作被执行时,在显示器的预定区域上显示包括轮廓并且不包括用户使用的对象的部分以执行用户执行的操作。
22.根据权利要求21所述的轮廓分割方法,还包括:
将包括轮廓并且不包括用户使用的对象的部分放大或减小到用户选择的步长。
23.一种轮廓分割设备,包括:
界面单元;
存储器,被配置为存储指令;
至少一个处理器,在执行存储的指令时被配置为进行以下操作:
接收包括至少一个感兴趣区域的医学图像;
使用轮廓分割算法提取包括在所述医学图像中的所述至少一个感兴趣区域的轮廓;
向外部电子装置发送包括所述医学图像和用于修改轮廓的一个或更多个模式的界面,其中,所述医学图像包括提取出的所述至少一个感兴趣区域的轮廓;
从外部电子装置接收用户从所述一个或更多个模式选择的模式以及用户执行的操作;
基于选择的模式和用户执行的操作来修改轮廓的至少一部分,
其中,所述至少一个处理器还被配置为:
响应于检测到用户执行的操作在轮廓内部,将轮廓分割算法的阈值调整为高于先前阈值使得轮廓被向内修改;并且
响应于检测到用户执行的操作在轮廓外部,将轮廓分割算法的阈值调整为低于所述先前阈值使得轮廓被向外修改。
CN201310616460.2A 2012-11-27 2013-11-27 基于用户交互的轮廓分割设备和方法 Active CN103839254B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2012-0135473 2012-11-27
KR1020120135473A KR102123061B1 (ko) 2012-11-27 2012-11-27 사용자의 인터랙션을 기반으로 영상 내의 윤곽선을 분할하는 장치 및 방법

Publications (2)

Publication Number Publication Date
CN103839254A CN103839254A (zh) 2014-06-04
CN103839254B true CN103839254B (zh) 2019-01-25

Family

ID=49709497

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310616460.2A Active CN103839254B (zh) 2012-11-27 2013-11-27 基于用户交互的轮廓分割设备和方法

Country Status (5)

Country Link
US (1) US10186062B2 (zh)
EP (1) EP2736016B1 (zh)
JP (1) JP2014106980A (zh)
KR (1) KR102123061B1 (zh)
CN (1) CN103839254B (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6134985B2 (ja) 2014-07-31 2017-05-31 富士フイルム株式会社 曲線修正装置および方法並びにプログラム
KR102325345B1 (ko) * 2014-12-15 2021-11-11 삼성전자주식회사 대화형 영상 분할 장치 및 방법
JP6902012B2 (ja) * 2014-12-26 2021-07-14 株式会社根本杏林堂 医用画像表示端末および医用画像表示プログラム
JP6462358B2 (ja) * 2014-12-26 2019-01-30 株式会社根本杏林堂 医用画像表示端末および医用画像表示プログラム
EP3109824B1 (en) * 2015-06-24 2019-03-20 RaySearch Laboratories AB System and method for handling image data
KR20180051288A (ko) * 2016-11-08 2018-05-16 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
WO2018108933A1 (en) * 2016-12-13 2018-06-21 Koninklijke Philips N.V. A method and apparatus for modifying a contour comprising a sequence of points positioned on an image
US9939272B1 (en) * 2017-01-06 2018-04-10 TCL Research America Inc. Method and system for building personalized knowledge base of semantic image segmentation via a selective random field approach
JP6724172B2 (ja) * 2017-01-17 2020-07-15 アルプスアルパイン株式会社 座標入力装置
EP3503026A1 (en) 2017-12-20 2019-06-26 Koninklijke Philips N.V. Device, system and method for interacting with vessel images
CN108287895B (zh) * 2018-01-19 2020-11-06 广东小天才科技有限公司 一种基于显性框调节的搜题方法及系统、手持拍照设备
WO2020174862A1 (ja) * 2019-02-28 2020-09-03 ソニー株式会社 情報処理装置、情報処理方法および情報処理システム
KR102102255B1 (ko) * 2019-05-14 2020-04-20 주식회사 뷰노 의료 영상에서 병변의 시각화를 보조하는 방법 및 이를 이용한 장치
EP3832597A1 (en) * 2019-12-06 2021-06-09 Microsoft Technology Licensing, LLC Refinement of image segmentation
KR102298618B1 (ko) * 2020-02-20 2021-09-06 주식회사 에이모 바운딩 박스 생성 장치 및 그를 이용한 바운딩 박스 생성 방법
CN111881370A (zh) * 2020-05-21 2020-11-03 北京嘀嘀无限科技发展有限公司 一种描绘兴趣区域轮廓的方法及系统
US11893745B2 (en) * 2020-12-09 2024-02-06 Raytheon Company System and method for generating and displaying contours
CN114693707B (zh) * 2020-12-31 2023-09-26 北京小米移动软件有限公司 物体轮廓模板获取方法、装置、设备及存储介质
KR102348375B1 (ko) * 2021-04-27 2022-01-06 신용석 이미지 내 객체 추출 방법, 장치 및 컴퓨터-판독가능 기록 매체

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7197181B1 (en) * 2003-04-09 2007-03-27 Bentley Systems, Inc. Quick method for color-based selection of objects in a raster image
US8214756B2 (en) * 2008-11-25 2012-07-03 Vital Images, Inc. User interface for iterative image modification

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6970587B1 (en) 1997-08-28 2005-11-29 Icad, Inc. Use of computer-aided detection system outputs in clinical practice
US7308126B2 (en) 1997-08-28 2007-12-11 Icad, Inc. Use of computer-aided detection system outputs in clinical practice
JP4467673B2 (ja) 1999-08-19 2010-05-26 株式会社東芝 超音波診断装置
EP1230561B1 (en) * 1999-11-01 2005-10-26 Arthrovision, Inc. Evaluating disease progression using magnetic resonance imaging
JP4494744B2 (ja) 2003-09-25 2010-06-30 ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー 超音波診断装置
WO2006056614A1 (en) * 2004-11-27 2006-06-01 Bracco Imaging S.P.A. 2d / 3d integrated contour editor
WO2006126131A1 (en) 2005-05-25 2006-11-30 Koninklijke Philips Electronics N.V. Stylus-aided touchscreen control of ultrasound imaging devices
AU2006254689B2 (en) 2005-06-02 2012-03-08 Salient Imaging, Inc. System and method of computer-aided detection
JP2007105352A (ja) * 2005-10-17 2007-04-26 Fujifilm Corp 差分画像表示装置、差分画像表示方法およびそのプログラム
KR100859434B1 (ko) 2005-11-01 2008-09-23 주식회사 메디슨 다중 단면영상을 이용한 컨투어 편집 기능을 제공하는 영상처리 시스템 및 방법
US8019142B2 (en) * 2005-11-21 2011-09-13 Agency For Science, Technology And Research Superimposing brain atlas images and brain images with delineation of infarct and penumbra for stroke diagnosis
US8051386B2 (en) 2006-12-21 2011-11-01 Sectra Ab CAD-based navigation of views of medical image data stacks or volumes
JP2008252680A (ja) * 2007-03-30 2008-10-16 Omron Corp 携帯端末装置用のプログラムおよび携帯端末装置
US20080281182A1 (en) 2007-05-07 2008-11-13 General Electric Company Method and apparatus for improving and/or validating 3D segmentations
US8237807B2 (en) * 2008-07-24 2012-08-07 Apple Inc. Image capturing device with touch screen for adjusting camera settings
US8381125B2 (en) * 2009-12-16 2013-02-19 Apple Inc. Device and method for resizing user interface content while maintaining an aspect ratio via snapping a perimeter to a gridline
US20110210850A1 (en) * 2010-02-26 2011-09-01 Phuong K Tran Touch-screen keyboard with combination keys and directional swipes
US8693744B2 (en) * 2010-05-03 2014-04-08 Mim Software, Inc. Systems and methods for generating a contour for a medical image

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7197181B1 (en) * 2003-04-09 2007-03-27 Bentley Systems, Inc. Quick method for color-based selection of objects in a raster image
US8214756B2 (en) * 2008-11-25 2012-07-03 Vital Images, Inc. User interface for iterative image modification

Also Published As

Publication number Publication date
EP2736016B1 (en) 2019-02-06
US10186062B2 (en) 2019-01-22
EP2736016A2 (en) 2014-05-28
JP2014106980A (ja) 2014-06-09
EP2736016A3 (en) 2017-11-08
CN103839254A (zh) 2014-06-04
KR20140070791A (ko) 2014-06-11
US20140146076A1 (en) 2014-05-29
KR102123061B1 (ko) 2020-06-16

Similar Documents

Publication Publication Date Title
CN103839254B (zh) 基于用户交互的轮廓分割设备和方法
US10317947B2 (en) Electronic device and method for processing gesture thereof
EP3234732B1 (en) Interaction with 3d visualization
KR102471195B1 (ko) 증강 현실 디지털 콘텐츠 검색 및 크기 조정 기술
Oakley et al. Interaction on the edge: offset sensing for small devices
US9405404B2 (en) Multi-touch marking menus and directional chording gestures
US20140098142A1 (en) System and method for generation and manipulation of a curve in a dynamic graph based on user input
AU2015362286A1 (en) Method and apparatus for arranging objects according to content of background image
KR20160057407A (ko) 동시적 호버 및 터치 인터페이스
US9489365B2 (en) User interface for visualizing resizing of table elements
CN104423796B (zh) 基于设备情境的用户界面
US20140137016A1 (en) Selection cursor operating method, object displaying method, and terminal device
KR20140100547A (ko) 모바일 장치상의 풀 3d 상호작용
WO2017185459A1 (zh) 一种图标移动方法以及装置
JP2018160260A (ja) 3次元の仮想空間内で仮想カメラを制御するための方法、システムおよびコンピュータ読取可能な記録媒体
US10585498B2 (en) Apparatus and method for identifying object
KR102237659B1 (ko) 입력 방법 및 이를 수행하는 장치들
US11893206B2 (en) Transitions between states in a hybrid virtual reality desktop computing environment
US20180260044A1 (en) Information processing apparatus, information processing method, and program
US8519979B1 (en) Multi-point interface for a graphical modeling environment
US10073612B1 (en) Fixed cursor input interface for a computer aided design application executing on a touch screen device
JP2017046899A (ja) 端末装置
KR102130361B1 (ko) 시나리오에 따라 그래픽 처리 해상도를 변경하기 위한 방법 및 휴대용 전자 디바이스
EP2998833B1 (en) Electronic device and method of controlling display of screen thereof
KR20150095523A (ko) 전자 장치 및 전자 장치에서 색상 추출 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant