CN103908294B - 对象信息获取装置 - Google Patents

对象信息获取装置 Download PDF

Info

Publication number
CN103908294B
CN103908294B CN201310741319.5A CN201310741319A CN103908294B CN 103908294 B CN103908294 B CN 103908294B CN 201310741319 A CN201310741319 A CN 201310741319A CN 103908294 B CN103908294 B CN 103908294B
Authority
CN
China
Prior art keywords
image
function
region
light
acquisition device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201310741319.5A
Other languages
English (en)
Other versions
CN103908294A (zh
Inventor
佐藤章
阿部浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to CN201610905567.2A priority Critical patent/CN106361290B/zh
Publication of CN103908294A publication Critical patent/CN103908294A/zh
Application granted granted Critical
Publication of CN103908294B publication Critical patent/CN103908294B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0093Detecting, measuring or recording by applying one single type of energy and measuring its conversion into another type of energy
    • A61B5/0095Detecting, measuring or recording by applying one single type of energy and measuring its conversion into another type of energy by applying light and detecting acoustic waves, i.e. photoacoustic measurements
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/0035Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for acquisition of images from more than one imaging mode, e.g. combining MRI and optical tomography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0075Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by spectroscopy, i.e. measuring spectra, e.g. Raman spectroscopy, infrared absorption spectroscopy
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0091Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for mammography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/145Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/1455Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • A61B5/14551Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters for measuring blood gases
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/742Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/7425Displaying combinations of multiple images regardless of image source, e.g. displaying a reference anatomical image with a live image
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0825Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of the breast, e.g. mammography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0833Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0891Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of blood vessels
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A61B8/5261Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from different diagnostic modalities, e.g. ultrasound and X-ray
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/7475User input or interface means, e.g. keyboard, pointing device, joystick
    • A61B5/748Selection of a region of interest, e.g. using a graphics tablet
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10132Ultrasound image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20092Interactive image processing based on input by user
    • G06T2207/20104Interactive definition of region of interest [ROI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Acoustics & Sound (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Vascular Medicine (AREA)
  • Optics & Photonics (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

本发明提供一种对象信息获取装置,该对象信息获取装置包括:光源;光声探测器,接收在用光照射的对象处产生的光声波;超声探测器,接收被发射至对象并然后在对象内被反射的超声波;以及信号处理器,基于光声波创建示出对象内的功能信息的功能图像,并基于超声波创建示出对象内的形态信息的形态图像,信号处理器被配置为将功能图像分成多个区域,对区域中的每一个执行不同的图像处理,在形态图像上重叠处理后的功能图像,并且在显示器中显示得到的图像。

Description

对象信息获取装置
技术领域
本发明涉及对象(object)信息获取装置。
背景技术
近年来,已设计了通过用激光照射活体(living body)产生来自光声效应的超声波(光声波)并分析光声波的技术。该技术可将活体的表面上和内部的结构和状况成像(参见美国专利说明书No.5,840,023)。该技术被称为光声测量或光声层析摄影术(tomography)。由于能够以非侵入的方式执行检查,因此,存在用于医疗应用以便检查人体内部的趋势。例如,已开发了针对乳癌筛查的光声测量装置(参见S.A.Ermilov et al.,"Development of laser optoacoustic and ultrasonicimaging system for breast cancer utilizing handheld array probes",Photons Plus Ultrasound:Imaging and Sensing2009,Proc.of SPIE vol.7177,2009)。
专利文献1:美国专利说明书No.5,840,023
非专利文献1:S.A.Ermilov et al.,Development of laseroptoacoustic and ultrasonic imaging system for breast cancer utilizinghandheld array probes,Photons Plus Ultrasound:Imaging and Sensing2009,Proc.of SPIE vol.7177,2009.
发明内容
光声测量装置可依赖于用于对象的照射光的波长而获取包含诸如对象内的光吸收系数的光学特性值的各种信息。例如,当使用具有容易被血液内的血红蛋白吸收的性能的近红外光时,可以获取血管图像。
通过使用容易被氧合血红蛋白吸收的波长的照射光和容易被脱氧血红蛋白吸收的波长的照射光多次执行测量并比较多个获取的血管图像,可以测量血液内的氧饱和度。示出光吸收系数分布的图像或示出氧饱和度分布的图像是示出对象内的功能分布的功能图像。
根据S.A.Ermilov et al.,"Development of laser optoacoustic andultrasonic imaging system for breast cancer utilizing handheld arrayprobes",Photons Plus Ultrasound:Imaging and Sensing2009,Proc.ofSPIE vol.7177,2009,可通过向对象发射超声波并接收对象内反射的回声波来获得对象内部的回声图像。这是示出对象内的形态结构的形态图像。
当光声测量中获得的功能图像和超声波测量中获得的形态图像被重叠时,存在难以比较功能信息和形态信息的情况。
本发明提供一种对象信息获取装置,该对象信息获取装置包括:
光源;
光声探测器,被配置为接收在用来自光源的光照射的对象处产生的光声波;
超声探测器,被配置为接收被发射至对象并然后在对象内被反射的超声波;以及
信号处理器,被配置为基于光声波创建示出对象内的功能信息的功能图像,并基于超声波创建示出对象内的形态信息的形态图像,
其中,信号处理器将功能图像分成多个区域,对区域中的每一个执行不同的图像处理,在形态图像上重叠处理后的功能图像,并且在显示器中显示得到的图像。
从参照附图对示例性实施例的以下描述,本发明的进一步的特征将变得明显。
附图说明
图1是本发明的对象信息获取装置的总体配置图;
图2是本发明中的整个处理的流程图;
图3是示出本发明中的执行重叠图像调整处理的GUI的一个例子的示图;
图4是例子1中的重叠图像处理的流程图;以及
图5A至5E是例子2中的重叠图像处理的说明图。
具体实施方式
如上所述,当光声测量中获得的功能图像和超声波测量中获得的形态图像被重叠时,存在难以比较功能信息和形态信息的情况。具体举例而言,存在如下情况:当乳房(breast)内部的光吸收系数分布图像(功能图像)被重叠于乳房的超声层析图像(tomographic image)(形态图像)上时,形态图像内的肿瘤区域、组织的轮廓区域等被隐藏。虽然依赖于照射光的波长,但乳房的光声测量中获得的光吸收系数分布主要源自血红蛋白吸收光时的光声波。因此,功能图像主要示出血管图像。但是,声波虽然弱,却可在血管以外的部分中通过光吸收产生。由此,当功能图像被直接用作用于重叠的图像时,存在诊断所不需要的部分(血管以外的部分)被重叠于形态图像上以降低可见性的情况。即使在诊断时只有一定规模或更大的血管受到关注的情况下,也存在小规模的血管图像被显示在重叠的图像中的情况。
鉴于上述的任务作出了本发明,并且本发明具有如下目的:在重叠及显示通过光声测量获得的功能图像和通过超声波测量获得的形态图像时,使得功能信息和形态信息的比较容易。
以下将参照附图描述本发明的优选实施例。注意,以下描述的组件的尺度、材料和形状,其相对布置等应依赖于本发明所应用的装置的配置或各种条件而被适当地改变,并且并非意在将本发明的范围限于以下的描述。相同的组件原则上由相同的附图标记表示,并且描述被省略。
(装置配置)
首先,将使用图1描述根据本实施例的对象信息获取装置。图1所示的对象信息获取装置包括光源110、光学系统120、声波检测器130、控制器件140、信号处理器件150、显示器件160和输入器件170作为主要组件。
本实施例的声波检测器130可兼具向对象100发射超声波的超声波发射器的功能和检测在对象100内传播的超声波的超声波接收器的功能。发射和接收的功能可由分开的机构执行。可根据波长由分开的机构执行反射波的接收和光声波的接收。在这种情况下,用于反射波接收的声波检测器与本发明的超声探测器对应,并且用于光声波接收的声波检测器与本发明的光声探测器对应。控制器件140和信号处理器件150可被一体化配置。以下将描述各配置。
(对象100和光吸收体101)
这些不是本发明的对象信息获取装置的配置的一部分,但将在以下被描述。本发明的对象信息获取装置主要针对人或动物的恶性肿瘤、血管疾病等的诊断,化学治疗的跟踪等。由此,作为对象,假定活体,具体而言,诸如人体或动物的乳房、颈部或腹部(stomach)的诊断目标部位(segment)。注意,假体(phantom)等也可以是测量目标。
光吸收体是对象内的且吸收系数相对高的部分。例如,如果人体是测量目标,那么氧合血红蛋白或脱氧血红蛋白、氧合血红蛋白或脱氧血红蛋白高的血管、或包含许多新血管的恶性肿瘤是光吸收体。颈动脉壁的斑(plaque)也是光吸收体。
(光源110)
作为光源,能够产生几纳秒到几微秒的量级的脉冲光的脉冲光源是优选的。具体而言,为了有效地产生光声波,使用约十纳秒的脉冲宽度。作为光源,可以使用发光二极管等而不是激光器。作为激光器,可以使用各种激光器,诸如固态激光器、气体激光器、染料激光器或半导体激光器。
虽然在图中示出单个光源的例子,但可以使用多个光源。在多个光源的情况下,为了增大照射活体的光的照射强度,可以使用以相同的波长导致振荡的多个光源,或者,为了测量依赖于波长的光学特性值分布的差异,可以使用具有不同的振荡波长的多个光源。
对于多个波长的光照射,可以使用能够转换振荡波长的颜料(pigment)或光学参数振荡器(OPO)作为光源。关于要使用的波长,体内(in vivo)吸收很少的700nm至1100nm的区域是优选的。注意,在获得相对接近活体表面的活体组织的光学特性值分布的情况下,可以使用例如400nm至1600nm的波长区域,该波长区域是比上述的波长区域大的范围。
(光学系统120)
从光源发射的光在利用光学部件被处理成希望的光分布形状的同时被引向对象。可使用诸如光纤的光学波导传播光。光学部件例如是反射光的镜子,对光进行收集、放大或形状改变的透镜,或扩散光的扩散器(diffuser)。只要用从光源发射的光以希望的形状照射对象,就可以使用任何这样的光学部件。就活体的安全性和增大诊断区域而言,光优选在某程度的区域中扩展而不是用透镜被收集。
(声波检测器130)
利用声波检测器,光声波被检测元件接收并被转换成作为模拟信号的电信号。只要可检测声波信号,就可使用任何检测器,诸如利用压电现象、光的谐振、电容的变化等的检测器。就提高测量效率和提高精度而言,声波检测器优选是其中以阵列布置多个检测元件的声波检测器。
出于同一区域中的信号检测和节省空间的原因,希望声波检测器不仅具有接收超声波(声波)的功能,而且还具有发射超声波(声波)的功能。虽然超声波测量中接收的超声波的带宽和光声测量中接收的光声波的带宽不必匹配,但是,出于相同的原因,优选采用覆盖两个带宽的宽范围检测器。
在本发明中提到的声波典型地是超声波,并且包含称为音波、超声波或声波的弹性波。通过光声效应产生的声波被称为光声波或光致超声波。
(控制器件140)
控制器件放大通过声波检测器获得的电信号,并且将电信号从模拟信号转换成数字信号。控制器件典型地由放大器、A/D转换器、现场可编程门阵列(FPGA)芯片等配置。在从声波检测器获得多个电信号的情况下,希望可同时处理多个信号以缩短用于图像形成的时间。
控制器件140执行从光源产生的脉冲光的发光定时的控制以及脉冲光是其触发信号的电信号的发射和接收的控制。通过在执行用于信号的相位匹配的延迟相加处理之后执行相加处理,FPGA芯片可形成对象的声阻抗等的特性分布或对象内的散射所导致的斑点(speckle)图案的数据。
(信号处理器件150)
工作站等被用作信号处理器件。通过事先编程的软件执行校正处理、图像重构处理等。例如,在工作站中使用的软件包含执行作为本发明中的特征性的处理的重叠处理的重叠图像创建模块151。作为其它软件,包括诸如图像重构模块152和阈值管理模块153的模块。各模块可被设置成与信号处理器件150分开的器件。信号处理器件150可给二维空间或三维空间施加信号处理。信号处理器件与本发明的信号处理器对应。
由重叠图像创建模块151执行的图像处理和由阈值管理模块153管理的阈值的细节依赖于例子而不同,并因此将在各例子的描述中被提及。
图像重构模块152使用声波信号执行图像重构,并且形成对象的声阻抗等的特性分布或光学特性值分布。作为图像重构算法,例如使用通常用于层析摄影技术中的时域或傅立叶域的背投影(backprojection)、或延迟和求和(delay and sum)。在对于重构允许许多时间的情况下,可以使用具有重复处理的逆分析方法。
通过在光声成像中使用聚焦声波检测器,可以在没有图像重构的情况下形成体内光学特性值分布图像。在这种情况下,不必执行利用图像重构算法的信号处理。
可能存在控制器件和信号处理器件被一体化的情况。在这种情况下,可通过硬件处理而不是用工作站执行的软件处理来创建对象的声阻抗等的特性分布或光学特性值分布。
(显示器件160)
显示器件是显示从信号处理器件输出的图像的器件。典型地,使用液晶显示器等。但是,诸如等离子体显示器、有机EL显示器或FED的其它形式的显示器是可接受的。可与本发明的对象信息获取装置分开地设置显示器。显示器件与本发明的显示器对应。
(输入器件170)
输入器件是接受由用户进行的预定阈值参数的设定指示或观看显示器时的设定变化的机构。只要用户可与显示器上所显示之物对应地设定数值等,按钮、鼠标、语音或任何其它的东西就是可接受的。输入器件与本发明的输入单元对应。
(整个处理的过程)
通过使用图2中的流程图,将描述通过具有上述配置的装置进行的对象信息获取的典型过程。
控制器件140根据用户的测量指示开始声测量控制。
在步骤S201中,光源110辐照第一波长的光。照射光经由光学系统120被引向对象100的表面。此时,在光学系统120中执行射束成形,并且照射光的照射范围、光强度分布等被布置。照射光在对象100内传播,并且从光吸收体101产生来自第一波长的光声波。
在步骤S202中,第一光声波通过声波检测器130被接收并且被转换成电信号。电信号经由A/D转换处理作为由第一波长导致的光声波信号被传送到信号处理器件150,并且被存储于作为存储手段的HDD154中。
此时,在步骤S203中,如在控制器件140的描述中提到的那样,通过以从光源产生的脉冲光作为触发在一定的延迟时间之后发射并接收超声波,来执行超声波测量。此时,从活体内反射并传播且在这里获取的超声波信号被声波检测器130接收,被控制器件140转换成电信号,然后经由A/D转换处理作为超声波信号被传送到信号处理器件150,并被存储于HDD154中。
在步骤S204和S205中,执行与上述的步骤S201和S202类似的处理。即,光源110用第二波长的光照射对象100的表面,并且由第二波长导致的光声波信号被获取并在HDD154中被存储。
由于已获取来自超声波测量的形态图像,因此,不必需要执行超声波测量。
在步骤S206中,图像重构模块152从上述的各步骤中获取的光声波信号和超声波信号创建图像。具体而言,利用第一波长获取的功能图像、利用第二波长获取的功能图像和利用超声波获取的形态图像被重构。
在步骤S207中,通过重叠图像创建模块151,用于各波长的功能图像与形态图像被合成。此时,重叠图像创建模块151从阈值管理模块153获取用于创建重叠图像的参数阈值,并且处理功能信息图像以创建重叠功能信息图像。
按照以下的方式创建用于重叠的功能图像。功能图像根据预定的参数阈值被分成多个区域,并且依赖于为各区域准备的希望的图像处理设定参数对各区域执行图像处理。具体而言,图像处理设定参数是透明度(透过率)或色调设定。在透过率的情况下,对被分成多个区域的功能图像中的各区域执行不同的透明图像处理。在色调设定的情况下,对功能图像的各区域执行不同的颜色转换处理,作为使得不必要部分较不明显的图像处理。
以这种方式创建的重叠功能信息图像通过处理被重叠在形态图像上,并且被显示于显示器件160中。此时,通过例如透过率来区分根据阈值确定的重要性高的关注部位和其它的非关注部位,并且关注部位的可见性被提高。
在步骤S208中,用户在检查图像的同时通过使用输入器件170在阈值管理模块153中设定新的参数阈值,以重建重叠图像。
在上述的流程中,与两个波长中的每一个对应的光声图像被重叠于超声波图像上。但是,事实上,这不是限制性的。作为用其创建用于重叠的功能图像的原图像,可以使用基于单个波长的光声图像,或者,可以使用从两个波长的测量结果创建的示出氧饱和度的图像。
用户可使用输入器件170指示关注部位的区域与非关注部位的边界,以将功能图像分成多个区域。可关于以这种方式设定的多个区域中的每一个执行如上所述的图像处理。
(用户界面)
在图3中示出由用户操作的UI的一个例子。
按钮350是图像获取触发按钮(捕获按钮)。当这个被按压时,执行光声波测量和超声波测量,并且显示重叠图像360。颜色条330用于检查功能图像的测量值的各范围中的显示色调。
文本框310是用于设定作为阈值的上限设定值和下限设定值的文本框。阈值的设定可通过诸如滑动条的使得能够进行直观操作的手段。如用图中的附图标记320和321所示,准备可与整个范围比较而检查设定阈值范围的显示使得设定状态的检查容易。当用户改变阈值时,以预定的频率基于设定阈值再处理重叠图像,并且显示被更新。用户可在检查重叠图像360的同时设定阈值。
在以下的描述中,通过超声波测量获取形态图像并将其用于重叠图像。但是,诸如来自多普勒(Doppler)分析的血流信息的一般已知在超声波测量中获得的信息可被成像和使用。
<例子1>
接下来,将描述使用图1所示的对象信息获取装置的对象信息获取方法的优选实施例。
(应用于光吸收系数分布的情况)
在图1所示的对象信息获取装置中,通过光声波测量创建的功能图像示出光吸收系数分布。在本例子中,调整照射光的波长,使得在血红蛋白中出现光声效应。因此,获取的光声信号主要是由血红蛋白产生的光声波。从大规模的血管获得强信号,并且从诸如毛细血管的小规模的血管获得弱信号。这被成像为示出光吸收率的光吸收系数的分布图像。
在本例子中,通过阈值管理模块153管理的阈值参数是作为光学特性值之一的光吸收系数。首先,光吸收系数分布数据和超声波图像被获取。光吸收系数分布数据是对于光声测量结果的重构处理所获得的示出测量区域(在本例子中为平坦区域)中的光吸收系数分布的数据串。超声波图像是与执行光声测量的区域相同的区域中的超声层析图像。
(重叠图像处理)
以下,将参照图4描述由重叠图像创建模块151执行的重叠图像处理。首先,通过重叠图像创建模块151从阈值管理模块153获取阈值参数,开始流程。
在步骤S401中,重叠图像创建模块151比较光吸收系数分布数据与阈值参数,提取光吸收系数的值大于或等于阈值参数的部分,并创建非透明掩模(mask)数据。此时,非透明掩模数据是大于或等于阈值的部分被表达为1并且小于阈值的部分被表达为0的二值(binary)数据串。
在步骤S402中,重叠图像创建模块151提取光吸收系数的值小于阈值参数的部分,并创建透明掩模数据。由于透明掩模数据是非透明掩模数据的逆图像,因此创建非透明掩模的反转数据就够了。
在步骤S403中,重叠图像创建模块151使用光吸收系数分布数据创建光吸收系数分布图像。在本例子中,光吸收系数分布图像是根据光吸收系数分配不同色调的彩色图像。
在步骤S404中,重叠图像创建模块151对于S403中创建的光吸收系数分布图像应用透明掩模数据,以创建重叠功能图像。对于重叠功能成像,在与透明掩模数据的1对应的像素位置中对于光吸收系数分布图像执行透明处理。
在步骤S405中,重叠图像创建模块151对于超声层析图像应用S401中创建的非透明掩模数据,以创建重叠形态图像。对于重叠形态图像,在与非透明掩模数据的1对应的像素位置中对于超声层析图像执行透明处理。
在步骤S406中,重叠图像创建模块151执行步骤S404中创建的重叠功能图像和步骤S405中创建的重叠形态图像的重叠处理,以创建显示图像。在步骤S407中,通过显示器件显示创建的图像。
在通过超声波测量获得的形态图像中,对象内的回声强度不同的部分被成像,并且活体组织的不同密度之间的边界被描绘。特别地,在乳房内部的超声波图像中,肿瘤区域可作为黑暗的被称为低回声区的区域而出现。活体组织中的边界在检查活体内的血管的分布状态和位置时是重要的,并且低回声区在检查肿瘤区域的周边中的功能信息的分布状态时是重要的。由于边界和低回声区两者都是超声波图像中的关注部位,因此不优选这些被覆盖和隐藏。
由于根据上述流程创建的重叠光吸收系数分布图像对于非关注部位经受透明处理,因此,即使在重叠于形态图像上的情况下,活体组织的低回声区或边界也不太可能被非关注部位覆盖和隐藏。结果,在检查患部(affected area)的功能信息与患部附近的形态信息的关联性时,由于不必要信息所导致的阻碍感被减小,并且使得图像更加可见。
<例子2>
(应用于氧饱和度的情况)
在本例子中创建的功能图像是通过利用多个波长的光声测量所获得的氧饱和度分布图像。
通过对使用容易被对象内的氧合血红蛋白吸收的波长的照射光和容易被脱氧血红蛋白吸收的波长的照射光分别获取的多个血管图像进行比较,可以测量血液内的氧饱和度。氧饱和度的分布状况在氧饱和度分布图像中被成像。例如,这可被表达为根据氧饱和度的数值分配不同色调的彩色图像。
在本例子中,通过阈值管理模块153管理的阈值参数是光吸收系数。
以下,将参照图5A至5E描述本例子中的用于对象信息获取的图像处理。图5A是对象与关心区域(ROI)的关系图。在对象100中,区域500是ROI。对象100包含各是单独的血管的光吸收体101A和101B以及肿瘤区域101C。
图5B是从多个获取的血管图像之中的利用特定波长获取的血管图像确定的基本图像。对于基本图像应用阈值参数(在本例子中为光吸收系数),并且预定值或更大的部分被提取。如图5C所示,结果是基本图像被区域分割成关注部位和非关注部位。作为大规模的血管的光吸收体101A被包含于关注部位中,但光吸收体101B由于规模小且光吸收系数小而因此处于非关注部位中。
图5D是通过利用两个波长的测量所获得的氧饱和度的分布图像。如从图可以看出的那样,作为主要血管的光吸收体101A的图像被包含,但是,血管的可见性被源自来自于周围组织的光声波的图像降低。光吸收体101B和周围组织也被成像。如果该功能图像在没有任何处理的情况下被重叠于形态图像上,那么存在影响诊断的风险。
本例子中的用于图像处理的参数是透过率。即,对于如图5C中分割的各区域之中的非关注部位的区域,要被重叠的氧饱和度图像的透过率被增大,从而使得上面执行重叠的超声波图像更加可见。图5E是在本例子中获得的重叠功能图像。这是通过基于以上述的方式分割的区域对于氧饱和度分布图像执行透明图像处理获得的。可以看出,非关注部位中的光吸收体101B的透过率高。
上述的处理几乎等同于依赖于关注的血管图像的规模对于氧饱和度分布图像执行掩盖处理。此时,可根据对基本图像选择的波长来确定氧合血红蛋白高的动脉和脱氧血红蛋白高的静脉中的哪一个在血管图像中贡献更大。例如,可以设想选择性地掩盖动脉血,使得新血管受到关注。通过用各波长创建的血管图像的重叠,不管类型如何都可提取大规模的血管,以显示氧饱和度。
利用本例子,对于在超声波测量中获得的形态图像,重叠其中使得预定规模或更大的血管部分(关注部位)以外的信息较不明显的氧饱和度分布图像。因此,容易检查关注部位中的氧饱和度与形态信息的关联性。
<例子3>
在本例子中,将描述阈值参数和透明处理的一个例子。在例子1和2中,阈值参数被描述为一个值。但是,在本例子中,多个参数被使用。
利用一个阈值参数,在光吸收图像中区分大于或等于阈值的区域和小于该阈值的区域。利用如本例子中的多个参数,可以更详细地区分存在特定规模的血管的区域(关注区域)和另外(otherwise)的区域(非关注区域)。
此时,对分割区域中的每一个执行的用于图像处理的参数是透过率。例如,在对关注区域设定低透过率且对非关注区域设定高透过率的情况下,其中非关注区域透明且关注区域突显的重叠图像被创建。当以这种方式创建的功能图像被重叠于形态图像上时,可以以高的可见性呈现诊断所需的部位。
利用本例子,可在功能图像中更精确地指定要显示的区域。通过设定透过率,使得用于较不明显显示的方法是可能的,而不是从重叠图像完全消除功能图像中的非关注区域。由此,对于用户有更多的选项。
如在以上的各例子中描述的那样,在本发明中,在通过光声测量获得的功能图像和通过超声波测量获得的形态图像的重叠和显示时,执行图像处理,使得根据用户指定的参数而使功能信息中的非关注部分较不明显。由于作为结果可防止形态信息中的关注部分被功能信息中的不必要部分覆盖和隐藏,因此,功能信息和形态信息的比较是容易的。
虽然已参照示例性实施例描述了本发明,但要理解,本发明不限于公开的示例性实施例。所附的权利要求的范围要被赋予最宽的解释,以包含所有这样的修改以及等同的结构和功能。

Claims (10)

1.一种对象信息获取装置,包括:
光源;
光声探测器,被配置为接收在用来自光源的光照射的对象处产生的光声波;
超声探测器,被配置为接收被发射至对象并然后在对象内被反射的超声波;以及
信号处理器,被配置为基于光声波创建示出对象内的功能信息的功能图像,并基于超声波创建示出对象内的形态信息的形态图像,
其特征在于:
其中,信号处理器将功能图像分成多个区域,对区域中的每一个执行不同的图像处理,在形态图像上重叠处理后的功能图像,并且在显示器中显示得到的图像,以及
其中,信号处理器基于多个阈值参数将功能图像分成多个区域。
2.根据权利要求1所述的对象信息获取装置,其中,信号处理器执行对于功能图像的所述多个区域分别设定不同的透过率的图像处理。
3.根据权利要求1或2所述的对象信息获取装置,其中,信号处理器执行对于功能图像的所述多个区域分别设定不同的色调的图像处理。
4.根据权利要求1所述的对象信息获取装置,其中,光源照射多个波长的光,以及
信号处理器基于与所述多个波长中的每一个对应的光声波创建对象内的氧饱和度分布图像作为功能图像,对于区域中的每一个对氧饱和度分布图像执行不同的图像处理,在形态图像上重叠处理后的氧饱和度分布图像,并且显示得到的图像。
5.根据权利要求1所述的对象信息获取装置,其中,光声探测器还用作超声探测器。
6.根据权利要求1所述的对象信息获取装置,其中,发射至对象的超声波是从超声探测器发射的超声波。
7.根据权利要求1所述的对象信息获取装置,其中,信号处理器创建将光吸收系数表示为功能信息的功能图像,并且减小功能信息大于或等于预定阈值的区域的透过率。
8.根据权利要求1所述的对象信息获取装置,还包括供用户指示所述多个区域的边界的输入单元。
9.根据权利要求1所述的对象信息获取装置,其中,利用所述多个阈值参数区分非关注区域和存在特定规模的血管的关注区域。
10.一种对象信息获取装置,包括:
光源;
光声探测器,被配置为接收在用来自光源的光照射的对象处产生的光声波;
超声探测器,被配置为接收被发射至对象并然后在对象内被反射的超声波;以及
信号处理器,被配置为基于光声波创建示出对象内的功能信息的功能图像,并基于超声波创建示出对象内的形态信息的形态图像,
其特征在于:
其中,信号处理器将功能图像分成多个区域,对区域中的每一个执行不同的图像处理,在形态图像上重叠处理后的功能图像,并且在显示器中显示得到的图像,
其中,信号处理器基于预定阈值将功能图像分成多个区域,
所述对象信息获取装置还包括供用户指示所述预定阈值的输入单元,以及
其中,信号处理器响应于用户对所述预定阈值的改变来更新得到的图像。
CN201310741319.5A 2012-12-28 2013-12-27 对象信息获取装置 Expired - Fee Related CN103908294B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610905567.2A CN106361290B (zh) 2012-12-28 2013-12-27 对象信息获取装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012-286548 2012-12-28
JP2012286548A JP6112861B2 (ja) 2012-12-28 2012-12-28 被検体情報取得装置、信号処理装置および表示装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201610905567.2A Division CN106361290B (zh) 2012-12-28 2013-12-27 对象信息获取装置

Publications (2)

Publication Number Publication Date
CN103908294A CN103908294A (zh) 2014-07-09
CN103908294B true CN103908294B (zh) 2016-12-07

Family

ID=49911132

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201310741319.5A Expired - Fee Related CN103908294B (zh) 2012-12-28 2013-12-27 对象信息获取装置
CN201610905567.2A Expired - Fee Related CN106361290B (zh) 2012-12-28 2013-12-27 对象信息获取装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201610905567.2A Expired - Fee Related CN106361290B (zh) 2012-12-28 2013-12-27 对象信息获取装置

Country Status (4)

Country Link
US (1) US20140187902A1 (zh)
EP (1) EP2749226A1 (zh)
JP (1) JP6112861B2 (zh)
CN (2) CN103908294B (zh)

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9289191B2 (en) 2011-10-12 2016-03-22 Seno Medical Instruments, Inc. System and method for acquiring optoacoustic data and producing parametric maps thereof
US11191435B2 (en) 2013-01-22 2021-12-07 Seno Medical Instruments, Inc. Probe with optoacoustic isolator
US20130289381A1 (en) 2011-11-02 2013-10-31 Seno Medical Instruments, Inc. Dual modality imaging system for coregistered functional and anatomical mapping
US11287309B2 (en) 2011-11-02 2022-03-29 Seno Medical Instruments, Inc. Optoacoustic component utilization tracking
US9730587B2 (en) 2011-11-02 2017-08-15 Seno Medical Instruments, Inc. Diagnostic simulator
US9743839B2 (en) 2011-11-02 2017-08-29 Seno Medical Instruments, Inc. Playback mode in an optoacoustic imaging system
US9814394B2 (en) 2011-11-02 2017-11-14 Seno Medical Instruments, Inc. Noise suppression in an optoacoustic system
US10433732B2 (en) 2011-11-02 2019-10-08 Seno Medical Instruments, Inc. Optoacoustic imaging system having handheld probe utilizing optically reflective material
US9445786B2 (en) 2011-11-02 2016-09-20 Seno Medical Instruments, Inc. Interframe energy normalization in an optoacoustic imaging system
US20130338475A1 (en) 2012-06-13 2013-12-19 Seno Medical Instruments, Inc. Optoacoustic imaging system with fiber optic cable
US20130116538A1 (en) 2011-11-02 2013-05-09 Seno Medical Instruments, Inc. Optoacoustic imaging systems and methods with enhanced safety
US20140005544A1 (en) 2011-11-02 2014-01-02 Seno Medical Instruments, Inc. System and method for providing selective channel sensitivity in an optoacoustic imaging system
JP2015509443A (ja) 2012-03-09 2015-03-30 セノ メディカル インストルメンツ,インク. 光音響イメージングシステムにおける統計マッピング
JP6080485B2 (ja) 2012-10-18 2017-02-15 キヤノン株式会社 被検体情報取得装置および被検体情報取得装置の制御方法
SG11201506836YA (en) 2013-03-15 2015-09-29 Seno Medical Instr Inc System and method for diagnostic vector classification support
US20160066798A1 (en) * 2013-04-09 2016-03-10 University Of Washington Through Its Center For Commercialization Methods and Systems for Determining Hemodynamic Properties of a Tissue
US10143381B2 (en) 2013-04-19 2018-12-04 Canon Kabushiki Kaisha Object information acquiring apparatus and control method therefor
SG11201602428XA (en) 2013-10-11 2016-04-28 Seno Medical Instr Inc Systems and methods for component separation in medical imaging
EP3110319A1 (en) 2014-02-27 2017-01-04 Seno Medical Instruments, Inc. Probe adapted to control blood flow through vessels during imaging and method of use of same
JP6548393B2 (ja) * 2014-04-10 2019-07-24 キヤノンメディカルシステムズ株式会社 医用画像表示装置および医用画像表示システム
JP6166708B2 (ja) * 2014-10-15 2017-07-19 プレキシオン株式会社 光音響波信号変換機および光音響波信号変換機内蔵プローブ
WO2016070115A1 (en) 2014-10-30 2016-05-06 Seno Medical Instruments, Inc. Opto-acoustic imaging system with detection of relative orientation of light source and acoustic receiver using acoustic waves
JP6598528B2 (ja) * 2015-06-25 2019-10-30 キヤノン株式会社 被検体情報取得装置および被検体情報取得方法
JP6971544B2 (ja) * 2015-08-06 2021-11-24 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
JP2017099759A (ja) * 2015-12-03 2017-06-08 キヤノン株式会社 光音響測定装置の評価用ファントムおよびパッケージファントム
CN107582096A (zh) * 2016-07-08 2018-01-16 佳能株式会社 用于获取信息的装置、方法和存储介质
JP6708529B2 (ja) * 2016-10-07 2020-06-10 キヤノン株式会社 制御装置、制御方法、制御システム及びプログラム。
CN110475516B (zh) * 2017-03-29 2023-07-14 富士胶片株式会社 超声波诊断装置
US11510630B2 (en) * 2017-05-11 2022-11-29 Canon Kabushiki Kaisha Display control apparatus, image display method, and non-transitory computer-readable medium
JP7134704B2 (ja) * 2017-06-01 2022-09-12 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
EP3705024A4 (en) * 2017-10-31 2020-11-11 Fujifilm Corporation INSPECTION ASSISTANCE DEVICE, ENDOSCOPE DEVICE, INSPECTION ASSISTANCE PROCESS AND INSPECTION ASSISTANCE PROGRAM
JP7158796B2 (ja) * 2017-12-07 2022-10-24 株式会社アドバンテスト 光超音波測定装置、方法、プログラム、記録媒体
WO2019234916A1 (ja) 2018-06-08 2019-12-12 オリンパス株式会社 観察装置
JP7308600B2 (ja) * 2018-09-12 2023-07-14 キヤノンメディカルシステムズ株式会社 超音波診断装置、医用画像処理装置、及び超音波画像表示プログラム
WO2021017418A1 (zh) * 2019-08-01 2021-02-04 中国医学科学院北京协和医院 三维光声成像在乳腺肿瘤评分系统、设备中的应用
WO2021149127A1 (ja) * 2020-01-21 2021-07-29 オリンパス株式会社 赤血球分化モニタリング装置および赤血球分化モニタリング方法
JP7428597B2 (ja) * 2020-06-18 2024-02-06 株式会社アドバンテスト 光超音波測定装置、方法、プログラム、記録媒体

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101563035A (zh) * 2006-12-19 2009-10-21 皇家飞利浦电子股份有限公司 组合光声和超声成像系统

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5840023A (en) 1996-01-31 1998-11-24 Oraevsky; Alexander A. Optoacoustic imaging for medical diagnosis
US5797397A (en) * 1996-11-25 1998-08-25 Hewlett-Packard Company Ultrasound imaging system and method using intensity highlighting to facilitate tissue differentiation
DE10141186A1 (de) * 2001-08-22 2003-03-20 Siemens Ag Einrichtung zum Bearbeiten von Bildern, insbesondere medizinischen Bildern
CN107126182B (zh) * 2007-01-19 2020-06-16 桑尼布鲁克健康科学中心 用于成像探头的扫描机构
JP4829934B2 (ja) * 2008-07-11 2011-12-07 キヤノン株式会社 検査装置
JP5241465B2 (ja) * 2008-12-11 2013-07-17 キヤノン株式会社 光音響イメージング装置および光音響イメージング方法
JP5580030B2 (ja) * 2009-12-16 2014-08-27 株式会社日立製作所 画像処理装置、および画像位置合せ方法
US20130338501A1 (en) * 2012-06-13 2013-12-19 Seno Medical Instruments, Inc. System and method for storing data associated with the operation of a dual modality optoacoustic/ultrasound system
US8839672B2 (en) * 2010-10-19 2014-09-23 Board Of Regents, The University Of Texas System Combined ultrasound and photoacoustic imaging of metal objects
EP3988011B1 (en) * 2010-11-08 2023-08-23 Conavi Medical Inc. Systems for improved visualization during minimally invasive procedures
TWI430778B (zh) * 2010-12-24 2014-03-21 Pai Chi Li 醫學成像系統及其醫學成像方法
JP5704998B2 (ja) * 2011-04-06 2015-04-22 キヤノン株式会社 光音響装置およびその制御方法
JP2012231879A (ja) * 2011-04-28 2012-11-29 Fujifilm Corp 光音響画像化方法および装置
US9757092B2 (en) * 2011-11-02 2017-09-12 Seno Medical Instruments, Inc. Method for dual modality optoacoustic imaging

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101563035A (zh) * 2006-12-19 2009-10-21 皇家飞利浦电子股份有限公司 组合光声和超声成像系统

Also Published As

Publication number Publication date
JP2014128320A (ja) 2014-07-10
CN103908294A (zh) 2014-07-09
CN106361290A (zh) 2017-02-01
JP6112861B2 (ja) 2017-04-12
CN106361290B (zh) 2019-07-05
EP2749226A1 (en) 2014-07-02
US20140187902A1 (en) 2014-07-03

Similar Documents

Publication Publication Date Title
CN103908294B (zh) 对象信息获取装置
JP6320594B2 (ja) 被検体情報取得装置及び被検体情報取得方法
CN105011909B (zh) 被检体信息获取设备和被检体信息获取方法
JP5783779B2 (ja) 被検体情報取得装置及び被検体情報取得方法
CN104883965B (zh) 被检体信息获得装置、显示方法、程序和处理装置
JP5777358B2 (ja) 被検体情報取得装置及び信号処理方法
JP6071260B2 (ja) 被検体情報取得装置および情報処理方法
AU2017268522A1 (en) Dual modality imaging system for coregistered functional and anatomical mapping
CN105167800B (zh) 光声装置和信号处理方法
JP6146956B2 (ja) 装置、表示制御方法、及びプログラム
JP6362301B2 (ja) 被検体情報取得装置、および、被検体情報取得装置の作動方法
JP6000778B2 (ja) 被検体情報取得装置および被検体情報取得装置の制御方法
CN106618489A (zh) 用于获取被检体信息的装置和处理方法
US20170325693A1 (en) Photoacoustic apparatus and control method of photoacoustic apparatus
CN103989455A (zh) 被检体信息获取装置及其控制方法
US20170265750A1 (en) Information processing system and display control method
JP6661722B2 (ja) 被検体情報取得装置、被検体情報取得方法およびプログラム
JP6443866B2 (ja) 被検体情報取得装置および被検体情報取得方法
Alles et al. Performance characterisation of a new clinical spectroscopic epiphotoacoustic scanner
JP2017086173A (ja) 被検体情報取得装置およびその制御方法
JP2018161467A (ja) 画像処理装置および画像処理方法
JP2017131334A (ja) 被検体情報取得装置および被検体情報取得方法
JP2018175497A (ja) 情報処理装置、被検体情報取得装置および情報処理方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20161207