CN103444170B - 图像处理装置 - Google Patents

图像处理装置 Download PDF

Info

Publication number
CN103444170B
CN103444170B CN201280013973.8A CN201280013973A CN103444170B CN 103444170 B CN103444170 B CN 103444170B CN 201280013973 A CN201280013973 A CN 201280013973A CN 103444170 B CN103444170 B CN 103444170B
Authority
CN
China
Prior art keywords
image
display
characteristic
parameter
image quality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201280013973.8A
Other languages
English (en)
Other versions
CN103444170A (zh
Inventor
柳馆昌春
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of CN103444170A publication Critical patent/CN103444170A/zh
Application granted granted Critical
Publication of CN103444170B publication Critical patent/CN103444170B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/742Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/7445Display arrangements, e.g. multiple display units
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/044Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for absorption imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0004Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by the type of physiological signal transmitted
    • A61B5/0013Medical image data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/73Colour balance circuits, e.g. white balance circuits or colour temperature control
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2560/00Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
    • A61B2560/04Constructional details of apparatus
    • A61B2560/0437Trolley or cart-type apparatus
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0666Adjustment of display parameters for control of colour parameters, e.g. colour temperature
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0693Calibration of display systems
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/06Colour space transformation
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/10Use of a protocol of communication by packets in interfaces along the display data pipeline
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/16Use of wireless transmission of display information

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physiology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Hardware Design (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Picture Signal Circuits (AREA)
  • Color Television Image Signal Generators (AREA)
  • Processing Of Color Television Signals (AREA)

Abstract

存储电路(12)按照每个显示装置存储输出图像数据的显示装置中的显示处理特性的参数,并且,存储基于结合了图像处理电路(10)中的图像处理特性和显示装置中的显示处理特性后的特性的画质的目标值。图像处理电路(10)根据存储电路(12)中存储的与显示装置对应的显示处理特性的参数和存储电路(12)中存储的画质的目标值,调整对输出到显示装置的图像数据进行图像处理时的处理参数。

Description

图像处理装置
技术领域
本发明涉及对从摄像装置输入的帧图像数据进行图像处理的图像处理装置。
本申请根据2011年3月24日在日本提交的日本特愿2011-066060号主张优先权,并在此引用其内容。
背景技术
在利用显示装置显示由摄像装置生成的摄像图像的情况下,对摄像图像进行图像处理,生成适合于显示装置的特性的显示用图像数据。例如在专利文献1中,从外部取得显示装置的参数,对图像信号进行与该参数对应的图像处理。专利文献1公开了生成显示用的图像信号的方法。
但是,在专利文献1所公开的方法中,无法显示与使用显示装置的利用者的喜好对应的图像。虽然能够针对各个显示装置单独进行与利用者的喜好对应的画质的设定,但是,每次换利用者要重新进行设定是很麻烦的。进而,在利用显示特性不同的多台显示装置同时显示来自1台摄像装置的图像的系统中,很难使各显示装置的显示图像的画质一致。
现有技术文献
专利文献
专利文献1:日本特开2004-320614号公报
发明内容
发明要解决的课题
在利用生成摄像图像的医疗装置的医疗系统中,伴随医疗装置的高性能化,摄像图像的品质提高,要求按照每个利用者对显示装置的显示图像的画质进行调整。并且,由于医疗系统的大规模化,从1台医疗装置向多个显示装置发布摄像图像并利用多个显示装置显示图像的系统已经实用化。
该情况下,有时一名医师观看多个显示装置中显示的患部并进行判断,或者多名医师同时观看多个显示装置中显示的患部并进行判断。因此,在显示装置的特性不同的情况下,要求调整多个显示装置的显示图像的画质,以使得以相同画质显示患部。
本发明的目的在于,提供能够将显示装置显示的图像的画质调整为期望画质的图像处理装置。
用于解决课题的手段
为了解决上述课题,本发明提出以下手段。
本发明的第一方式的图像处理装置具有输入部、图像处理部、输出部、存储部、调整部。所述输入部从摄像装置输入帧图像数据,所述摄像装置对被摄体进行摄像并连续输出所述帧图像数据。所述图像处理部对输入到所述输入部的所述帧图像数据进行图像处理。所述输出部针对连续对所述帧图像数据进行显示处理并显示图像的显示装置,输出由所述图像处理部进行图像处理后的所述帧图像数据。所述存储部按照每个所述显示装置存储所述显示装置中的显示处理特性的参数,并且,存储基于如下特性的画质的目标值,所述特性结合了所述图像处理部中的图像处理特性和所述显示装置中的显示处理特性。所述调整部在所述帧图像数据从所述输出部输出到所述显示装置时,根据所述存储部中存储的与该显示装置对应的所述显示处理特性的参数和所述存储部中存储的所述画质的目标值,调整所述图像处理部对输出到所述显示装置的所述帧图像数据进行图像处理时的处理参数。
并且,根据本发明的第二方式,所述存储部存储的所述画质的目标值基于结合了所述图像处理部中的图像处理特性、所述显示装置中的显示处理特性和所述摄像装置中的摄像特性后的特性。所述存储部还按照每个所述摄像装置存储所述摄像装置中的摄像特性的参数。在从所述摄像装置输入到所述输入部的所述帧图像数据从所述输出部输出到所述显示装置时,所述调整部在所述存储部中进行存储。所述调整部根据与该显示装置对应的所述显示处理特性的参数、所述存储部中存储的所述画质的目标值、与该摄像装置对应的所述摄像特性的参数,调整所述图像处理部对输出到所述显示装置的所述帧图像数据进行图像处理时的处理参数。
并且,根据本发明的第三方式,所述存储部按照每个用户存储所述画质的目标值。
并且,根据本发明的第四方式,图像处理装置还具有通信部,该通信部将所述存储部中存储的所述画质的目标值发送到其他图像处理装置,并从其他图像处理装置接收所述画质的目标值。
发明效果
根据本发明的图像处理装置,根据与显示装置对应的显示处理特性的参数和画质的目标值,调整图像处理部对输出到显示装置的帧图像数据进行图像处理时的处理参数,由此,能够利用图像处理部中的图像处理特性抵消每个显示装置的显示处理特性的差异。由此,能够将显示装置显示的图像的画质调整为期望画质。
附图说明
图1是示出本发明的第1实施方式的摄像显示系统的结构的框图。
图2是示出本发明的第1实施方式的摄像显示系统所具有的接收装置的结构的框图。
图3是示出本发明的第1实施方式的摄像显示系统所具有的显示监视器的结构的框图。
图4是示出本发明的第1实施方式的摄像显示系统所具有的医疗用摄像装置的结构的框图。
图5是示出本发明的第1实施方式的摄像显示系统所具有的接收装置中的图像处理电路的结构的框图。
图6是示出本发明的第1实施方式中的画质调整目标信息的参考图。
图7是示出本发明的第1实施方式中的显示特性的参考图。
图8是示出本发明的第1实施方式中的伽马的参考图。
图9是示出本发明的第1实施方式中的频率特性的参考图。
图10是示出本发明的第2实施方式的摄像显示系统的结构的框图。
具体实施方式
下面,参照附图对本发明的实施方式进行说明。下面,以由医疗用摄像装置、发送装置、接收装置、显示监视器构成的摄像显示系统中应用本发明的实施方式的情况为例进行说明。
(第1实施方式)
对本发明的第1实施方式进行说明。图1示出本实施方式的摄像显示系统的结构。在图1中,在手推车4上搭载有医疗用摄像装置1、显示由医疗用摄像装置1生成的摄像图像和各种控制画面的操作监视器2、进行图像数据的无线发送的发送装置3。在手推车7上搭载有接收从发送装置3发送的图像数据并作为影像信号输出的接收装置5、以及显示从接收装置5输出的影像信号作为图像的显示监视器6。
医疗用摄像装置1连续生成由多个帧构成的动态图像数据的各帧的图像数据(帧图像数据)。由医疗用摄像装置1生成的图像数据从发送装置3无线发送到接收装置5,在与接收装置5连接的显示监视器6中显示图像。发送装置3对从医疗用摄像装置1输出的图像数据进行分组化并进行无线传送。并且,接收装置5对从接收到的分组中取出的图像数据实施图像处理并生成影像信号,输出到显示监视器6。显示监视器6对影像信号进行显示处理并显示图像。
图2示出接收装置5的结构。接收装置5具有天线8、RF电路9、图像处理电路10、输出格式转换电路11、存储电路12、整体控制电路13、用户接口电路14、显示装置接口电路15。
天线8接收从发送装置3无线发送的图像数据作为无线信号。RF电路9进行接收到的无线信号的高频处理,将由Y(亮度)、U(色差Cb)、V(色差Cr)构成的图像数据18输出到图像处理电路10。图像处理电路10通过后述方法对图像数据18进行图像处理,将画质调整为期望画质的调整后图像数据19输出到输出格式转换电路11。输出格式转换电路11将调整后图像数据19的格式转换为适合于显示监视器6的图像输入接口的输出格式,作为影像信号16输出到显示面板6。
整体控制电路13是对接收装置5的动作整体进行控制的电路。存储电路12是存储后述画质调整目标信息、各种处理所需要的参数的电路。用户接口电路14是接受从用户指示的指示内容并传递给整体控制电路13的电路。指示内容由整体控制电路13解释,根据需要而存储在存储电路12中。显示装置接口电路15与显示监视器6连接。显示装置接口电路15从显示监视器6取得显示处理特性的参数值,经由整体控制电路13存储在存储电路12中。
图3示出显示监视器6的结构。显示监视器6具有输入格式转换电路20、显示处理电路21、驱动电路22、显示控制电路23、液晶显示面板24。输入格式转换电路20对从接收装置5输出的影像信号16的格式进行转换,返回由Y(亮度)、U(色差Cb)、V(色差Cr)构成的图像数据,输出到显示处理电路21。显示处理电路21对由输入格式转换电路20处理后的图像数据进行画质调整,输出到驱动电路22。驱动电路22驱动液晶显示面板24,以显示基于由显示处理电路21处理后的图像数据的图像。液晶显示面板24显示由医疗用摄像装置1摄像而得到的图像。
显示控制电路23是对显示监视器6的动作整体进行控制的电路。包含液晶显示面板24的显示特性和显示处理电路21的处理特性的显示处理特性的参数值例如在系统的动作开始时作为显示装置接口信号17从显示控制电路23通知给接收装置5。在接收装置5中,在包含显示监视器6的显示处理特性的参数值(包含显示监视器6的ID)的显示装置接口信号17被输入到显示装置接口电路15的情况下,整体控制电路13将该显示监视器6的显示处理特性的参数值存储在存储电路12中。
图4示出医疗用摄像装置1的结构。医疗用摄像装置1具有照相机头25和照相机控制部30。照相机头25具有摄像光学系统26、摄像元件27、前端电路28、AD转换电路29。照相机控制部30具有增益调整电路31、图像处理电路32、缓冲电路33、摄像控制电路34。
摄像光学系统26使从外部入射的被摄体像在摄像元件27上成像。摄像元件27对通过摄像光学系统26形成的被摄体像进行摄像,生成摄像信号。前端电路28驱动摄像元件27,并且对从摄像元件27输出的摄像信号实施信号处理,将其输出到AD转换电路29。AD转换电路29将由前端电路28处理后的模拟摄像信号转换为数字数据,输出到照相机控制部30。照相机头25的动作内容是公知的。因此,省略进一步说明。
增益调整电路31对从照相机头25输出的数字数据实施增益控制处理,输出到图像处理电路32。图像处理电路32对由增益调整电路31处理后的数字数据实施画质调整处理,输出到缓冲电路33。缓冲电路33对由图像处理电路32处理后的数字数据实施输出阻抗转换,作为图像数据35输出到发送装置3。在图像处理电路32中,由于进行画质调整和RGB-YC转换,所以,从照相机控制部30输出由YUV信号构成的图像数据35。
摄像控制电路34是进行照相机头25和照相机控制部30的控制的电路。综合了摄像元件27的特性和图像处理电路32的画质调整处理的特性的摄像特性的参数值例如在系统的动作开始时作为摄像装置接口信号36从摄像控制电路34通知给发送装置3。被从医疗用摄像装置1通知摄像特性的参数值的发送装置3将包含摄像特性的参数值(包含医疗用摄像装置1的ID)的分组发送到接收装置5。当通过接收装置5接收到该分组时,整体控制电路13从RF电路9取得摄像特性的参数值,存储在存储电路12中。
图5示出接收装置5中的图像处理电路10的结构。图像处理电路10具有颜色平衡调整电路37、伽马调整电路38、频率特性调整电路39、调整值控制电路40。颜色平衡调整电路37对从RF电路9输出的由Y(亮度)、U(色差Cb)、V(色差Cr)构成的图像数据18的颜色增益和色相进行调整,输出到伽马调整电路38。伽马调整电路38对由颜色平衡调整电路37处理后的图像数据实施伽马调整,输出到频率特性调整电路39。频率特性调整电路39对由伽马调整电路38处理后的图像数据实施频率调整,作为调整后图像数据19进行输出。调整值控制电路40是根据经由控制信号41从整体控制电路13提供的指示进行图像处理电路10的控制的电路。上述颜色增益和色相的调整、伽马调整、频率调整的详细情况在后面进行说明。
图6是接收装置5进行的画质调整中使用的画质调整目标信息的例子。本实施方式的画质调整目标信息是显示监视器6中显示的图像的、与用户要求的画质对应的参数(图6中为颜色增益、色相、伽马、频率特性)的目标值。并且,画质调整目标信息基于结合了接收装置5的图像处理电路10进行的画质调整(图像处理)的特性和显示监视器6的显示处理的特性后的特性。另外,画质调整目标信息还基于医疗用摄像装置1的摄像特性。这样,画质调整目标信息是基于图像处理电路10进行的画质调整的特性、显示监视器6的显示处理的特性、医疗用摄像装置1的摄像特性的信息。但是,画质调整目标信息不是单独指定这些各特性的信息,只不过综合这些各特性而示出最终得到的画质的特性。通过接收装置5的图像处理电路10进行画质调整,使得进行了基于接收装置5的图像处理电路10的画质调整和基于显示监视器6的显示处理后的画质的参数成为图6所示的画质调整目标信息的各值。
如图6所示,画质调整目标信息由用户ID、颜色增益、色相、伽马、频率特性、生成状况标志、监视器色温构成。用户ID是用于识别生成了画质调整目标信息的用户的标识符。颜色增益和色相(0~360度)是显示图像的彩度和色相(HUE)的目标值。伽马是显示图像的伽马调整的目标值。频率特性是显示图像的频率特性的目标值。另外,设采样频率为1进行标准化来显示频率特性,在水平(H)/垂直(V)两个方向上均以0、0.1、0.2、0.3、0.4、0.5的各频率下的增益来规定。生成状况标志由画质调整目标信息的生成中使用的摄像装置的ID以及表示是否是包含摄像特性的画质调整目标信息的标志(0:不包含;1:包含)构成。监视器色温由画质调整目标信息的生成中使用的显示监视器6的ID以及作为生成时的色温设定的监视器色温构成。
图7是包含显示监视器6的显示处理特性的参数的显示特性的例子。显示监视器6使用图7所示的参数进行显示处理。如图7所示,显示监视器6的显示特性由ID、颜色增益、色相、伽马、频率特性、色温构成。ID是用于识别显示监视器6的标识符。颜色增益和色相是显示监视器6内的显示处理电路21进行的显示处理的彩度成分和色相(HUE)调整值。伽马是结合了液晶显示面板24的显示特性和显示处理电路21进行的显示处理的特性后的伽马。频率特性是显示处理电路21进行的轮廓校正处理的特性。色温是画质调整目标信息的生成时的色温设定。
图8是画质调整目标信息中的伽马的特性例。在通常的显示监视器中,装置的伽马被设定为2.2或1.8。摄像装置在摄像装置和显示监视器连接的状态下抵消显示监视器的伽马,进行使得伽马=1的逆校正(1/Γ校正)。图8示出以伽马=1为基准根据用户的喜好使伽马偏差多少。图8示出画质调整目标信息中的伽马=0.9、伽马=1、伽马=1.1这3种情况下的输入输出特性。
图9是画质调整目标信息中的频率特性的例子。如图6所示,本例中的频率特性是与用户ID=D001的用户的情况下的频率特性的调整有关的目标值。在图9所示的频率特性中,对高频成分的增益进行放大。因此,在将图9所示的频率特性作为目标值的情况下,显示监视器中显示的图像成为对高频成分较多的轮廓部分进行了强调的图像。
接着,使用图6~图7对画质调整目标信息的生成方法以及使用画质调整目标信息的图像处理电路10的画质调整的方法进行说明。首先,对使用如下摄像装置时的画质调整目标信息的生成方法进行说明,所述摄像装置不输出表示摄像特性的信息。
在画质调整目标信息的生成时,在显示监视器6中显示由医疗用摄像装置1进行摄像而得到的图像的状态下,根据用户的指示内容,调整表示接收装置5的图像处理电路10进行的画质调整(图像处理)的特性的参数即调整值。如上所述,用户的指示内容经由用户接口电路14输入到整体控制电路13,进而,作为控制信号41而从整体控制电路13通知给图像处理电路10的调整值控制电路40。
调整值控制电路40根据作为控制信号41而通知的用户的指示内容对图像处理电路10的调整值进行调整。在显示监视器6中显示的图像的画质成为用户喜好的画质的时点,经由用户接口电路14对整体控制电路13输入表示是用户喜好的画质的信息。进而,该用户喜好的画质的信息作为控制信号41而通知给调整值控制电路40。调整值控制电路40使用该时点的调整值生成画质调整目标信息,作为控制信号41而通知给整体控制电路13。整体控制电路13将从调整值控制电路40通知的画质调整目标信息存储在存储电路12中。
在使用不输出表示摄像特性的信息的摄像装置的情况下,由于摄像装置的摄像特性不明,所以,整体控制电路13假设摄像特性为标准特性来生成画质调整目标信息。在本说明中,上述标准特性是设为颜色增益=1.0、色相=0度、伽马=监视器γ:2.2的情况下的相反特性、频率特性=平坦(没有轮廓强调)。并且,设显示监视器(ID=DS01)的显示特性为图7所示的值。在显示监视器6中显示的图像的画质成为用户喜好的画质的时点的图像处理电路10的画质调整的调整值为例如颜色增益=1.375、色相=10度、伽马=1.1、频率特性=(1,1,1,0.92,1,1)[频率/采样频率=(0,0.1,0.2,0.3,0.4,0.5)的增益]的情况下,如下所述生成画质调整目标信息。
关于颜色增益,由于标准特性=1.0、显示特性=0.8、调整值=1.375,所以,颜色增益的目标值成为1.1(=1*0.8*1.375)。关于色相,由于标准特性=0、显示特性=0、调整值=10,所以,色相的目标值成为10(=0+0+10)。关于伽马,由于标准特性=[设γ为2.2的情况下的相反特性]、显示特性=2.2、调整值=1.1,所以,伽马的目标值成为1.1。关于频率特性,由于标准特性=(1,1,1,1,1,1)、显示特性=(1,1,1,1.2,1.2,1)、调整值=(1,1,1,0.92,1,1),所以,频率特性的目标值成为(1,1,1,1.1,1.2,1)。例如,在频率为0.4时,由于标准特性=1、显示特性=1.2、调整值=0.92,所以,目标值成为1*1.2*0.92=1.1。
按照以上的顺序生成画质调整目标信息。所生成的画质调整目标信息如图6所示,设生成状况标志为0,在明确示出不包含摄像特性的状态下写入存储电路12中。
接着,对画质调整的方法进行说明。下面,在连接了显示特性与显示监视器(ID=DS01)不同的显示监视器(ID=DS02)的情况下,进行使用以上述顺序求出的画质调整目标信息的画质调整的说明。
如图7所示,显示监视器(ID=DS01)的色温为6500K,显示监视器(ID=DS02)的色温为9300K。当色温不同时,图像的信号值饱和时(白)的色度按照每个显示监视器而不同。由于很难通过接收装置5中的图像处理而完全调整色温,所以,在本实施方式中,从接收装置5对显示监视器6的色温进行变更。在图像处理中,根据来自接收装置5的指示来进行仅通过图像处理而画质调整不充分的显示装置的色温的设定,由此,显示画质的调整精度提高。
因此,接收装置5的整体控制电路13生成用于对显示监视器6的色温进行变更的变更信息,经由显示装置接口电路15作为显示装置接口信号17输出到显示监视器6。显示监视器6的显示控制电路23根据作为显示装置接口信号17而通知的变更信息对色温进行变更。该情况下,由于在连接了色温6500K的显示监视器(ID=DS01)的状态下生成画质调整目标信息,所以,在将画质调整目标信息中的显示监视器(ID=DS02)的色温变更为6500K后,进行画质调整。
设显示监视器(ID=DS02)的显示特性为图7所示的值。如上所述,由于画质调整目标信息为颜色增益=1.1、色相=10度、伽马=1.1、频率特性=(1,1,1,1.1,1.2,1),所以,图像处理电路10的调整值如下所述。关于颜色增益,由于标准特性=1.0、显示特性=0.9、画质调整目标=1.1,所以,颜色增益的调整值成为1.222(=1*1.1/0.9)。关于色相,由于标准特性=0、显示特性=0、画质调整目标=10,所以,色相的调整值成为10(=0+0+10)。
关于伽马,由于标准特性=[设γ为2.2的情况下的相反特性]、显示特性=1.8、画质调整目标=1.1,所以,伽马的调整值成为如下特性:在从设γ为2.2的情况下的相反特性减去设γ为1.8的情况下的相反特性而得到的结果中,进一步加上γ=1.1。图像处理电路10的伽马调整电路38由查找表构成,调整值控制电路40通过计算上述伽马的调整值并写入表中,还能够实现需要复杂计算的处理。
关于频率特性,由于标准特性=(1,1,1,1,1,1)、显示特性=(1,1,1,1,1.2,1)、画质调整目标=(1,1,1,1.2,1,1),所以,调整值=(1,1,1,1,1,1)。通过使用上述调整值进行画质调整,在连接了显示特性不同的显示监视器(ID=DS02)的情况下,也能够显示期望画质的图像。
在画质调整时,体控制电路13从存储电路12中读出画质调整目标、显示监视器(ID=DS02)的显示特性和摄像特性(在上述例子中为标准特性)的各信息,输出到图像处理电路10。图像处理电路10的调整值控制电路40根据各信息,如上所述计算各调整值,根据计算出的调整值对颜色平衡调整电路37、伽马调整电路38和频率特性调整电路39进行控制。
接着,对使用如下摄像装置的情况下的画质调整目标信息的生成方法进行说明,该摄像装置输出表示摄像特性的信息。表示摄像特性的信息从医疗用摄像装置1中的摄像控制电路34经由发送装置3进行无线发送,传递到接收装置5,存储在接收装置5的存储电路12中。在与使用不输出表示摄像特性的信息的摄像装置时的画质调整目标信息的生成方法有关的说明中,将用作标准特性的信息置换为表示摄像特性的信息,进行以下处理。由于除此之外是相同的处理,所以省略详细说明。
另外,接收装置5也可以将画质调整目标信息输出到显示监视器6,显示监视器6根据画质调整目标信息对接收装置5中的显示处理特性的参数进行调整,以使得显示处理后的图像的画质成为期望画质。
如上所述,根据本实施方式,使用与期望画质对应的画质调整目标信息和每个显示监视器的显示特性,决定图像处理电路10中的画质调整的调整值,由此,在使用显示特性不同的显示监视器6的情况下,也能够利用图像处理特性的调整来抵消显示特性的差异。因此,能够将显示监视器6显示的图像的画质调整为期望画质。
并且,使用与期望画质对应的画质调整目标信息、每个显示监视器的显示特性和每个摄像装置的摄像特性,决定图像处理电路10中的画质调整的调整值,由此,在使用摄像特性不同的医疗用摄像装置1的情况下,也能够利用图像处理特性的调整来抵消摄像特性的差异。因此,能够将显示监视器6显示的图像的画质调整为期望画质。
并且,在生成画质调整目标信息时,使用者能够一边确认所显示的图像的画质一边进行调整。即,能够按照每个用户对画质调整目标信息进行管理。因此,能够以与用户的喜好对应的画质显示图像。进而,通过按照每个用户生成画质调整目标信息,能够进行与每个用户的喜好对应的画质调整。
(第2实施方式)
接着,对本发明的第2实施方式进行说明。图10示出本实施方式的摄像显示系统的结构。在图1中,在手推车4上搭载有医疗用摄像装置1、操作监视器2、发送装置3。在手推车7上搭载有接收装置5和显示监视器6。在手推车44上搭载有接收装置42和显示监视器43。在第2实施方式中,2台显示监视器(显示监视器6、显示监视器43)的显示特性不同。
本实施方式中的特征性动作是使2台显示监视器6、43中显示的图像的画质相同的画质连动动作。在本实施方式的画质连动动作中,设接收装置5为主,设接收装置42为副。主接收装置5将画质调整目标信息发送到副接收装置42,主接收装置5和副接收装置42使用相同的画质调整目标信息进行画质调整。由此,将2台显示监视器6、43中显示的图像的画质调整为与相同画质调整目标信息对应的画质。
在进行上述动作时,接收装置5的整体控制电路13从存储电路12中读出与接收装置42共用的画质调整目标信息,将包含画质调整目标信息的分组经由RF电路9和天线8发送到接收装置42。接收装置42具有与图2相同的结构,将从接收装置5接收到的分组中包含的画质调整目标信息存储在自身的存储电路中。由于接收装置42中的画质调整动作的详细情况与第1实施方式中说明的动作相同,所以省略说明。
如上所述,根据本实施方式,能够针对连接主接收装置5的显示监视器6中显示的图像的画质,结合连接副接收装置42的显示监视器43中显示的图像的画质。因此,能够使摄像显示系统内的多个显示装置的显示画质一致。
以上参照附图详细叙述了本发明的实施方式,但是,具体结构不限于上述实施方式,还包含不脱离本发明主旨的范围内的设计变更等。
产业上的可利用性
根据上述图像处理装置,根据与显示装置对应的显示处理特性的参数和画质的目标值,调整图像处理部对输出到显示装置的帧图像数据进行图像处理时的处理参数,由此,能够利用图像处理部中的图像处理特性来抵消每个显示装置的显示处理特性的差异。由此,能够将显示装置显示的图像的画质调整为期望画质。
标号说明
1:医疗用摄像装置;2:操作监视器;3:发送装置;4、7、44:手推车;5、42:接收装置;6、43:显示监视器;8:天线;9:RF电路(输入部、通信部);10:图像处理电路(图像处理部);11:输出格式转换电路(输出部);12:存储电路(存储部);13:整体控制电路;14:用户接口电路;15:显示装置接口电路;20:输入格式转换电路;21:显示处理电路;22:驱动电路;23:显示控制电路;24:液晶显示面板;25:照相机头;26:摄像光学系统;27:摄像元件;28:前端电路;29:AD转换电路;30:照相机控制部;31:增益调整电路;32:图像处理电路;33:缓冲电路;34:摄像控制电路;37:颜色平衡调整电路;38:伽马调整电路;39:频率特性调整电路;40:调整值控制电路(调整部)。

Claims (5)

1.一种图像处理装置,其具有:
通信部,其接收摄像装置所生成的帧图像数据;
图像处理部,其对由所述通信部接收的所述帧图像数据进行图像处理;
输出部,其对根据由所述图像处理部进行图像处理后的所述帧图像数据显示图像的显示装置输出由所述图像处理部进行图像处理后的所述帧图像数据;以及
存储部,其存储所述显示装置中的显示处理特性的参数、和用户针对所述显示装置所显示的所述图像所要求的基于如下特性的画质目标值的参数,所述特性结合了所述图像处理部中的图像处理特性和所述显示装置中的显示处理特性,
所述图像处理部还具有调整部,该调整部根据所述存储部中存储的与所述帧图像数据的输出目的地的所述显示装置对应的所述显示处理特性的参数和所述存储部中存储的所述画质目标值的参数,调整所述图像处理部对输出到所述显示装置的所述帧图像数据进行图像处理时的处理参数。
2.根据权利要求1所述的图像处理装置,其中,
所述存储部还存储所述摄像装置的摄像特性的参数,
所述调整部根据所述存储部中存储的与所述帧图像数据的输出目的地的所述显示装置对应的所述显示处理特性的参数、所述画质目标值的参数、和与将所述帧图像数据发送到所述图像处理装置的所述摄像装置对应的所述摄像特性的参数,调整所述图像处理部对输出到所述显示装置的所述帧图像数据进行图像处理时的处理参数。
3.根据权利要求1所述的图像处理装置,其中,
所述图像处理装置还具有用户接口部,该用户接口部能够供用户设定所述画质目标值的参数,
所述画质目标值的参数至少使用按每个所述用户赋予的标识符,按每个所述用户来管理。
4.根据权利要求1所述的图像处理装置,其中,
所述通信部能够将所述存储部中存储的所述画质目标值的参数发送到其他图像处理装置,或者从其他图像处理装置接收所述画质目标值的参数。
5.根据权利要求1所述的图像处理装置,其中,
在所述通信部从其他图像处理装置接收到所述画质目标值的参数时,所述调整部根据所述通信部接收到的所述画质目标值的参数,调整所述图像处理部对输出到所述显示装置的所述帧图像数据进行处理时的处理参数。
CN201280013973.8A 2011-03-24 2012-03-01 图像处理装置 Expired - Fee Related CN103444170B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011-066060 2011-03-24
JP2011066060A JP5730634B2 (ja) 2011-03-24 2011-03-24 画像処理装置
PCT/JP2012/055199 WO2012128012A1 (ja) 2011-03-24 2012-03-01 画像処理装置

Publications (2)

Publication Number Publication Date
CN103444170A CN103444170A (zh) 2013-12-11
CN103444170B true CN103444170B (zh) 2016-09-07

Family

ID=46879170

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280013973.8A Expired - Fee Related CN103444170B (zh) 2011-03-24 2012-03-01 图像处理装置

Country Status (5)

Country Link
US (1) US9468357B2 (zh)
EP (1) EP2690868B1 (zh)
JP (1) JP5730634B2 (zh)
CN (1) CN103444170B (zh)
WO (1) WO2012128012A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5864876B2 (ja) * 2011-03-25 2016-02-17 オリンパス株式会社 画像処理装置及び画像処理方法
JP5888873B2 (ja) * 2011-05-12 2016-03-22 オリンパス株式会社 画像送信装置及び撮像表示システム
JP6423172B2 (ja) * 2014-05-22 2018-11-14 オリンパス株式会社 無線内視鏡システム、表示装置、及びプログラム
EP3192429A4 (en) * 2014-07-29 2018-04-11 Olympus Corporation Video processor for endoscope, and endoscope system equipped with same
KR20160091012A (ko) * 2015-01-23 2016-08-02 삼성메디슨 주식회사 의료 영상 장치 및 그 제어방법
EP3417758A1 (en) * 2017-06-19 2018-12-26 Ambu A/S A method for processing image data using a non-linear scaling model and a medical visual aid system
WO2020166697A1 (ja) * 2019-02-14 2020-08-20 大日本印刷株式会社 医療機器用色修正装置
WO2021020010A1 (ja) * 2019-07-26 2021-02-04 富士フイルム株式会社 撮像素子、撮像装置、撮像素子の作動方法、及びプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030016289A1 (en) * 2001-04-27 2003-01-23 Matsushita Electric Industrial Co., Ltd. Color management apparatus and color management system
CN1849622A (zh) * 2003-09-11 2006-10-18 松下电器产业株式会社 图像处理装置,图像处理方法以及图像处理程序
CN101561926A (zh) * 2008-04-17 2009-10-21 索尼株式会社 图像处理设备、图像拍摄设备、图像处理方法和程序
CN101754029A (zh) * 2008-11-28 2010-06-23 佳能株式会社 信号处理设备、摄像设备、摄像系统和信号处理方法

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6373531B1 (en) * 1995-10-05 2002-04-16 Canon Kabushiki Kaisha Image processing apparatus, method, and recording medium for performing color correction suitable for matching ambient light for different types of output devices
US5805213A (en) * 1995-12-08 1998-09-08 Eastman Kodak Company Method and apparatus for color-correcting multi-channel signals of a digital camera
JP3423620B2 (ja) * 1998-07-30 2003-07-07 キヤノン株式会社 撮像装置及び制御装置及び撮像装置制御システム及びその制御方法及び記憶媒体
JP2000059677A (ja) * 1998-08-06 2000-02-25 Minolta Co Ltd デジタルカメラ
KR100327377B1 (ko) * 2000-03-06 2002-03-06 구자홍 디지털 영상 수신기와 디지털 디스플레이 장치 사이에서디지털 영상 신호를 디스플레이 하는 방법
JP2002099267A (ja) * 2000-09-26 2002-04-05 Fuji Photo Film Co Ltd 表示方法および表示装置
JP2002152552A (ja) * 2000-11-10 2002-05-24 Mitsubishi Electric Corp ガンマ補正回路
KR20020038525A (ko) * 2000-11-17 2002-05-23 마츠시타 덴끼 산교 가부시키가이샤 축적 화상 배송 방법, 기록 매체 및 축적 화상 배송 장치
JP5259032B2 (ja) * 2001-07-13 2013-08-07 オリンパス株式会社 画像処理装置
KR20030090849A (ko) * 2002-05-22 2003-12-01 엘지전자 주식회사 영상 디스플레이 장치
JP4037688B2 (ja) * 2002-05-28 2008-01-23 オリンパス株式会社 電子内視鏡システムの信号処理装置
US20040183915A1 (en) * 2002-08-28 2004-09-23 Yukita Gotohda Method, device, and program for controlling imaging device
JP4805531B2 (ja) 2003-04-18 2011-11-02 富士フイルム株式会社 画像処理装置
EP1667063A4 (en) * 2003-09-11 2008-11-19 APPARATUS, METHOD AND PROGRAM FOR PROCESSING IMAGES
JP4679167B2 (ja) * 2004-03-05 2011-04-27 株式会社東芝 コンピュータシステム解析装置
CA2580447A1 (en) * 2004-11-27 2006-06-01 Bracco Imaging S.P.A. Systems and methods for displaying multiple views of a single 3d rendering ("multiple views")
JP4677322B2 (ja) * 2005-10-25 2011-04-27 キヤノン株式会社 画像処理パラメータ設定装置
JP4847161B2 (ja) * 2006-03-02 2011-12-28 キヤノン株式会社 画像送信装置および撮像装置
WO2008011063A2 (en) * 2006-07-19 2008-01-24 Mdatalink, Llc Method and system for remote review of clinical data
US20080239157A1 (en) * 2007-03-30 2008-10-02 Barinder Singh Rai Memory Efficient Gamma Correction For Multiple Display Devices
JP4363468B2 (ja) * 2007-07-12 2009-11-11 ソニー株式会社 撮像装置及び撮像方法並びに映像信号処理プログラム
JP4788748B2 (ja) * 2008-09-04 2011-10-05 ソニー株式会社 映像表示装置、映像表示方法及びシステム
JP2010288117A (ja) * 2009-06-12 2010-12-24 Sharp Corp 画面データ送信端末、画面データ受信端末、画面データ伝送システム、画面データ送信プログラム、画面データ受信プログラム、画面データ送信方法および画面データ受信方法
JP5173083B2 (ja) * 2010-06-09 2013-03-27 三菱電機株式会社 撮像システム、撮像装置および表示装置
JP5864876B2 (ja) * 2011-03-25 2016-02-17 オリンパス株式会社 画像処理装置及び画像処理方法
JP6053345B2 (ja) * 2012-06-20 2016-12-27 キヤノン株式会社 送信装置、映像表示装置、送信方法、映像表示方法、及びプログラム
KR101974367B1 (ko) * 2012-09-25 2019-05-02 삼성전자주식회사 동영상 화질 향상을 위한 비디오 디코딩 장치 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030016289A1 (en) * 2001-04-27 2003-01-23 Matsushita Electric Industrial Co., Ltd. Color management apparatus and color management system
CN1849622A (zh) * 2003-09-11 2006-10-18 松下电器产业株式会社 图像处理装置,图像处理方法以及图像处理程序
CN101561926A (zh) * 2008-04-17 2009-10-21 索尼株式会社 图像处理设备、图像拍摄设备、图像处理方法和程序
CN101754029A (zh) * 2008-11-28 2010-06-23 佳能株式会社 信号处理设备、摄像设备、摄像系统和信号处理方法

Also Published As

Publication number Publication date
US20140015946A1 (en) 2014-01-16
JP2012204973A (ja) 2012-10-22
US9468357B2 (en) 2016-10-18
JP5730634B2 (ja) 2015-06-10
EP2690868B1 (en) 2019-08-07
WO2012128012A1 (ja) 2012-09-27
EP2690868A4 (en) 2015-03-04
CN103444170A (zh) 2013-12-11
EP2690868A1 (en) 2014-01-29

Similar Documents

Publication Publication Date Title
CN103444170B (zh) 图像处理装置
CN103165098B (zh) 自动调整电子显示器设置的系统和方法
CN109036262B (zh) 医用led显示屏的显示特性曲线校正方法及控制系统
US9485428B2 (en) Image transmission device and imaging display system
US8736766B2 (en) Image processing device, image processing method, image processing program, and recording medium, each capable of correcting luminance of image so that the local deterioration of grey scales is unlikely to occur
CN105141841B (zh) 摄像设备及其方法
US20140292616A1 (en) Computer monitor equalization using handheld device
CN101729913A (zh) 影像饱和度的调整方法与系统
US20140233704A1 (en) X-ray fluoroscopic radiographing apparatus and method
CN102769726B (zh) 一种图像效果调整方法及智能装置
JPWO2018055945A1 (ja) 映像信号処理装置、映像信号処理方法および映像信号処理システム
CN101141653B (zh) 图像调整装置
WO2009125743A1 (ja) 映像信号処理回路、表示装置、携帯端末及びプログラム
CN107027017A (zh) 一种图像白平衡的调整方法、装置、图像处理芯片及存储装置
JP2012088551A (ja) 色補正処理装置、色補正処理方法及びマルチディスプレイ装置
CN107040770A (zh) 显示设备的画面色温动态调整方法及装置
US8179478B2 (en) System for adjusting color image quality and method thereof
TWI225362B (en) Color correcting device and method for image forming apparatus
CN114566118B (zh) 显示偏色校正方法、装置及系统
US20110228168A1 (en) Real-Time image processing circuit capable of enhancing brightness contrast and color saturation
US20120257828A1 (en) Image processing circuit, semiconductor device, image processing device, and electronic appliance
TW201121336A (en) Method for correcting high dynamic range synthetic images
CN101345813A (zh) 影像色彩补偿装置及其方法
Duan et al. P‐7.18: A 75 ″8K Professional Monitor Based on FPGA System
JP2016109818A (ja) 画素データ処理方法および液晶表示装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160907

Termination date: 20200301