JP2022064100A - 表示部の色補正方法 - Google Patents

表示部の色補正方法 Download PDF

Info

Publication number
JP2022064100A
JP2022064100A JP2020172624A JP2020172624A JP2022064100A JP 2022064100 A JP2022064100 A JP 2022064100A JP 2020172624 A JP2020172624 A JP 2020172624A JP 2020172624 A JP2020172624 A JP 2020172624A JP 2022064100 A JP2022064100 A JP 2022064100A
Authority
JP
Japan
Prior art keywords
color
display unit
shooting
color chart
chart
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020172624A
Other languages
English (en)
Inventor
雅人 高橋
Masato Takahashi
徳道 津村
Norimichi Tsumura
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
DIC Corp
Original Assignee
DIC Corp
Dainippon Ink and Chemicals Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by DIC Corp, Dainippon Ink and Chemicals Co Ltd filed Critical DIC Corp
Priority to JP2020172624A priority Critical patent/JP2022064100A/ja
Priority to EP21879925.2A priority patent/EP4231634A4/en
Priority to CA3191520A priority patent/CA3191520A1/en
Priority to PCT/JP2021/036796 priority patent/WO2022080185A1/ja
Priority to US18/248,767 priority patent/US12022048B2/en
Priority to CN202180057128.XA priority patent/CN116075701A/zh
Priority to KR1020237004600A priority patent/KR20230087437A/ko
Publication of JP2022064100A publication Critical patent/JP2022064100A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/603Colour correction or control controlled by characteristics of the picture signal generator or the picture reproducer
    • H04N1/6033Colour correction or control controlled by characteristics of the picture signal generator or the picture reproducer using test pattern analysis
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46Measurement of colour; Colour measuring devices, e.g. colorimeters
    • G01J3/52Measurement of colour; Colour measuring devices, e.g. colorimeters using colour charts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00002Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for
    • H04N1/00026Methods therefor
    • H04N1/00045Methods therefor using a reference pattern designed for the purpose, e.g. a test chart
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00002Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for
    • H04N1/00026Methods therefor
    • H04N1/00058Methods therefor using a separate apparatus
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00002Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for
    • H04N1/00026Methods therefor
    • H04N1/00058Methods therefor using a separate apparatus
    • H04N1/00061Methods therefor using a separate apparatus using a remote apparatus
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/603Colour correction or control controlled by characteristics of the picture signal generator or the picture reproducer
    • H04N1/6052Matching two or more picture signal generators or two or more picture reproducers
    • H04N1/6055Matching two or more picture signal generators or two or more picture reproducers using test pattern analysis
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/02Improving the quality of display appearance
    • G09G2320/0242Compensation of deficiencies in the appearance of colours
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0666Adjustment of display parameters for control of colour parameters, e.g. colour temperature
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0693Calibration of display systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00002Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for
    • H04N1/00026Methods therefor
    • H04N1/00034Measuring, i.e. determining a quantity by comparison with a standard
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/6027Correction or control of colour gradation or colour contrast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/603Colour correction or control controlled by characteristics of the picture signal generator or the picture reproducer
    • H04N1/6033Colour correction or control controlled by characteristics of the picture signal generator or the picture reproducer using test pattern analysis
    • H04N1/6044Colour correction or control controlled by characteristics of the picture signal generator or the picture reproducer using test pattern analysis involving a sensor integrated in the machine or otherwise specifically adapted to read the test pattern
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/603Colour correction or control controlled by characteristics of the picture signal generator or the picture reproducer
    • H04N1/6033Colour correction or control controlled by characteristics of the picture signal generator or the picture reproducer using test pattern analysis
    • H04N1/6047Colour correction or control controlled by characteristics of the picture signal generator or the picture reproducer using test pattern analysis wherein the test pattern is part of an arbitrary user image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/6058Reduction of colour to a range of reproducible colours, e.g. to ink- reproducible colour gamut
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/6077Colour balance, e.g. colour cast correction
    • H04N1/608Colour balance, e.g. colour cast correction within the L, C1, C2 colour signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • H04N2201/3256Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document colour related metadata, e.g. colour, ICC profiles
    • H04N2201/3257Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document colour related metadata, e.g. colour, ICC profiles relating to the original, the input device or the input process, e.g. scanner profile
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • H04N2201/3256Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document colour related metadata, e.g. colour, ICC profiles
    • H04N2201/326Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document colour related metadata, e.g. colour, ICC profiles relating to the rendering or output medium, device or process, e.g. monitor, paper or printer profile

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Computer Hardware Design (AREA)
  • Color Image Communication Systems (AREA)
  • Image Processing (AREA)
  • Spectrometry And Color Measurement (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

Figure 2022064100000001
【課題】 印刷物であるカラーチャートを用いて観察を行う観察者が使用する携帯通信端末の表示部の色補正を行うことができる表示部の色補正方法の提供。
【解決手段】 所定の画像を、撮影部と表示部とを有する携帯通信端末の前記表示部に表示させる第1工程と、
印刷物であるカラーチャートと前記所定の画像が表示された前記表示部とを一緒に又は個別に前記撮影部により撮影することで、撮影データが取得される第2工程と、
前記撮影データにおける前記所定の画像の色情報と前記撮影データにおける前記カラーチャートの色の色情報とを用いて、表示部の色を補正させる第3工程と、
を有することを特徴とする表示部の色補正方法。
【選択図】図1

Description

本発明は、表示部の色補正方法に関する。
色補正は、遠隔医療、デザインの分野、WEBマーケティングで重要視されている。
遠隔診療では、患者が撮影した画像を、医師側のディスプレイに正しく表示される事が重要である。
例えば、正常な場合(炎症を起こしていない場合)と、炎症を起こしている場合とでは赤みの度合いが異なるが、これが正しくディスプレイに表示できないと、誤診を招く。
これは、非特許文献1で指摘されている。
デザインにおいても、作者の意図した色が、正しく表示されなければ、作者の意図するデザインを伝える事ができない。
WEBマーケティングでも、提供側の情報が正しく表示されないと、返品などに繋がり、社会的コストが増える
ここで、遠隔診療は、電話などでの問診の他、会議システムなどの画像の送受信が可能な情報通信システムを用い、医師などの診断者が患者を観察することでも行われる。
診療においては、色を重視する診療が行われる場合がある。例えば、歯科における歯茎の色の観察、皮膚科における皮膚の色の観察、耳鼻咽喉科における喉の色の観察、漢方医学で行われている、肌色、舌色などによる診察(望診)などが挙げられる。このような診療においては、色の認識が正しく行われないことが診断に影響を与えることがある。
そのため、そのような診療を遠隔診療で行う際には、色を正確に認識することが重要である。
実用的な色再現系は、国際照明委員会(CIE)によって標準化が行われてきている。しかし、実際に色再現を行う場合は、校正機器の使用、ソフトウエアのインストールなど、簡単には行えない。
特に、遠隔医療などでスマートフォンなどの携帯端末を使用する場合は、携帯端末ごとに機器を使用して、かつソフトウエアをインストールするなどを実施せねばならず、使用者の負担が大きいため、普及されていない。
Nishibori, Masahiro. "Problems and solutions in medical color imaging." Proceedings of the Second International Symposium on Multi-Spectral Imaging and High Accurate Color Reproduction. 2000.
そこで、本発明者らは、遠隔診療などのカラーチャートを用いた観察を行う観察者が使用する携帯通信端末の表示部の色補正を簡易に行う方法について検討した。
すなわち、本発明は、印刷物であるカラーチャートを用いて観察を行う観察者が使用する携帯通信端末の表示部の色補正を行うことができる表示部の色補正方法を提供することを目的とする。
本発明者らは、上記課題を解決するために鋭意研究を重ねた結果、携帯通信端末の色補正を、校正機器を用いずに、印刷物のカラーチャートのみで行える簡易な方法を見出した。
具体的には、印刷物であるカラーチャートと表示部に表示させた所定の画像とを撮影して得た撮影データを用いることで、印刷物のカラーチャートを所持している観察者が使用する携帯通信端末の表示部の色補正を行うことができることを見出し、本発明の完成に至った。
すなわち、本発明は、以下の態様を包含するものである。
[1] 所定の画像を、撮影部と表示部とを有する携帯通信端末の前記表示部に表示させる第1工程と、
印刷物であるカラーチャートと前記所定の画像が表示された前記表示部とを一緒に又は個別に前記撮影部により撮影することで、撮影データが取得される第2工程と、
前記撮影データにおける前記所定の画像の色情報と前記撮影データにおける前記カラーチャートの色の色情報とを用いて、表示部の色を補正させる第3工程と、
を有することを特徴とする表示部の色補正方法。
[2] 前記所定の画像が、所定の色としてのパッチを有し印刷物である第2カラーチャートを標準光源下で撮影して得られる色を含み、
前記第2工程が、前記印刷物であるカラーチャートと前記所定の画像が表示された前記表示部とを前記撮影部により一緒に撮影することで、前記撮影データが取得される工程であり、
前記第3工程が、前記撮影データにおける前記第2カラーチャートを標準光源下で撮影して得られる色の色情報と前記撮影データにおける前記カラーチャートの色の色情報とを用いて、その後に前記第2カラーチャートを前記表示部に表示し前記撮影部により前記表示部を撮影して得られる撮影データにおける前記表示部に表示される前記第2カラーチャートの色を、前記撮影データにおける前記カラーチャートの色に近づける乃至は一致させる工程である、[1]に記載の表示部の色補正方法。
[3] 前記所定の画像が、前記カラーチャートの色を含み、
前記第2工程が、前記印刷物であるカラーチャートと前記所定の画像が表示された前記表示部とを前記撮影部により一緒に撮影することで、前記撮影データが取得される工程であり、
前記第3工程が、前記撮影データにおける前記所定の画像に含まれる前記カラーチャートの色の色情報と前記撮影データにおける前記印刷物であるカラーチャートの色の色情報とを用いて、その後に前記所定の画像を前記表示部に表示し前記撮影部により前記表示部を撮影して得られる撮影データにおける前記表示部に表示される前記所定の画像に含まれる前記カラーチャートの色を、前記撮影データにおける前記印刷物であるカラーチャートの色に近づける乃至は一致させる工程である、[1]に記載の表示部の色補正方法。
[4] 前記第2工程が、前記印刷物であるカラーチャートと前記所定の画像が表示された前記表示部とを一緒に鏡に映して前記鏡に映った前記印刷物であるカラーチャートと前記表示部とを前記撮影部により撮影することで、前記撮影データが取得される工程である、又は
前記撮影部が、前記携帯通信端末に外付けされた撮影部であり、前記第2工程が、前記印刷物であるカラーチャートと前記所定の画像が表示された前記表示部とを前記外付けされた撮影部により一緒に撮影することで、前記撮影データが取得される工程である、
[2]又は[3]に記載の表示部の色補正方法。
[5] 前記所定の画像が、所定の色を含み、
前記第1工程と、前記第2工程において前記表示部を撮影することとが、前記所定の色を変化させてそれぞれ複数回行われ、
前記第3工程が、前記第2工程で取得された、前記撮影データにおける複数の所定の色の色情報と、前記撮影データにおける前記カラーチャートの色の色情報とを用いて、前記表示部の色を補正させる工程である、[1]に記載の表示部の色補正方法。
[6] 前記第2工程において、前記印刷物であるカラーチャートと前記表示部とが個別に前記撮影部により撮影される、[5]に記載の表示部の色補正方法。
本発明によれば、印刷物であるカラーチャートを用いて観察を行う観察者が使用する携帯通信端末の表示部の色補正を行うことができる表示部の色補正方法を提供することができる。
表示部の色補正方法の一例のフローチャートである。 遠隔診療用カラーチャートの一例の模式図である。 遠隔診療用カラーチャートを含む所定の画像をスマートフォンのディスプレイに表示した模式図である。 遠隔診療用カラーチャートとスマートフォンとを並べて置いた模式図である。 並べて置いた遠隔診療用カラーチャートとスマートフォンとに鏡を対向配置した模式図である。 表示部の色補正方法の他の一例のフローチャートである。 所定の色を含む所定の画像をスマートフォンのディスプレイに表示した模式図である。 遠隔診療用カラーチャートとスマートフォンとを並べて置いた模式図である。 並べて置いた遠隔診療用カラーチャートとスマートフォンとに鏡を対向配置した模式図である。 表示部の色補正方法の他の一例のフローチャートである。 遠隔診断の一例のフローチャートである。 スマートフォンでカラーチャート及び患者を同時に撮影する模式図である。 スマートフォンのディスプレイに撮影して得られた画像を表示した模式図である。 医師がディスプレイに撮影して得られた画像を表示して遠隔診療を行う模式図である。
以下、本発明の表示部の色補正方法について詳細に説明するが、以下に記載する構成要件の説明は、本発明の一実施態様としての一例であり、これらの内容に特定されるものではない。
(表示部の色補正方法)
本発明の表示部の色補正方法は、第1工程と、第2工程と、第3工程とを有し、更に必要に応じて、その他の工程を有する。
<第1工程>
第1工程としては、所定の画像を携帯通信端末の表示部に表示させる工程であれば、特に限定されない。
携帯通信端末の表示部の明るさを変更できる場合、所定の画像を表示させる際の表示部の明るさは、観察者が印刷物であるカラーチャートを手元に置きつつ表示部に表示された画像の観察を行う際の表示部の明るさに合わせることが好ましい。そうすることにより、色補正による補正効果をより得ることができる。
<<所定の画像>>
所定の画像としては、例えば、所定の色を含む画像が挙げられる。そのような画像としては、例えば、印刷物であるカラーチャート(以下、「第2カラーチャート」と称する。)を撮影して得られる色(パッチの色)を含む画像が挙げられる。撮影は、標準光源下で行われることが好ましい。標準光源としては、例えば、D50光源、D65光源が挙げられる。
第2カラーチャートは、所定の色としてのパッチを有する。第2カラーチャートにおけるパッチの数としては、1以上であれば特に限定されない。
また、所定の画像は、印刷物であるカラーチャートを撮影して得られる色ではなく、後述する第2工程で用いられる印刷物であるカラーチャートの色(パッチの色)を含む画像であってもよい。そのような色の色情報は、カラーチャートの色の色情報としてあらかじめカラーチャートの説明書等に記載されている色情報であってもよいし、カラーチャートを測色計により測色して得られる色の色情報であってもよい。
所定の画像とは、任意又は無作為に作成した画像ではなく、例えば、表示部の色補正に用いられる色情報が予め把握されている画像を意味する。
所定の画像は、表示部を撮影部により撮影して得られる撮影データにおいて所定の色の認識がしやすいように、所定の色を認識するための認識用のマーカを有することが好ましい。
所定の画像における、第2カラーチャート、所定の色、カラーチャートの色の面積としては、特に限定されないが、30%以下が好ましく、20%以下がより好ましく、15%以下が特に好ましい。下限としては、5%以上が好ましい。
また、表示部に表示される所定の画像において、第2カラーチャート、所定の色、カラーチャートの色、認識用マーカ以外の箇所は、暗色であることが好ましく、黒であることがより好ましい。
表示部に表示される所定の画像において、第2カラーチャート、所定の色、カラーチャートの色の面積が小さく、かつ第2カラーチャート、所定の色、カラーチャートの色以外の箇所が暗色であることにより、自発光している表示部の発光量が少なくなる結果、当該自発光が撮影データの色調に影響を与えることを低減させることができる。
以上から、所定の画像における、第2カラーチャート、所定の色、カラーチャートの色の面積は小さい方がよい。
他方、第2カラーチャート、所定の色、カラーチャートの色の面積が小さすぎると、撮影する際に、係る領域の色を正確に撮影することが難しくなることがある。そのため、所定の画像における、第2カラーチャート、所定の色、カラーチャートの色の面積は、5%以上が好ましい。
<<携帯通信端末>>
携帯通信端末は、撮影部と表示部とを有し、更に必要に応じて、その他の部を有する。
撮影部は、例えば、カメラである。撮影部が有する撮像素子としては、例えば、CCD(電荷結合素子)、CMOS(相補性金属酸化膜半導体)などが挙げられる。
表示部としては、例えば、液晶ディスプレイ、有機ELディスプレイなどが挙げられる。表示部の大きさとしては、特に限定されない。
携帯通信端末としては、例えば、携帯電話、スマートフォン、タブレット端末などが挙げられる。
<第2工程>
第2工程としては、印刷物であるカラーチャートと所定の画像が表示された表示部とを一緒に又は個別に撮影部により撮影することで、撮影データが取得される工程であれば、特に限定されない。
所定の画像が、印刷物である第2カラーチャートを撮影して得られる色を含む画像である場合、第2工程で撮影されるカラーチャートと、第2カラーチャートとは、通常、同じパッチが配置された同じカラーチャートである。なお、当該カラーチャートと、第2カラーチャートとは、1つのカラーチャートであってもよいし、2枚の同一のカラーチャートであってもよい。
カラーチャート及び第2カラーチャートのパッチの色としては、黄色、紅色及び藍色を基本とし、それぞれに色相、彩度、明度を変えた異なる5色を有することが好ましい。
第2工程においては、印刷物であるカラーチャートと表示部とを一緒に鏡に映して鏡に映ったカラーチャートと表示部とを撮影部により撮影してもよい。
鏡の大きさとしては、特に限定されない。
また、第2工程においては、印刷物であるカラーチャートと所定の画像が表示された表示部とを外付けされた撮影部によりに一緒に又は個別に撮影してもよい。
また、所定の画像が、カラーチャートの色を含む場合、第2工程は、例えば、印刷物であるカラーチャートと所定の画像が表示された表示部とを撮影部により一緒に撮影することで、撮影データが取得される工程である。
なお、携帯通信端末が有する撮影部は、携帯通信端末本体に一体化されている撮影部であってもよいし、携帯通信端末本体に外付けされた撮影部であってもよい。携帯通信端末本体に一体化されている撮影部としては、携帯通信端末がスマートフォンの場合、例えば、スマートフォンのインカメラが当該撮影部に該当する。外付けされた撮影部は、例えば、有線通信又は無線通信によって携帯通信端末と通信可能になっており、外付けされた撮影部による撮影によって取得された撮影データは、携帯通信端末本体に有線通信又は無線通信を介して送信される。
第2工程において得られる撮影データは、静止画であってもよいし、動画であってもよい。
第1工程及び第2工程は、所定の色を変更させて複数回行われてもよい。
第1工程及び第2工程を所定の色を変化させて複数回行う場合の所定の色の数としては、特に限定されないが、例えば、50以上であってもよいし、1,000以上であってもよいし、10,000以上であってもよい。また、上限としては、特に限定されないが、例えば、20,000,000以下であってもよい。
例えば、8ビットのRBG値(0,0,0)~(255,255,255)において、(0,0,0)からRの輝度を8ずつ変えて所定の色を作成し、(0,0,0)からBの輝度を8ずつ変えて所定の色を作成し、(0,0,0)からG輝度を8ずつ変えて所定の色を作成した場合、所定の色の数は、(256/8)+(256/8)+(256/8)=96となる。
また、例えば、8ビットのRBG値(0,0,0)~(255,255,255)において各R,B,Gの輝度を1ずつ変えて所定の色を作成した場合、所定の色の数は、256×256×256=16,777,216となる。また、各R,B,Gの輝度を8ずつ変えて所定の色を作成した場合、所定の色の数は、(256/8)×(256/8)×(256/8)=32,768となる。
<第3工程>
第3工程としては、撮影データにおける所定の画像の色情報と撮影データにおけるカラーチャートの色の色情報とを用いて、表示部の色を補正させる工程であれば、特に限定されない。
所定の画像が、所定の色としてのパッチを有し印刷物である第2カラーチャートを撮影して得られる色を含む場合、第3工程は、例えば、撮影データにおける第2カラーチャートを撮影して得られる色の色情報と撮影データにおけるカラーチャートの色の色情報とを用いて、その後に第2カラーチャートを表示部に表示し撮影部により表示部を撮影して得られる撮影データにおける表示部に表示される第2カラーチャートの色を、撮影データにおけるカラーチャートの色に近づける乃至は一致させる工程である。
所定の画像が、カラーチャートの色を含む場合、第3工程は、例えば、撮影データにおける所定の画像に含まれるカラーチャートの色の色情報と撮影データにおける印刷物であるカラーチャートの色の色情報とを用いて、その後に所定の画像を表示部に表示し撮影部により表示部を撮影して得られる撮影データにおける表示部に表示される所定の画像に含まれるカラーチャートの色を、撮影データにおける印刷物であるカラーチャートの色に近づける乃至は一致させる工程である。
第1工程と、第2工程において表示部を撮影することとが、所定の色を変化させてそれぞれ複数回行われる場合、第3工程は、例えば、第2工程で取得された、撮影データにおける複数の所定の色の色情報と、撮影データにおけるカラーチャートの色の色情報とを用いて、表示部の色を補正させる工程である。
第1工程と、第2工程において表示部を撮影することとが、所定の色を変化させてそれぞれ複数回行われる場合、第2工程における撮影は、カラーチャートと表示部とを一緒に撮影してもよいし、個別に撮影してもよいが、個別に撮影する方が簡便である。
カラーチャートと表示部とを個別に撮影する場合、例えば、カラーチャートについては、撮影部により直接撮影し、他方、表示部については、表示部を鏡に映して、鏡に映った表示部を撮影部により撮影してもよい。
以下、表示部の色補正方法について更に詳細に説明する。
表示部の色補正方法の一態様について説明する。
図1に、表示部の色補正方法の一態様のフローチャートを示す。この態様では、所定の画像として、第2カラーチャートを標準光源下で撮影して得られる色を含む画像を用いる。
〔S1:第2カラーチャートの撮影〕
まず、第2カラーチャートを撮影する(S1)。
第2カラーチャートの撮影は、通常、第1工程において所定の画像を表示部に表示する携帯通信端末の撮影部を用いて撮影する。
第2カラーチャートの撮影は、標準光源下で行う。そのような標準光源としては、例えば、D50光源を用いた色温度5000Kの標準光源が挙げられる。
第2カラーチャートを撮影する際、撮影した画像が鏡面反射を起こさないようにすることが好ましい。鏡面反射を避ける方法としては、例えば、ライティングブースでの撮影が挙げられる。
第2カラーチャートを標準光源下で撮影して得られる色の色情報は、互換性のあるLで取得することが好ましい。その際、基準の白を決める必要があるため、第2カラーチャートを標準光源下で撮影して得られる色の色情報は、撮影の際の標準光源において標準白色板を白基準として数値化したものとなる。また、測色計で第2カラーチャートのパッチの値を取得することが好ましい。
ここで、撮影に用いる第2カラーチャート及び第2工程で用いるカラーチャートの一例を説明する。
カラーチャートとは、色見本を配列した板状の物体である。カラーチャートは、例えば、色の比較・測定に用いられる。
カラーチャートの個々の色見本はパッチと呼ばれる。すなわち、カラーチャートは、複数のパッチを有する。
以下、患者の肌色、舌色などの色情報を用いた遠隔診療に有用なカラーチャート(以下、「遠隔診療用カラーチャート」と称することがある)について説明しつつ、カラーチャート全般についても説明する。なお、本発明に使用するカラーチャートは、以下のカラーチャートに限定されない。
遠隔診療用カラーチャートは、複数のパッチを有する。
複数のパッチは、以下の第1パッチから第7パッチからなる群から選択される少なくとも3つのパッチを有する。
第1パッチ:L値においてL=72、a=8、及びb=22で表される第1色、又は第1色に対してL色空間において色差ΔEが5以下の色、を有する領域
第2パッチ:L値においてL=78、a=30、及びb=15で表される第2色、又は第2色に対してL色空間において色差ΔEが5以下の色、を有する領域
第3パッチ:L値においてL=58、a=27、及びb=7で表される第3色、又は第3色に対してL色空間において色差ΔEが5以下の色、を有する領域
第4パッチ:L値においてL=60、a=20、及びb=5で表される第4色、又は第4色に対してL色空間において色差ΔEが5以下の色、を有する領域
第5パッチ:L値においてL=48、a=25、及びb=2で表される第5色、又は第5色に対してL色空間において色差ΔEが5以下の色、を有する領域
第6パッチ:L値においてL=52、a=50、及びb=13で表される第6色、又は第6色に対してL色空間において色差ΔEが5以下の色、を有する領域
第7パッチ:L値においてL=33、a=40、及びb=30で表される第7色、又は第7色に対してL色空間において色差ΔEが5以下の色、を有する領域
第1パッチが有する色は、湿(余分な水)が蓄積した舌苔の色に対応する。
第2パッチが有する色は、炎症肌色に対応する。
第3パッチが有する色は、淤血の(微小循環が悪い)舌の色に対応する。
第4パッチが有する色は、健康な舌苔のある部分の色に対応する。
第5パッチが有する色は、舌深静脈の怒張=淤血の色に対応する。
第6パッチが有する色は、健康な舌の色に対応する。
第7パッチが有する色は、熱がある舌の色に対応する。
第1パッチから第7パッチからなる群から選択される少なくとも3つのパッチを有する遠隔診療用カラーチャートを用いることで、患者の肌色、舌色などの色情報を用いた診断を行いやすくできる。
遠隔診療用カラーチャートは、第1パッチから第7パッチからなる群から選択される少なくとも3つを有し、少なくとも5つを有することが好ましく、7つを有することがより好ましい。
これら第1パッチから第7パッチの組み合わせとして、7つのパッチから選択される3つ以上であれば特に制限されるものではないが、紫赤、薄赤紫、濃い黄赤のように色調が異なるバッチを3つ以上選択することが好ましい。
遠隔診療用カラーチャートは、第1パッチから第7パッチ以外のパッチを有していてもよい。そのようなパッチとしては、無彩色のパッチ、有彩色のパッチなどが挙げられる。
複数のパッチは、例えば、明度が異なる複数の無彩色のパッチを有する。無彩色のパッチの種類は、例えば、5~7種類が挙げられる。無彩色のパッチの種類が3種類以下であると、例えば、カラーチャート(遠隔診療用カラーチャートに限らない)が撮影された画像の色補正を、無彩色のパッチを用いて行う際、撮影手段(例えば、スマートフォンのカメラなど)の非線形性に十分に対応できず、色補正の精度が低下する場合がある。その点で、無彩色のパッチの種類は、5種類以上が好ましい。
複数のパッチは、例えば、第1色から第7色とは異なる複数の有彩色のパッチを有する。これらの有彩色のパッチの種類は、例えば、15~20種類が挙げられる。
遠隔診療用カラーチャートにおける各パッチの大きさとしては、特に限定されないが、色の認識を妨げない点で小さすぎないことが好ましい。その点で、0.25cm以上が好ましい。また、カラーチャートが大きくなりすぎない点で、4cm以下が好ましい。
各パッチの形状としては、例えば、正方形などが挙げられる。
カラーチャート(遠隔診療用カラーチャートに限らない)は、複数のパッチの少なくとも一つを自動認識するための自動認識用マーカを有することが好ましい。カラーチャートが自動認識用マーカを有することにより、後述する色補正を行う際の、画像データにおけるカラーチャートの各パッチを認識する作業を、自動で行うことができる。
自動認識用マーカの形状、大きさとしては、特に限定されないが、例えば、パッチと同程度の形状、大きさであることが好ましい。例えば、自動認識用マーカの大きさは、0.25cm以上4cm以下が好ましい。また、自動認識用マーカは、通常、各パッチが有さない模様を有している。
カラーチャートは、模様が異なる自動認識用マーカを2つ以上有することが好ましい。2つ以上の自動認識用マーカを用いる場合には、2つ以上の自動認識用マーカの相対的な位置関係を考慮して各パッチの自動認識が行われることから、各パッチの自動認識性が向上する。
自動認識用マーカは、自動認識を可能とするマーカであれば特に制限されるものではないが、自動認識用マーカに対し二次元バーコード等によりカラーチャートのバージョン情報、使用方法へのリンク、使用期限等の情報を付加してもよい。なお、カラーチャートは、保管状態により退色する場合がある。その点で、カラーチャートには使用期限を設けることが好ましい場合がある。
ここで、自動認識用マーカを用いてカラーチャートの各パッチを自動認識する方法の一例を説明する。
まず、カラーチャートを撮影して得られた画像の中から、自動認識用マーカを検知する。自動認識用マーカの検知は、例えば、汎用の画像認識処理ソフトウエアを備える画像認識手段を用いて行うことができる。具体的には、画像認識手段を用いて、あらかじめ画像認識手段に記憶されている自動認識用マーカの画像と、カラーチャートを撮影して得られた画像とのパターンマッチングを行うことにより、カラーチャートを撮影して得られた画像の中から、自動認識用マーカを検知する。
他方、カラーチャートにおける自動認識用マーカと各パッチとの位置関係を、あらかじめ画像認識手段に記憶させておく。例えば、模様が異なる2つの自動認識用マーカを用いる場合には、2つの自動認識用マーカそれぞれと各パッチとの位置関係を、あらかじめ画像認識手段の記憶部に記憶させておく。ここで、画像認識手段としては、CPUとメモリとの組み合わせが挙げられる。
そして、検知した自動認識用マーカを用いて、撮影して得られた画像のカラーチャートに、把握しておいた位置関係を当てはめることで、撮影して得られた画像のカラーチャート中の各パッチを自動認識することができる。
カラーチャートの大きさとしては、特に限定されないが、遠隔診療用カラーチャートの場合、片手で持つことができ、遠隔診療用カラーチャートを顔の近くで持っても邪魔にならない点から、遠隔診療用カラーチャートの面積は、40cm以上150cm以下が好ましい。
カラーチャートは、通常、シート状である。そして、カラーチャートの主面の形状は、例えば、矩形である。
カラーチャートの材質としては、各パッチが印刷可能であれば、特に限定されず、例えば、プラスチック樹脂製(例えば合成紙)であってもよいし、紙製であってもよい。
遠隔診療用カラーチャートは、主面の右下部(正面視した際の左下部)に空白部を有することが好ましい。人間は右利きが多い。そのため、遠隔診療用カラーチャートの当該空白部を右手で持つと、顔の右横に遠隔診療用カラーチャートを自然に配置しやすくなる。
ここで、遠隔診療用カラーチャートの一例を、図を用いて説明する。
図2は、遠隔診療用カラーチャートの一例の模式図である。
なお、図2の遠隔診療用カラーチャートは、グレースケールであるが、実際の遠隔診療用カラーチャートは、有彩色のパッチを含んでいる。
図2の遠隔診療用カラーチャートは、縦約90mm、横約55mmの長方形であり、その主面の上方の右上部(正面視した際の左上部)、及び下方の左下部(正面視した際の右下部)に、10mm四方の自動認識用マーカ11a、11bが配されている。2つの自動認識用マーカ11a、11bは、黒地に白模様を有している。自動認識用マーカ11aの白模様と自動認識用マーカ11bと白模様とは異なる。上方及び下方に挟まれた中央部には、10mm四方の各パッチが6(A~F)行5(a~e)列で間隔を空けずに並んでいる。主面の最右列(第1列:正面視した際の最左列)には、無彩色のパッチが、明度順に並んでいる。
図2に示す遠隔診療用カラーチャートの各パッチのL値を表1-1に示す。また、図2に示すカラーチャートの各パッチの色の概略を、表1-2に示す。また、第1パッチから第7パッチについて肌色、舌色との関係を表1-3に示す。
Figure 2022064100000002
Figure 2022064100000003
Figure 2022064100000004
〔S2:表示部への画像の表示(第1工程)〕
次に、工程S1で得た所定の画像、即ち第2カラーチャートを標準光源下で撮影して得られる色を含む所定の画像を、携帯通信端末の表示部に表示させる(S2)。
所定の画像は、第2カラーチャートを撮影して得た画像そのままであってもよいし、必要に応じて、第2カラーチャートを撮影して得た画像を加工して得た画像であってもよい。加工としては、例えば、第2カラーチャートを撮影して得た画像を小さくし、周囲を黒背景に変更する加工が挙げられる。
図3に、遠隔診療用カラーチャートを含む所定の画像を携帯通信端末の表示部に表示した模式図を示す。
図3においては、携帯通信端末であるスマートフォン2の表示部であるディスプレイ2aに、予め撮影された第2カラーチャートである遠隔診療用カラーチャート1aを含む所定の画像が表示されている。所定の画像において、遠隔診療用カラーチャート1aは、所定の画像全体の面積の10%程度であり、遠隔診断用カラーチャート1a以外は黒表示となっている。これは、自発光している表示部の発光量が少なくできる結果、当該自発光が撮影データの色調に影響を与えることを低減させることができるためである。
〔S3:カラーチャート及び表示部の撮影(第2工程)〕
次に、印刷物であるカラーチャートと表示部とを一緒に鏡に映して鏡に映った印刷物であるカラーチャートと表示部とを撮影部により撮影することで、撮影データが取得される(S3)。
この工程では、例えば、図4のように、印刷されたカラーチャートである遠隔診療用カラーチャート1bと、携帯通信端末であるスマートフォン2とを、遠隔診療用カラーチャート1bのおもて面と、表示部であるディスプレイ2aの面とが同じ向きになるように並べる。この際に、ディスプレイ2aには、遠隔診療用カラーチャート1aを含む画像が表示されている。そして、それらに対向するように鏡3を配置する(図5)。そして、鏡3に映った遠隔診療用カラーチャート1bとディスプレイ2aとをスマートフォンの撮影部であるインカメラ2bにより撮影する。
なお、カラーチャートの色の色情報は、互換性のあるLで取得しておくことが好ましい。
携帯通信端末の種類によっては、撮影部で撮影を行う際、表示部には撮影中の画像が表示されることがある。しかし、携帯通信端末の設定を変更することで、撮影部で撮影を行う際に、表示部には任意の画像を表示させることが可能である。例えば、携帯通信端末がスマートフォン、タブレット端末などの場合、撮影部で撮影を行う際に、表示部には任意の画像を表示させることが可能なアプリケーションを利用すればよい。また、そのようなアプリケーションは、既存のアプリケーションであってもよいし、自ら作成したアプリケーションであってもよい。アプリケーションの作成は、例えば、アップル社製のスマートフォン用のアプリケーションの作成の場合、オープンソース言語のSWIFTなどを用いて行うことができる。
撮影は、特定の照明環境下で行うことが好ましく、例えば、観察者がカラーチャートを手元に置きつつ表示部に表示された画像の観察を行う際の照明環境と同じ照明環境下で行うことが好ましい。そのような照明環境としては、例えば、D50光源を用いた色温度5000Kの照明環境が挙げられる。
〔S4:表示部の補正(第3工程)〕
次に、撮影データにおける所定の画像の色情報と撮影データにおけるカラーチャートの色の色情報とを用いて、表示部の色を補正させる(S4)。ここでは、撮影データにおける第2カラーチャートを標準光源下で撮影して得られる色の色情報と撮影データにおけるカラーチャートの色の色情報とを用いて、その後に第2カラーチャートを表示部に表示し撮影部により表示部を撮影して得られる撮影データにおける表示部に表示される第2カラーチャートの色を、撮影データにおけるカラーチャートの色に近づける乃至は一致させる。
撮影データには、カラーチャートにおけるパッチの色情報と、表示部に表示された第2カラーチャートにおけるパッチの色情報とが含まれている。そこで、それらの色情報を用いて、その後に第2カラーチャートを表示部に表示し撮影部により表示部を撮影して得られる撮影データにおける表示部に表示される第2カラーチャートにおけるパッチの色情報が、撮影データにおけるカラーチャートにおける対応するパッチの色情報に近づく乃至は一致するように、表示部の色を補正する。
具体的には、表示部に入力する際の第2カラーチャートの色の色情報と、撮影部で撮影して得られた撮影データにおける第2カラーチャートの色の色情報とを用いて、第2カラーチャートの色に関する関係である表示部への入力と撮影部で撮影して得られた表示部からの出力との関係を取得する。そして、取得した関係を用いて、その後に第2カラーチャートを表示部に表示し撮影部により表示部を撮影して得られる撮影データにおける第2カラーチャートにおけるパッチの色を、撮影部で撮影して得られた撮影データにおけるカラーチャートにおけるパッチの色情報色に近づける乃至は一致させる。
例えば、表示部に入力する際の第2カラーチャートのあるパッチの色情報がRGB値で(120,0,0)であり、撮影部で撮影して得られた撮影データにおける第2カラーチャートのあるパッチの色情報がRGB値で(122,3,3)である場合を考える。その場合、撮影部で撮影して得られた撮影データにおいてRGB値(122,3,3)を得たいときには、表示部に入力するRGB値を(120,0,0)にすればよいことになる。ここで、表示部に入力する際の第2カラーチャート中のあるパッチの色情報(入力色情報)がRGB値で(120,0,0)であり、撮影部で撮影して得られた撮影データにおける第2カラーチャート中のあるパッチの色情報(撮影色情報)がRGB値で(122,3,3)である場合を例にとる。その場合、撮影データにおけるカラーチャート中のあるパッチの色情報がRGB値で(122,3,3)のときに、その後に第2カラーチャートを表示部に表示し撮影部により表示部を撮影して得られる撮影データにおける当該第2カラーチャート中の対応するパッチの色情報がRGB値(122,3,3)に近づく乃至は一致するように、表示部の色を補正するには、入力色情報と撮影色情報との関係を用いて、表示部に入力される第2カラーチャートの対応するパッチの色情報をRGB値(120,0,0)に近づける乃至は一致させればよい。
なお、ここで重要なのは、表示部の色を補正する際に、その後に表示部に表示される第2カラーチャート(遠隔診療用カラーチャート1a)の色を、スマートフォン2の隣に置いているカラーチャート(遠隔診療用カラーチャート1b)の色(パッチ自体の色)に近づける乃至は一致させるのではなく、撮影部(カメラ)により撮影して得られた撮影データにおけるカラーチャート(遠隔診療用カラーチャート1b)の色に近づける乃至は一致させることである。ここで、撮影部(インカメラ2b)は、人間の目に対応する。そのため、表示部に表示される補正対象である第2カラーチャート(遠隔診療用カラーチャート1a)と、補正の基準となるカラーチャート(遠隔診療用カラーチャート1b)とを、共に人間の目に対応する撮影部(インカメラ2b)により撮影されたものとすることで、観察者が、補正後のスマートフォン2のディスプレイ3(表示部)に表示された第2カラーチャート(遠隔診療用カラーチャート1a)と、スマートフォン2の隣に置いたカラーチャート(遠隔診療用カラーチャート1b)とを並べて見た際に、遠隔診療用カラーチャート1aの色が、遠隔診療用カラーチャート1bの色に、近づく乃至は一致する。
続いて、表示部の色補正方法の他の一態様について説明する。
図6に、表示部の色補正方法の他の一態様のフローチャートを示す。この態様では、所定の画像として、所定の色を含む画像を用いる。そして、所定の色を変更させて第1工程及び第2工程を複数回行う。
〔S11:表示部への画像の表示(第1工程)〕
まず、所定の色を含む所定の画像を携帯通信端末の表示部に表示させる(S11)。
所定の色4を含む所定の画像を携帯通信端末であるスマートフォン2の表示部であるディスプレイ2aに表示させる一例を図7に示した。所定の画像において、所定の色4は、所定の画像全体の面積の10%程度であり、所定の色4以外は黒表示となっている。これは、自発光している表示部の発光量が少なくできる結果、当該自発光が撮影データの色調に影響を与えることを低減させることができるためである。
所定の画像における所定の色4は、例えば、RGB値で指定する。
〔S12:カラーチャート及び表示部の撮影(第2工程)〕
次に、印刷物であるカラーチャートと表示部とを撮影部により撮影することで、撮影データが取得される(S12)。
この工程では、例えば、図8のように、印刷されたカラーチャートである遠隔診療用カラーチャート1bと、携帯通信端末であるスマートフォン2とを、遠隔診療用カラーチャート1bのおもて面と、表示部であるディスプレイ2aの面とが同じ向きになるように並べる。この際に、ディスプレイ2aには、遠隔診療用カラーチャート1aを含む画像が表示されている。そして、それらに対向するように鏡3を配置する(図9)。そして、鏡3に映った遠隔診療用カラーチャート1bとディスプレイ2aとをスマートフォンの撮影部であるインカメラ2bにより撮影する。
なお、本実施形態の第2工程では、図9に示すように、印刷物であるカラーチャートと表示部とを一緒に撮影したが、印刷物であるカラーチャートと表示部とは個別に撮影してもよい。
また、本実施形態では、撮影の際に鏡を使用したが、鏡を使用しなくてもよい。例えば、携帯通信端末に外付けのカメラを接続してそれを撮影部として用いてもよい。そして、外付けのカメラにより、表示部を撮影してもよい。
〔S13:所定の色の変化〕
この一態様では、所定の色を変更させて、第1工程及び第2工程をそれぞれ複数回行う。
そこで、この一態様では、第2工程の後に、所定の色を変更させるかどうかを判断する。その判断において、所定の色を変更させると判断した際には、所定の色を変える。そして、変更後の所定の色を用いて、第1工程及び第2工程を行う。
所定の色は、例えば、以下のように変更する。ここでは、RGB値で指定した所定の色を変更する。
最初に設定する所定の色は、RGB値=(0,0,0)とする。
そして、RGB値のRを少しずつ変更することで、所定の色を変更する。
具体的には、1回目の所定の色の変更では、R値を7増やして、(7,0,0)とする。
次に、2回目の所定の色の変更では、R値を更に8増やして、(15,0,0)とする。
R値を8増やすことを、R値が最大値である255になるまで行う。
続いて、RGB値のG値を少しずつ変更することで、所定の色を変更する。
具体的には、RGB値=(0,0,0)に対して、G値を7増やして、(0,7,0)とする。
次に、G値を更に8増やして、(0,15,0)とする。
G値を8増やすことを、G値が最大値である255になるまで行う。
続いて、RGB値のB値を少しずつ変更することで、所定の色を変更する。
具体的には、RGB値=(0,0,0)に対して、B値を7増やして、(0,0,7)とする。
次に、B値を更に8増やして、(0,0,15)とする。
B値を8増やすことを、G値が最大値である255になるまで行う。
以上のように、所定の色を変更した上で、それぞれの所定の色に対して、第1工程及び第2工程を行うことで、複数の撮影データが得られる。
〔S14:表示部の補正(第3工程)〕
次に、撮影データにおける所定の画像の色情報と撮影データにおけるカラーチャートの色の色情報とを用いて、表示部の色を補正させる(S14)。ここでは、第2工程で取得された、撮影データにおける複数の所定の色の色情報と、撮影データにおけるカラーチャートの色の色情報とを用いて、表示部の色を補正させる。
具体的には、表示部に入力する際の複数の所定の色の色情報と、撮影部で撮影して得られた撮影データにおける複数の所定の色の色情報とを用いて、所定の色に関する関係である表示部への入力と撮影部で撮影して得られた表示部からの出力との関係を取得する。そして、取得した関係を用いて、カラーチャートを表示部に表示し撮影部により表示部を撮影して得られる撮影データにおける当該カラーチャートの色を、撮影部で撮影して得られた撮影データにおけるカラーチャートの色に近づける乃至は一致させる。
例えば、表示部に入力する際の所定の色の色情報がRGB値で(120,0,0)であり、撮影部で撮影して得られた撮影データにおける所定の色の色情報がRGB値で(122,3,3)である場合を考える。その場合、撮影部で撮影して得られた撮影データにおいてRGB値(122,3,3)を得たいときには、表示部に入力するRGB値を(120,0,0)にすればよいことになる。ここで、表示部に入力する際の所定の色の色情報(入力色情報)がRGB値で(120,0,0)であり、撮影部で撮影して得られた撮影データにおける所定の色の色情報(撮影色情報)がRGB値で(122,3,3)である場合を例にとる。その場合、撮影データにおけるカラーチャート中のあるパッチの色情報がRGB値で(122,3,3)のときに、表示部にカラーチャートを表示し撮影部により表示部を撮影して得られる撮影データにおける当該カラーチャート中の対応するパッチの色情報がRGB値(122,3,3)に近づく乃至は一致するように、表示部の色を補正するには、入力色情報と撮影色情報との関係を用いて、表示部に入力されるカラーチャートの対応するパッチの色情報をRGB値(120,0,0)に近づける乃至は一致させればよい。
なお、ここで重要なのは、表示部の色を補正する際に、表示部に表示されるカラーチャートの色を、スマートフォン2の隣に置いているカラーチャート(遠隔診療用カラーチャート1b)の色(パッチ自体の色)に近づける乃至は一致させるのではなく、撮影部(カメラ)により撮影して得られた撮影データにおけるカラーチャート(遠隔診療用カラーチャート1b)の色に近づける乃至は一致させることである。ここで、撮影部(インカメラ2b)は、人間の目に対応する。そのため、表示部に表示される補正対象であるカラーチャートと、補正の基準となるカラーチャート(遠隔診療用カラーチャート1b)とを、共に人間の目に対応する撮影部(インカメラ2b)により撮影されたものとすることで、観察者が、補正後のスマートフォン2のディスプレイ3(表示部)に表示されたカラーチャートと、スマートフォン2の隣に置いたカラーチャート(遠隔診療用カラーチャート1b)とを並べて見た際に、ディスプレイ3(表示部)に表示されたカラーチャートの色が、遠隔診療用カラーチャート1bの色に、近づく乃至は一致する。
この一態様では、表示部の色を補正するために所定の色を用いる。そして、この一態様では、所定の色を多く用意することができる。所定の色を多く用意することにより、校正データの数が増える結果、色補正の精度を高めることができる。
例えば、上記S13における例示では、複数の所定の色として、〔(256/8)+1〕×〔(256/8)+1〕×〔(256/8)+1〕=33×33×33=35,937色の色情報を用いている。そのため、補正のために対比する色情報(入力色情報及び撮影色情報)がたくさん得られる。他方、図1のフローチャートで示される表示部の色補正方法では、対比する色情報はパッチの数に対応し、図2のカラーチャートの場合、対比する色情報は30となる。そのため、図10のフローチャートで示される表示部の色補正方法のほうが、図1で示される表示部の色補正方法よりも、色補正の制度を高めることができる。
図6を用いて説明した一態様では、カラーチャートと表示部とを一緒に撮影するが、カラーチャートと表示部とは別個に撮影してもよい。その場合、例えば、図10に示すフローチャートに従って表示部の色補正が行われる。
図10に、表示部の色補正方法の他の一態様のフローチャートを示す。
図6に示すフローチャートでは、カラーチャートの撮影と表示部の撮影とが一緒に行われる(S12)のに対して、図10に示すフローチャートでは、カラーチャートの撮影(S21)と、表示部の撮影(S23)とが別個に行われる。
図10に示すフローチャートにおいて、その他の工程S22、S24、S25は、図6に示すフローチャートの工程S11、S13、S14とそれぞれ同じである。
本発明の表示部の色補正方法では、カラーチャートを用いて観察を行う観察者が使用する携帯通信端末の表示部の色補正を行うことができる。用いるカラーチャートは、前述の遠隔診断用カラーチャートの他、肌色のパッチを含む化粧品用カラーチャートや、農作物の表面の色のパッチを含む農作物用カラーチャートなどが挙げられ、特に限定されない。
ここで、観察者がカラーチャートを用いて観察を行う一例としての遠隔診断について説明する。
図11は、遠隔診断の一例のフローチャートである。
まず、図12に示すように、撮影手段であるスマートフォン12を用いて、カラーチャート1と撮影対象者である患者13とを同時に撮影する(S51)。
次に、撮影により得られた画像データを、スマートフォン12から観察者である医師14が持つ携帯通信端末であるスマートフォン2に送信する(S52)。
次に、スマートフォン12から送信された画像データをスマートフォン2で受信する(S33)。送受信は、例えば、E-メールに画像データを添付して行われる。
次に、図13に示すように、スマートフォン2の表示部であるディスプレイ2aに画像データを画像として表示する(S54)。
最後に、図14に示すように、観察者である医者14が、撮影対象者である患者13が持っているカラーチャート1と同じカラーチャート1を持ちながら、ディスプレイ2aに表示されたカラーチャート1の色と、持っているカラーチャート1の色との違いを考慮しながら、ディスプレイ2aに表示された患者13の顔の肌色や舌色を観察して、診断を行う。
この際に、観察者である医者が持つスマートフォンの表示部について、本発明の表示部の色補正方法を行っておくことで、表示部の色再現性が優れる結果、診断の精度を高めることができる。
1 カラーチャート
1a、1b 遠隔診断用カラーチャート
2 スマートフォン
2a ディスプレイ
2b インカメラ
3 鏡
4 所定の色
11a、11b 自動認識用マーカ
12 スマートフォン
13 患者
14 医者

Claims (6)

  1. 所定の画像を、撮影部と表示部とを有する携帯通信端末の前記表示部に表示させる第1工程と、
    印刷物であるカラーチャートと前記所定の画像が表示された前記表示部とを一緒に又は個別に前記撮影部により撮影することで、撮影データが取得される第2工程と、
    前記撮影データにおける前記所定の画像の色情報と前記撮影データにおける前記カラーチャートの色の色情報とを用いて、表示部の色を補正させる第3工程と、
    を有することを特徴とする表示部の色補正方法。
  2. 前記所定の画像が、所定の色としてのパッチを有し印刷物である第2カラーチャートを標準光源下で撮影して得られる色を含み、
    前記第2工程が、前記印刷物であるカラーチャートと前記所定の画像が表示された前記表示部とを前記撮影部により一緒に撮影することで、前記撮影データが取得される工程であり、
    前記第3工程が、前記撮影データにおける前記第2カラーチャートを標準光源下で撮影して得られる色の色情報と前記撮影データにおける前記カラーチャートの色の色情報とを用いて、その後に前記第2カラーチャートを前記表示部に表示し前記撮影部により前記表示部を撮影して得られる撮影データにおける前記表示部に表示される前記第2カラーチャートの色を、前記撮影データにおける前記カラーチャートの色に近づける乃至は一致させる工程である、請求項1に記載の表示部の色補正方法。
  3. 前記所定の画像が、前記カラーチャートの色を含み、
    前記第2工程が、前記印刷物であるカラーチャートと前記所定の画像が表示された前記表示部とを前記撮影部により一緒に撮影することで、前記撮影データが取得される工程であり、
    前記第3工程が、前記撮影データにおける前記所定の画像に含まれる前記カラーチャートの色の色情報と前記撮影データにおける前記印刷物であるカラーチャートの色の色情報とを用いて、その後に前記所定の画像を前記表示部に表示し前記撮影部により前記表示部を撮影して得られる撮影データにおける前記表示部に表示される前記所定の画像に含まれる前記カラーチャートの色を、前記撮影データにおける前記印刷物であるカラーチャートの色に近づける乃至は一致させる工程である、請求項1に記載の表示部の色補正方法。
  4. 前記第2工程が、前記印刷物であるカラーチャートと前記所定の画像が表示された前記表示部とを一緒に鏡に映して前記鏡に映った前記印刷物であるカラーチャートと前記表示部とを前記撮影部により撮影することで、前記撮影データが取得される工程である、又は
    前記撮影部が、前記携帯通信端末に外付けされた撮影部であり、前記第2工程が、前記印刷物であるカラーチャートと前記所定の画像が表示された前記表示部とを前記外付けされた撮影部により一緒に撮影することで、前記撮影データが取得される工程である、
    請求項2又は3に記載の表示部の色補正方法。
  5. 前記所定の画像が、所定の色を含み、
    前記第1工程と、前記第2工程において前記表示部を撮影することとが、前記所定の色を変化させてそれぞれ複数回行われ、
    前記第3工程が、前記第2工程で取得された、前記撮影データにおける複数の所定の色の色情報と、前記撮影データにおける前記カラーチャートの色の色情報とを用いて、前記表示部の色を補正させる工程である、請求項1に記載の表示部の色補正方法。
  6. 前記第2工程において、前記印刷物であるカラーチャートと前記表示部とが個別に前記撮影部により撮影される、請求項5に記載の表示部の色補正方法。
JP2020172624A 2020-10-13 2020-10-13 表示部の色補正方法 Pending JP2022064100A (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP2020172624A JP2022064100A (ja) 2020-10-13 2020-10-13 表示部の色補正方法
EP21879925.2A EP4231634A4 (en) 2020-10-13 2021-10-05 COLOR CORRECTION PROCEDURE FOR DISPLAY UNIT
CA3191520A CA3191520A1 (en) 2020-10-13 2021-10-05 Display unit color-correction method
PCT/JP2021/036796 WO2022080185A1 (ja) 2020-10-13 2021-10-05 表示部の色補正方法
US18/248,767 US12022048B2 (en) 2020-10-13 2021-10-05 Display unit color-correction method
CN202180057128.XA CN116075701A (zh) 2020-10-13 2021-10-05 显示部的颜色补正方法
KR1020237004600A KR20230087437A (ko) 2020-10-13 2021-10-05 표시부의 색 보정 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020172624A JP2022064100A (ja) 2020-10-13 2020-10-13 表示部の色補正方法

Publications (1)

Publication Number Publication Date
JP2022064100A true JP2022064100A (ja) 2022-04-25

Family

ID=81207978

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020172624A Pending JP2022064100A (ja) 2020-10-13 2020-10-13 表示部の色補正方法

Country Status (7)

Country Link
US (1) US12022048B2 (ja)
EP (1) EP4231634A4 (ja)
JP (1) JP2022064100A (ja)
KR (1) KR20230087437A (ja)
CN (1) CN116075701A (ja)
CA (1) CA3191520A1 (ja)
WO (1) WO2022080185A1 (ja)

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5218671A (en) * 1989-05-31 1993-06-08 Computer Design, Inc. Image color correction system and method
JP3793270B2 (ja) * 1996-02-01 2006-07-05 京セラミタ株式会社 ファクシミリ装置
US6445287B1 (en) * 2000-02-28 2002-09-03 Donnelly Corporation Tire inflation assistance monitoring system
JP2001142442A (ja) * 1999-11-17 2001-05-25 Minolta Co Ltd プロファイル作成システムおよびプロファイル作成方法、並びに、デジタル撮影装置、記録媒体およびディスプレイ測定方法
SE0101852D0 (sv) * 2001-05-23 2001-05-23 Svenska Rymdaktiebolaget Method of preparing granules
US7748620B2 (en) * 2002-01-11 2010-07-06 Hand Held Products, Inc. Transaction terminal including imaging module
US20040196250A1 (en) * 2003-04-07 2004-10-07 Rajiv Mehrotra System and method for automatic calibration of a display device
JP4595734B2 (ja) * 2005-08-03 2010-12-08 セイコーエプソン株式会社 プロファイル作成方法、プロファイル作成装置、プロファイル作成プログラム、印刷制御方法、印刷制御装置、及び印刷制御プログラム
JP2007221182A (ja) * 2006-02-14 2007-08-30 Fuji Xerox Co Ltd 画像処理装置、画像処理プログラムおよび画像処理方法
US8532371B2 (en) * 2010-10-04 2013-09-10 Datacolor Holding Ag Method and apparatus for evaluating color in an image
US8655068B1 (en) * 2011-10-07 2014-02-18 LI Creative Technologies, Inc. Color correction system
US8915435B2 (en) * 2013-01-25 2014-12-23 Hewlett-Packard Development Company, L.P. Characterization of color charts
US20140232923A1 (en) * 2013-02-20 2014-08-21 Hewlett-Packard Development Company, Llp Device independent color differences
US8872923B2 (en) * 2013-02-20 2014-10-28 Hewlett-Packard Development Company, L.P. Color calibration chart acquisition
JP6209950B2 (ja) * 2013-11-14 2017-10-11 富士ゼロックス株式会社 色再現特性作成装置、色再現特性作成システム、プログラムおよび色再現特性作成方法
JP6455764B2 (ja) * 2014-05-30 2019-01-23 パナソニックIpマネジメント株式会社 色補正パラメータ算出方法、色補正パラメータ算出装置および画像出力システム
US20160111062A1 (en) 2014-10-15 2016-04-21 Intel Corporation Ambient light-based image adjustment
AT518537B1 (de) * 2016-06-09 2017-11-15 Avl List Gmbh Brennkraftmaschine
JP6958161B2 (ja) * 2017-09-20 2021-11-02 コニカミノルタ株式会社 プリンタ、スキャナプロファイル補正プログラム及びスキャナプロファイル補正方法
CN111886859B (zh) * 2018-03-22 2022-09-23 凸版印刷株式会社 颜色对应信息生成系统及方法、计算机可读取的记录介质

Also Published As

Publication number Publication date
US12022048B2 (en) 2024-06-25
CA3191520A1 (en) 2022-04-21
CN116075701A (zh) 2023-05-05
KR20230087437A (ko) 2023-06-16
US20230403365A1 (en) 2023-12-14
WO2022080185A1 (ja) 2022-04-21
EP4231634A4 (en) 2024-10-23
EP4231634A1 (en) 2023-08-23

Similar Documents

Publication Publication Date Title
JP6974397B2 (ja) 測定装置
JP5119921B2 (ja) 画像処理装置、画像処理システム及び画像処理プログラム
JP6254826B2 (ja) カメラシステム、これに用いられる色変換装置及び方法並びに色変換プログラム
US20100041968A1 (en) Image capture in combination with vital signs bedside monitor
US20040179101A1 (en) Method for using an electronic imaging device to measure color
US20090189972A1 (en) System and method for video medical examination and real time transmission to remote locations
JP2001258044A (ja) 医療用画像処理装置
CN115100082A (zh) 一种基于高光谱相机的高精度颜色显示系统
US20230239419A1 (en) Image display system and image display method
US11145274B2 (en) Color difference adjustment image data generation method, color difference adjustment image display method, color difference adjustment image data generating device, and color difference adjustment image display system
WO2022080185A1 (ja) 表示部の色補正方法
CN102419861A (zh) 基于均匀色空间拓扑剖分的彩色图像校正方法
CN112544076B (zh) 用于映射图像传感器的不均匀性的方法和系统
JP5074066B2 (ja) 画像処理装置、及び、画像処理方法
EP4170304A1 (en) Color chart
Ruminski et al. Application of smart glasses for fast and automatic color correction in health care
Beneducci et al. Dental shade matching assisted by computer vision techniques
Kambara et al. Development of color correction system for medical images using color charts
US20160242678A1 (en) Organ image photographing apparatus
Babilon et al. Spectral reflectance estimation of organic tissue for improved color correction of video-assisted surgery
KR20160056338A (ko) 제스처 인식기능을 갖는 디지털 미러
Figueiredo mSkinColorCalib-Computer Vision-Based System for Color Calibration of Mobile-Acquired Skin Lesion Images
WO2022179780A1 (en) Multi-function device and a multi-function system for ergonomically and remotely monitoring a medical or a cosmetic skin condition
KR20240029442A (ko) 디스플레이 장치에 대한 보정 시스템 및 이의 동작 방법
CN117671037A (zh) 皮肤检测方法、装置、面罩和存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230831

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240611

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240806

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20240827