JP2016538008A - Hdrイメージングを使用しかつハイライトを除去する口腔内撮像方法及びシステム - Google Patents

Hdrイメージングを使用しかつハイライトを除去する口腔内撮像方法及びシステム Download PDF

Info

Publication number
JP2016538008A
JP2016538008A JP2016518700A JP2016518700A JP2016538008A JP 2016538008 A JP2016538008 A JP 2016538008A JP 2016518700 A JP2016518700 A JP 2016518700A JP 2016518700 A JP2016518700 A JP 2016518700A JP 2016538008 A JP2016538008 A JP 2016538008A
Authority
JP
Japan
Prior art keywords
hdr
map
illumination
region
irradiation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016518700A
Other languages
English (en)
Other versions
JP6478984B2 (ja
Inventor
インチェン ウー
インチェン ウー
ワン ウェイ
ウェイ ワン
グイジエン ワン
グイジエン ワン
ヴィクター シー ウォン
ヴィクター シー ウォン
Original Assignee
ケアストリーム ヘルス インク
ケアストリーム ヘルス インク
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ケアストリーム ヘルス インク, ケアストリーム ヘルス インク filed Critical ケアストリーム ヘルス インク
Publication of JP2016538008A publication Critical patent/JP2016538008A/ja
Application granted granted Critical
Publication of JP6478984B2 publication Critical patent/JP6478984B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0088Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for oral or dental tissue
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/24Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the mouth, i.e. stomatoscopes, e.g. with tongue depressors; Instruments for opening or keeping open the mouth
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7225Details of analog processing, e.g. isolation amplifier, gain or sensitivity adjustment, filtering, baseline or drift compensation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61CDENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C9/00Impression cups, i.e. impression trays; Impression methods
    • A61C9/004Means or methods for taking digitized impressions
    • A61C9/0046Data acquisition means or methods
    • A61C9/0053Optical means or methods, e.g. scanning the teeth by a laser or light beam
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G06T5/94
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/741Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20208High dynamic range [HDR] image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30036Dental; Teeth

Abstract

ハイダイナミックレンジ(HDR)を使用しかつハイライトを除去する方法及びシステムを提示する。この方法は、同じ口腔内場面に対して異なる露出で取り込んだ多数の画像を有する歯の第1HDR照射マップを生成し、第1HDR照射マップから詳細保存方法で鏡面反射によるハイライトを除去し、鏡面反射が少なくとも部分的に抑制された第2HDR照射マップを取得することを備える。

Description

本願は、全体的には口腔内を撮像する方法及びシステムに関し、特に、高ダイナミックレンジ(HDR)イメージングを使用しかつハイライトを除去し、鏡面反射を除去して極めて明瞭なHDR画像を得ることに関する。
歯科の分野では、処置経過中の歯の画像を取得することが重要である。口腔内カメラは口腔内環境で歯を直接的に撮像する利便性を提供することが可能であり、病院で広く使用されている。
しかし、歯の表面は、非常に滑らかで乾いた状態でも透明なエネマ(enema)で形成されているため、この滑らかな表面からもたらされる鏡面反射を非常に取り込み易い。自動露出及び固定露出の双方に対し、鏡面反射は常に画像内にいくつかの過飽和(over-saturation)ハイライト領域を形成することになり、これは画像の細部を大きく損ない、最終的に表示された画像は極めて濃淡が不鮮明となる。アマルガム領域及び湿気を帯びた滑らかな歯面等の検査等、特定の歯科実務では、過飽和ハイライト領域は、反射領域内の病変を診断するのを不可能にさせ、視覚による観察を極めて厄介なものとする。
より重要なことは、鏡面反射に起因する過飽和反射ハイライト領域は、コンピュータによる自動的病変検出システムが、この領域で機能しないことの原因となり、これは、偽陽性または偽陰性とされる。
HDR画像の技術は、画像処理の分野で広く用いられているが、2Dの口腔内画像の分野に適用することはほとんどない。更に、特定のケースでは、HDRの技術を適用する口腔内画像の技術的解決においても、上述の鏡面反射を抑え、過飽和ハイライト領域を取り除くことはできない。
したがって、高度に明瞭な歯の画像が提示されるように、鏡面反射を除く方法を提供することが望ましい。
本発明は、上述の問題を解決することを目的とする。
本発明の1つの態様によると、口腔内の撮像のための方法が提供され、この方法は、
同じ口腔内場面を異なる露出で取り込んだ多数の画像で、歯の第1高ダイナミックレンジ(HDR)照射マップを生成し、
第1HDR照射マップから詳細保存方法(detail-reserved way)で鏡面反射によるハイライトを除去し、鏡面反射が少なくとも部分的に抑制された第2HDR照射マップを取得する、ステップを備える。
本願の実施形態による方法は、第1HDR照射マップを生成するステップは、
同じ口腔内場面に対して異なる露出で多数の画像を取り込み、
主な露出フレームとして、多数の画像のうち1つの画像を決定し、
多数の画像に基づいて、照射マッピング曲線を回復し、更に、
多数の画像及び照射マッピング曲線に基づいて第1HDR照射マップを回復するステップを備え、この第1HDR照射マップを回復するステップは、
照射マッピング曲線に基づいて多数の画像の各1つに対して、照射値に画素値をマッピングし、更に、
各画素に対して多数の画像の全ての照射値を重み付け平均化することにより、第1照射マップを取得するステップを有する。
本発明の他の態様によると、口腔内を撮像するシステムが提供され、このシステムは、
同じ口腔内場面に対して異なる露出で取り込んだ多数の画像で歯の第1高ダイナミックレンジ(HDR)照射マップを生成するためのHDR画像化装置、及び、
第1HDR照射マップから鏡面反射によるハイライトを取り除き、鏡面反射が少なくとも部分的に抑制された第2HDR照射マップを取得する詳細保存フィルタ(detail-reserved filter)、を備える。
本発明の更に他の態様によると、鏡面反射を抑制する方法が提供され、この方法は、
同じ口腔内場面を異なる露出で取り込んだ多数の画像で歯の第1高ダイナミックレンジ(HDR)照射マップを生成し、更に、
詳細保存状態方法で鏡面反射によるハイライトを第1HDR照射マップから取り除き、鏡面反射が少なくとも部分的に抑制された第2HDR照射マップを取得する、ステップを備える。
本発明の更に他の態様によると、コンピュータプログラム製品が提供され、このコンピュータプログラム製品は、コンピュータが読み取り可能な媒体を備え、この媒体内に、
同じ口腔内場面を異なる露出で取り込んだ多数の画像で歯の第1高ダイナミックレンジ(HDR)照射マップを生成し、更に、
詳細保存方法で鏡面反射によるハイライトを第1HDR照射マップから取り除き、鏡面反射が少なくとも部分的に抑制された第2HDR照射マップを取得するステップ、を実行する命令を包含する。
本発明の上記及び他の目的及び利点は、図面を参照する以下の詳細な説明から完全に理解され、図中、同じまたは同様な部材は同じ参照符号を付してある。
図1は、従来技術における口腔内カメラによる単一露出画像の概略図を示す。 図2は、本発明の実施形態による口腔内撮像方法のワークフローである。 図3は、図2に示す方法対応する口腔内撮像の概略図を示す。
本発明の多くの可能性のある実施形態のいくつかについて、本発明の重要なまたは決定的な部材を特定するものではなく、保護範囲を確定するものでもなく、発明の基本的な理解を提供するために、以下に説明する。本発明の技術的解決にしたがい、当業者は本発明の真の精神から逸脱することなく、他の具体例を提案することが可能なことは容易に理解できる。したがって、以下の実施形態および添付図眼は本発明の技術的解決の説明であり、本発明の全体を構成し、または、本発明の技術的解決を制限または画定するものと理解すべきではない。
図1は、従来技術による口腔内カメラによる単一露出画像の概略図を示す。本願の背景技術の欄で指摘した問題は、図1の実施形態から明瞭に理解される。特に、図1(a)は、口腔内環境でLEDを照射したときに実際に形成される拡散反射および鏡面反射を示し、図1(b)は、口腔内カメラの実際の入力照射を表示する原照射マップを示し、図1(c)は、単一露出後に取得したローダイナミックレンジの表示画像を示す。単一露出撮像のステップでは、口腔内カメラは、図1(b)に示す原照射マップを完全に取り込むことはできない。
口腔内環境に対してある程度の鏡面反射が存在するため、特定の口腔内場面からの実際の反射は、図1(a)に示すように分散反射と鏡面反射のように分解される可能性がある。鏡面反射の値は分散反射の値よりも大きいことは明らかであり、これは、鏡面反射無しの場面よりもより広いな明度範囲(range of intensity)を形成する。必然的に、波高点様に示される鏡面反射に対応するハイライト領域が発生する。更に、通常の口腔内カメラでは、単一露出の場合に、低いダイナミック画像での画像が形成可能なだけであり、ハイライト領域の明度が過剰露出の下で過飽和状態(over saturated state)となり、一方、明度の低い分散反射に対応する他の領域は露出不足として表現され、したがって、図1(c)の画像は歪められ、不明瞭に見える。
詳細には、口腔環境内には、滑らかな歯面、唾液、歯茎及び他の有機組織が一緒に起こり、それらの照明の放射および反射、すなわち、いわゆる照射は大きく相違する。デジタル画像における画素値は実際には場面(シーン)の照射の非直線マッピングであり、単一露出の通常の口腔内カメラは、1つの画像(図1(c)に示す)内に場面の全照射を表すに十分高いダイナミックレンジを提供することはできない。したがって、鏡面反射に対応するハイライト領域を、単一露出の通常のカメラにより取り込んだ最終的なデジタル画像内の過飽和領域内に描くことを避けることができない。
鏡面反射を抑制する実施形態が図2,図3に示すように提供される。一方、対応する口腔内撮像方法も開示され、これによると、過飽和ハイライト領域無しのHDR画像を、リアルタイムで最終的に生成することができる。したがって、2DのHDR画像で明瞭な歯を示すことが可能であり、これは口腔内の診断に大きく貢献する。この方法を、図2,3に基づいて口述するように詳細に説明する。
S210のステップで、図3(a)に示すように一連の画像が、異なる露出で口腔内カメラにより取り込まれる。
この実施形態では、少なくとも歯を含む場面を観察するために口腔内カメラが使用されるときに、制限するものではないが、照明装置はLED等の白色光とすることが可能である。口腔内カメラは、照明装置からの光を場面上に照射し、そして、反射光を撮像する。説明の例として、口腔内カメラは、公開された特許、すなわちロングウァング リアングに対する出願番号US2010/0268069、「偏光縞投影を使用する歯の表面画像」を参照することが可能であり、この全内容が参照することにより本願に包含される。
口腔内カメラは、更に、画像を取り込むときに、露出を調整可能に構成される。この実施形態では、各画像に対応するそれぞれの露出は、露出期間で決定することが可能である。もちろん、画像を取り込むときに、他の方法でそれぞれの露出を処理することが可能である。同じ場面について、露出期間がnまで増加する、番号n、すなわち311,312〜31nを付した複数の画像を取り込むことが可能である。これに代え、番号nは、4,8,16等とすることが可能である。より多くの画像が取り込まれると、最終的に、より明瞭なHDR画像が見えるようになる。一方、この露出の全ての範囲は、最終的なHDR画像の明瞭さに影響し、鏡面反射の具体的な強さで決定することが可能である。
更に、図3(a)に示すように一連の画像を取り込むステップで、露出を除く全てのパラメータは変わらず、および、口腔内カメラも口腔の上でその間ずっと静止状態を保持することに注意する。したがって、多重的な撮像場面は、静止場面としてみなすことが可能である。
更に、S213のステップで、それら多重画像(複数の画像)のうちの1つの画像が、主な露出フレームとして決定される。
この実施形態では、多重画像の全ての露出を全ての露出の平均値と比較し、平均値に最も近い露出を有する1つを主な露出フレームとして決定する。すなわち、主な露出フレームの露出期間が、口腔内環境における同じ照明の下での同じ口腔内カメラの平均自動露出に最も近い。
更に、主な露出フレームは、通常の自動露出画像によく似ており、歯の領域等、歯茎領域及び背景等の異なる領域が、周知の繰返し適応閾値計算でセグメント化することが可能である。色区分の特定例として、適応閾値区分は、赤色成分/緑色成分の画像上で実行することが可能であり、これにより、歯の領域を区分することが可能である。したがって、過剰露出の下での過飽和ハイライト領域を決定することが可能であり、主な露出フレームから抽出される。同様に、ユーザが観察しようとする、歯の領域及び歯茎の領域等の他の領域も決定し、同じ方法で主な露出フレームから抽出することが可能である。
更に、S215のステップで、図3(b)に示す放射マッピング曲線が、図3(a)に示す多重画像に基づいて回復される。
この実施形態では、照射マッピング曲線を回復するため、露出期間の異なる画像の全ての画素が、回復最適化式を与えられた場合統計最適解に寄与する場合は、大きな計算を導入することになる。したがって、リアルタイムで実現することはほとんど不可能であるが、しかし、実際には、同じ材料(material)に対応する同種の画素が同様に最適解に寄与し、過剰量の画素はほとんど寄与しない。すなわち、均質領域の全体における全ての画素を包含する計算結果は、少数の代表的画素を包含する計算結果と同様である。これにより、曲線を計算するためには、均質領域全体におけるより少数の画素を包含するだけで十分である。
照射マッピング曲線をリアルタイムで回復するために、歯の領域、歯茎の領域及びハイライト領域を、213のステップに記載の主な露出フレームでセグメント化することが可能であり、歯の領域、歯茎の領域及びハイライト領域の画素をそれぞれ抽出することができる。
したがって、式を解き、照射マッピング曲線を回復するために、より少数の画素を採用し、一方同様な解が得られる。したがって、照射マッピング曲線がリアルタイムで回復される。更に、関連する計算のリアルタイムを確実にするため、形状に基づく空間適応ダウン・サンプル処理(down-sample method)方法がここで使用され、これは、全ての画素をマッピングの曲線計算に包含させることは必要なく、歯の領域、歯茎の領域およびハイライト領域のそれぞれの領域におけるいくつかの代表的画素で計算に十分な精度を提供可能だからである。形状に基づく空間適応ダウン・サンプル処理方法では、異なる区分領域の面積を最初に計算し、この後、それぞれ分離した領域に対して、ダウン・サンプル処理比(down-sample rate)、および、関連するダウン・サンプル処理メッシュが生成され、それぞれの区分領域に等しい数の画素が提供される。したがって、高い計算効率および全場面の再構成された曲線の高い精度を得ることが容易である。
更に、S220のステップで、図3(c)に示す第1HDR照射マップが、図3(a)に示す多重画像及び図3(b)に示す照射マッピング曲線にしたがって、回復される。
この実施形態では、最初に多重画像の各1つに対して、照射マッピング曲線にしたがって照射値に各画素値がマップされる。この後、各画素に対する多重画像の全ての照射値を重み付けされた平均化により、第1HDR照射マップを回復し、取得することが可能である。図3(c)に示す第1HDRマップは、分散反射及び鏡面反射の要約を示すことが可能であり、したがって、基本的には、図1(b)に示す原照射マップに等しい。これにより、多重露出により、実際の口腔内カメラの入力照射を基本的に取得し、第1HDR照射マップに具体化することができる。
上述の第1HDR照射マップを回復するステップを以下に詳細に説明する。
回復した照射カラー画像では、鏡面領域がハイライトで現れ、ここでは照射強度は分散成分と鏡面反射成分を含む2つの成分からなり、これは、RGBカメラで取り込まれた反射光カラー画像内の位置(x,y)における画素値
Figure 2016538008
が分散カラー成分
Figure 2016538008
と、鏡面カラー成分
Figure 2016538008
の直線的組合せとして表すことが可能であり、ここに、(x,y)は、照明源として白色光の条件下で画素の空間的位置を表す。ここで、
Figure 2016538008
は画素値、IR(x,y)は、赤色成分の画素値、IG(x,y)は緑色成分の画素値、IB(x,y)は、赤色成分の画素値、
Figure 2016538008
は、分散カラー成分、
Figure 2016538008
は、分散赤色成分の画素値、
Figure 2016538008
は、分散緑色成分の画素値、
Figure 2016538008
は、分散青色成分の画素値、
Figure 2016538008
は、鏡面カラー成分、
Figure 2016538008
は、鏡面赤色成分の画素値、
Figure 2016538008
は、鏡面緑色成分の画素値、
Figure 2016538008
は、鏡面青色成分の画素値である。
ハイライト除去技術は、回復された照射カラー画像内のカラー成分から分散カラー成分を推定する。分散色度は、以下の数式(1)で計算することが可能である。
Figure 2016538008
ここに、
Figure 2016538008
は、分散色度、
Figure 2016538008
は、赤色成分の分散色度、
Figure 2016538008
は、緑色成分の分散色度、
Figure 2016538008
は、青色成分の分散色度である。
最大分散色度は、以下の数式(2)で計算することができる。
Figure 2016538008
ここに、
Figure 2016538008
は、最大分散色度である。
更に、各画素に対する分散カラー成分を推定する経験に基づく数式(3)が存在する。
Figure 2016538008
小さな局部的領域では、カラーは一致しており、各画素値の
Figure 2016538008
は、非常に小さいが、しかし、鏡面画素に対しては、鏡面反射が同じ表面カラーの状態で局部領域におけるカラーの不連続を生じさせ、有名なバイラテラル(bi-lateral)フィルタを含む詳細(ディテール)保存(detail-preserved)フィルタを局部的な不連続を除去するために使用することが可能である。
更に、S230のステップでは、鏡面反射によるハイライトが第1HDR照射マップからバイラテラルフィルタを使用して除去され、第2HDR照射マップが得られる。
この実施形態では、上述の内容のうち、歯の領域、歯茎の領域及びハイライト領域を主な露出フレーム内でセグメント化することが可能であり、特に、各ハイライト領域について、主な露出フレームから抽出することが可能である。ハイライト領域の最大の幾何学的サイズを決定した後(すなわち、ハイライト領域の中央軸に対して境界からの最大距離)、この最大幾何学的サイズを、バイラテラルフィルタの尺度パラメータとして設定することが可能であり、その後、バイラテラルフィルタが、第1HDR照射マップの
Figure 2016538008
上で、最小変化の基準に到達するまで繰り返し実行される。最小変化の基準に基づいて、不連続及び突然に出現する任意の鏡面反射が容易に除去される。したがって、過飽和状態を超えるハイライト領域を第1HDR照射マップから除去することが可能であり、これは図3(d)に示す第2HDR照射マップを取得することに続き、この第2HDR照射マップ内で、鏡面反射が大きく抑制され、拡散反射に対応する細部(ディテール)が完全に保持される。
したがって、S230のステップで使用されるフィルタは、上述の実施形態におけるバイラテラルフィルタに限定されるものではなく、任意の詳細保存フィルタリング技術を、ハイライトを除去するためにここで適用することが可能である。任意の他の詳細保存フィルタを使用するときに、最小変化の基準よりも小さな細部が連続的に残留し、一方、最小変化の記述よりも大きなハイライトは、容易に除去することが可能である。
これまで、鏡面反射が除去され、一方、分散反射は、口腔内場面の第2HDR照射マップ内に残留する。
更に、S240のステップで、低いダイナミックレンジの表示装置上にHDR画像を表示するため、図3(e)に示す表示可能HDR画像が、第2HDR照射マップに対してトーン(tone)マッピングを使用して再構成される。
この実施形態では、低いダイナミックレンジのデジタルディスプレイに表示可能な最終的な白色光画像を再構築するため、トーンマッピングを使用して、高ダイナミックレンジ照射値を通常ダイナミックレンジ内にマッピングする。更に、主な露出フレーム内で抽出された歯の領域の最大幾何学サイズは、歯の領域の場合に、境界から中央軸への最大距離として画定され、他のバイラテラルフィルタの尺度パラメータとして使用され、このバイラテラルフィルタは、第2HDR照射マップを粗いレベルと微細レベルに分解する(discompose)ために使用される。粗いレベルは主ダイナミックレンジを支配するため、通常画像を再構成するのに適したダイナミックレンジとする必要がある。微細レベルでの同様な操作の後、スケール変更された粗いおよび微細レベルが一緒に結合して、歯科医が好適に観察することが可能である最終的な歯の画像を生成する。
最後に、明るい対象物及び暗い対象物が同時に明瞭に取り込まれたHDR歯の画像が、鏡面反射を大きく抑制されて取得される。
他の実施形態では、任意のHDR照射マップを表示するのに適したディスプレイに第2HDR照射マップを直接表示することが可能な場合、S240のステップを省略することが可能である。
本発明の好ましい実施形態について述べてきたことから、当業者にとって、これらを包含する他の実施形態を使用できることは明らかである。更に、本発明の一部として含まれるソフトウェアが、コンピュータに使用可能な媒体の一部としてコンピュータプログラム製品に具体化することができる。例えば、このようなコンピュータが使用可能な媒体は、ハードドライブ装置、CD−ROM、DVD−ROMまたはコンピュータディスケット等のコンピュータが読み取り可能なプラグラムコードのセグメントを内部に格納した読取可能なメモリ装置を包含することができる。コンピュータが読み取り可能な媒体は、更に、光、ワイヤードまたはワイヤレスのいずれかのプログラムコードセグメントをデジタルまたはアナログ信号として搬送する通信リンクを含む。したがって、本発明は記載した実施形態に制限されるものではなく、添付の請求の範囲の精神及び範囲でのみ制限される。ここに引用した全ての刊行物及び参考物は、参照することによりその全体がここに包含される。
本発明の好ましい実施形態について述べてきたことから、当業者にとって、これらを包含する他の実施形態を使用できることは明らかである。更に、本発明の一部として含まれるソフトウェアが、コンピュータに使用可能な媒体の一部としてコンピュータプログラム製品に具体化することができる。例えば、このようなコンピュータが使用可能な媒体は、ハードドライブ装置、CD−ROM、DVD−ROMまたはコンピュータディスケット等のコンピュータが読み取り可能なプラグラムコードのセグメントを内部に格納した読取可能なメモリ装置を包含することができる。コンピュータが読み取り可能な媒体は、更に、光、ワイヤードまたはワイヤレスのいずれかのプログラムコードセグメントをデジタルまたはアナログ信号として搬送する通信リンクを含む。したがって、本発明は記載した実施形態に制限されるものではなく、添付の請求の範囲の精神及び範囲でのみ制限される。ここに引用した全ての刊行物及び参考物は、参照することによりその全体がここに包含される。
(補遺)
以上に開示した実施の形態は、例えば次のような構成を表していると解することもできる。
(構成1)
口腔内を撮像する方法であって、
同じ口腔内場面を異なる露出で取り込んだ歯の多数の画像を有する第1高ダイナミックレンジ(HDR)照射マップを生成し、更に、
第1HDR照射マップから詳細保存方法で鏡面反射によるハイライトを除去し、鏡面反射が少なくとも部分的に抑制された第2HDR照射マップを取得するステップを備える方法。
(構成2)
前記第1HDR照射マップを生成するステップは、
同じ口腔内場面を異なる露出で多数の画像を取り込み、
主な露出フレームとして多数の画像のうち1つの画像を決定し、
多数の画像に基づいて照射マッピング曲線を回復し、更に、
多数の画像及び照射マッピング曲線に基づいて第1HDR照射マップを回復し、この回復は、
照射マッピング曲線に基づいて多数の画像の各1つに対して照射値に画素値をマッピングし、更に、
各画素に対して多数の画像の全ての照射値を重み付け平均化することにより、第1HDR照射マップを取得するステップを有する、構成1の方法。
(構成3)
多数の画像の各1つの露出を全ての露出の平均値と比較することにより、平均値に最も近い露出を有する1つを、主な露出フレームとして決定する、構成2の方法。
(構成4)
前記詳細保存方法は、バイラテラルフィルタリングである、構成1または2の方法。
(構成5)
前記ハイライトを除去するステップは、主な露出フレームに基づくバイラテラルフィルタの尺度パラメータを決定することを有する、構成4の方法。
(構成6)
過飽和ハイライト領域がセグメント化され、主な露出フレームから抽出される、構成3または5の方法。
(構成7)
前記過飽和ハイライト領域の最大幾何学的サイズが、バイラテラルフィルタの尺度パラメータとして設定される、構成6の方法。
(構成8)
歯領域、歯茎領域、ハイライト領域が可能で、及び、背景が主なフレーム内でセグメント化され、更に、歯領域、歯茎領域及びハイライト領域が主な露出フレームから抽出され、歯領域、歯茎領域及びハイライト領域に相当する画素のみが照射マッピング曲線の回復に採用される、構成2の方法。
(構成9)
形状に基づく空間適応ダウン・サンプル処理方法が、照射マッピング曲線を回復する計算を減らすために使用され、この形状に基づく空間適応ダウン・サンプル処理法は、
歯領域、歯茎領域及びハイライト領域の各セグメントの領域の面積を計算し、更に、
ダウン・サンプル処理比及び関連するダウン・サンプル処理メッシュを生成し、各セグメントに等しい数の画素を提供する、ステップを有する、構成8の方法。
(構成10)
前記HDR画像がリアルタイムで表示される、構成9の方法。
(構成11)
更に、トーンマッピングを使用する第2HDR照射マップに基づいてHDR画像を再構築し、結果として生じるHDR画像を低いダイナミックレンジのディスプレイ装置に表示する、構成1の方法。
(構成12)
口腔内を撮像するシステムであって、
同じ口腔内場面を異なる露出で取り込んだ多数の画像を有する第1高ダイナミックレンジ(HDR)照射マップを生成するHDRマッピング装置、及び、
第1HDR照射マップから鏡面反射によるハイライトを除去し、鏡面反射が少なくとも部分的に抑制された第2HDR照射マップを取得する詳細保存フィルタ、を備えることを特徴とするシステム。
(構成13)
前記HDRマッピング装置は、
同じ口腔内場面を異なる露出で多数の画像を取り込む手段、
主な露出フレームとして多数の画像のうち1つの画像を決定する手段、
多数の画像に基づいて照射マッピング曲線を回復する手段、及び、
多数の画像及び照射マッピング曲線に基づいて第1HDR照射マップを回復する手段を備え、この回復する手段は、
照射マッピング曲線に基づいて多数の画像の各1つに対し、照射値に画素値をマッピングする手段、及び、
各画素に対して多数の画像の全ての照射値を重み付け平均化することにより、第1HDR照射マップを取得する手段を有する、構成12のシステム。
(構成14)
多数の画像の各1つの露出を、全ての露出の平均値と比較することにより、平均値に最も近い露出を有する1つを、主な露出フレームとして決定する、構成13のシステム。
(構成15)
前記詳細保存フィルタは、バイラテラルフィルタである、構成11または13のシステム。
(構成16)
前記詳細保存フィルタは、
主な露出フレームに基づいてバイラテラルフィルタの尺度パラメータを決定する手段を有する、構成15のシステム。
(構成17)
過飽和ハイライト領域が、セグメント化され、主な露出フレームから抽出される、構成14または16のシステム。
(構成18)
前記過飽和ハイライト領域の最大幾何学的サイズが、前記バイラテラルフィルタの尺度パラメータとして設定される、構成17のシステム。
(構成19)
前記歯領域、歯茎領域、ハイライト領域が可能で、更に、背景が主なフレーム内でセグメント化され、前記歯領域、歯茎領域及びハイライト領域が、主な露出フレームから抽出され、歯領域、歯茎領域及びハイライト領域に対応する画素のみが、照射マッピング曲線の回復に採用される、構成13のシステム。
(構成20)
形状に基づく空間適応ダウン・サンプル処理方法が、照射マッピング曲線を回復する計算を減らすために使用され、この形状に基づく空間適応ダウン・サンプル処理法は、
歯領域、歯茎領域及びハイライト領域の各セグメントの領域の面積を計算し、更に、
ダウン・サンプル処理比及び関連するダウン・サンプル処理メッシュを生成し、各セグメントに等しい数の画素を提供する、ステップを有する、構成19のシステム。
(構成21)
前記HDR画像が、リアルタイムで表示される構成9のシステム。
(構成22)
更に、トーンマッピングを使用する第2HDR照射マップに基づいて、表示可能なHDR画像を再構築する手段を有する、構成18のシステム。
(構成23)
鏡面反射を抑制する方法であって、
同じ口腔内場面に対して異なる露出で取り込んだ多数の画像を有する第1高ダイナミックレンジ(HDR)照射マップを生成し、更に、
前記第1HDR照射マップから細部を残した状態で鏡面反射によるハイライトを除去し、鏡面反射が少なくとも部分的に抑制された第2HDR照射マップを取得する、ステップを備える、方法。
(構成24)
口腔内を撮像するコンピュータプログラム製品であって、このコンピュータプログラム製品は、コンピュータが読取可能な媒体を備え、この媒体が、
同じ口腔内場面に対し異なる露出で取り込んだ多数の画像を有する歯の第1高ダイナミックレンジ(HDR)照射マップを生成し、
第1HDR照射マップから詳細保存方法で鏡面反射によるハイライトを除去し、鏡面反射が少なくとも部分的に抑制された第2HDR照射マップを取得する、ステップを実行するための命令を包含する、製品。

Claims (24)

  1. 口腔内を撮像する方法であって、
    同じ口腔内場面を異なる露出で取り込んだ歯の多数の画像を有する第1高ダイナミックレンジ(HDR)照射マップを生成し、更に、
    第1HDR照射マップから詳細保存方法で鏡面反射によるハイライトを除去し、鏡面反射が少なくとも部分的に抑制された第2HDR照射マップを取得するステップを備える方法。
  2. 前記第1HDR照射マップを生成するステップは、
    同じ口腔内場面を異なる露出で多数の画像を取り込み、
    主な露出フレームとして多数の画像のうち1つの画像を決定し、
    多数の画像に基づいて照射マッピング曲線を回復し、更に、
    多数の画像及び照射マッピング曲線に基づいて第1HDR照射マップを回復し、この回復は、
    照射マッピング曲線に基づいて多数の画像の各1つに対して照射値に画素値をマッピングし、更に、
    各画素に対して多数の画像の全ての照射値を重み付け平均化することにより、第1HDR照射マップを取得するステップを有する、請求項1の方法。
  3. 多数の画像の各1つの露出を全ての露出の平均値と比較することにより、平均値に最も近い露出を有する1つを、主な露出フレームとして決定する、請求項2の方法。
  4. 前記詳細保存方法は、バイラテラルフィルタリングである、請求項1または2の方法。
  5. 前記ハイライトを除去するステップは、主な露出フレームに基づくバイラテラルフィルタの尺度パラメータを決定することを有する、請求項4の方法。
  6. 過飽和ハイライト領域がセグメント化され、主な露出フレームから抽出される、請求項3または5の方法。
  7. 前記過飽和ハイライト領域の最大幾何学的サイズが、バイラテラルフィルタの尺度パラメータとして設定される、請求項6の方法。
  8. 歯領域、歯茎領域、ハイライト領域が可能で、及び、背景が主なフレーム内でセグメント化され、更に、歯領域、歯茎領域及びハイライト領域が主な露出フレームから抽出され、歯領域、歯茎領域及びハイライト領域に相当する画素のみが照射マッピング曲線の回復に採用される、請求項2の方法。
  9. 形状に基づく空間適応ダウン・サンプル処理方法が、照射マッピング曲線を回復する計算を減らすために使用され、この形状に基づく空間適応ダウン・サンプル処理法は、
    歯領域、歯茎領域及びハイライト領域の各セグメントの領域の面積を計算し、更に、
    ダウン・サンプル処理比及び関連するダウン・サンプル処理メッシュを生成し、各セグメントに等しい数の画素を提供する、ステップを有する、請求項8の方法。
  10. 前記HDR画像がリアルタイムで表示される、請求項9の方法。
  11. 更に、トーンマッピングを使用する第2HDR照射マップに基づいてHDR画像を再構築し、結果として生じるHDR画像を低いダイナミックレンジのディスプレイ装置に表示する、請求項1の方法。
  12. 口腔内を撮像するシステムであって、
    同じ口腔内場面を異なる露出で取り込んだ多数の画像を有する第1高ダイナミックレンジ(HDR)照射マップを生成するHDRマッピング装置、及び、
    第1HDR照射マップから鏡面反射によるハイライトを除去し、鏡面反射が少なくとも部分的に抑制された第2HDR照射マップを取得する詳細保存フィルタ、を備えることを特徴とするシステム。
  13. 前記HDRマッピング装置は、
    同じ口腔内場面を異なる露出で多数の画像を取り込む手段、
    主な露出フレームとして多数の画像のうち1つの画像を決定する手段、
    多数の画像に基づいて照射マッピング曲線を回復する手段、及び、
    多数の画像及び照射マッピング曲線に基づいて第1HDR照射マップを回復する手段を備え、この回復する手段は、
    照射マッピング曲線に基づいて多数の画像の各1つに対し、照射値に画素値をマッピングする手段、及び、
    各画素に対して多数の画像の全ての照射値を重み付け平均化することにより、第1HDR照射マップを取得する手段を有する、請求項12のシステム。
  14. 多数の画像の各1つの露出を、全ての露出の平均値と比較することにより、平均値に最も近い露出を有する1つを、主な露出フレームとして決定する、請求項13のシステム。
  15. 前記詳細保存フィルタは、バイラテラルフィルタである、請求項11または13のシステム。
  16. 前記詳細保存フィルタは、
    主な露出フレームに基づいてバイラテラルフィルタの尺度パラメータを決定する手段を有する、請求項15のシステム。
  17. 過飽和ハイライト領域が、セグメント化され、主な露出フレームから抽出される、請求項14または16のシステム。
  18. 前記過飽和ハイライト領域の最大幾何学的サイズが、前記バイラテラルフィルタの尺度パラメータとして設定される、請求項17のシステム。
  19. 前記歯領域、歯茎領域、ハイライト領域が可能で、更に、背景が主なフレーム内でセグメント化され、前記歯領域、歯茎領域及びハイライト領域が、主な露出フレームから抽出され、歯領域、歯茎領域及びハイライト領域に対応する画素のみが、照射マッピング曲線の回復に採用される、請求項13のシステム。
  20. 形状に基づく空間適応ダウン・サンプル処理方法が、照射マッピング曲線を回復する計算を減らすために使用され、この形状に基づく空間適応ダウン・サンプル処理法は、
    歯領域、歯茎領域及びハイライト領域の各セグメントの領域の面積を計算し、更に、
    ダウン・サンプル処理比及び関連するダウン・サンプル処理メッシュを生成し、各セグメントに等しい数の画素を提供する、ステップを有する、請求項19のシステム。
  21. 前記HDR画像が、リアルタイムで表示される請求項9のシステム。
  22. 更に、トーンマッピングを使用する第2HDR照射マップに基づいて、表示可能なHDR画像を再構築する手段を有する、請求項18のシステム。
  23. 鏡面反射を抑制する方法であって、
    同じ口腔内場面に対して異なる露出で取り込んだ多数の画像を有する第1高ダイナミックレンジ(HDR)照射マップを生成し、更に、
    前記第1HDR照射マップから細部を残した状態で鏡面反射によるハイライトを除去し、鏡面反射が少なくとも部分的に抑制された第2HDR照射マップを取得する、ステップを備える、方法。
  24. 口腔内を撮像するコンピュータプログラム製品であって、このコンピュータプログラム製品は、コンピュータが読取可能な媒体を備え、この媒体が、
    同じ口腔内場面に対し異なる露出で取り込んだ多数の画像を有する歯の第1高ダイナミックレンジ(HDR)照射マップを生成し、
    第1HDR照射マップから詳細保存方法で鏡面反射によるハイライトを除去し、鏡面反射が少なくとも部分的に抑制された第2HDR照射マップを取得する、ステップを実行するための命令を包含する、製品。
JP2016518700A 2013-09-30 2013-09-30 Hdrイメージングを使用しかつハイライトを除去する口腔内撮像方法及びシステム Expired - Fee Related JP6478984B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2013/084691 WO2015042939A1 (en) 2013-09-30 2013-09-30 Method and system for intra-oral imaging using hdr imagine and highlight removal

Publications (2)

Publication Number Publication Date
JP2016538008A true JP2016538008A (ja) 2016-12-08
JP6478984B2 JP6478984B2 (ja) 2019-03-06

Family

ID=52741868

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016518700A Expired - Fee Related JP6478984B2 (ja) 2013-09-30 2013-09-30 Hdrイメージングを使用しかつハイライトを除去する口腔内撮像方法及びシステム

Country Status (6)

Country Link
US (1) US10219703B2 (ja)
EP (1) EP3052006A4 (ja)
JP (1) JP6478984B2 (ja)
KR (1) KR20160063338A (ja)
CN (1) CN105682540B (ja)
WO (1) WO2015042939A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017156161A (ja) * 2016-02-29 2017-09-07 富士通株式会社 照明条件設定装置、照明条件設定方法及び照明条件設定用コンピュータプログラム
WO2018230066A1 (ja) * 2017-06-12 2018-12-20 ソニー株式会社 医療用システム、医療用装置および制御方法
JPWO2020039716A1 (ja) * 2018-08-21 2021-09-24 ソニー・オリンパスメディカルソリューションズ株式会社 医療用制御装置及び医療用観察装置

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10122928B2 (en) * 2015-09-09 2018-11-06 Red.Com, Llc Motion video output for multiple displays
CN105741249B (zh) * 2016-02-03 2018-05-04 哈尔滨理工大学 一种强反射表面高光去除方法
CN105678713B (zh) * 2016-02-03 2018-04-17 哈尔滨理工大学 基于线性扩散板与反射分量分离理论的高光去除方法
KR102614906B1 (ko) 2016-12-05 2023-12-18 삼성전자주식회사 영상 처리 방법 및 장치
CN108932716B (zh) * 2017-05-26 2020-09-22 无锡时代天使医疗器械科技有限公司 用于牙齿图像的图像分割方法
CN110390648A (zh) * 2019-06-24 2019-10-29 浙江大学 一种基于非饱和与饱和高光区分的图像高光去除方法
CN111080686B (zh) * 2019-12-16 2022-09-02 中国科学技术大学 用于自然场景中图像高光去除的方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11155808A (ja) * 1997-11-27 1999-06-15 Olympus Optical Co Ltd 内視鏡撮像装置
JP2000115538A (ja) * 1998-09-23 2000-04-21 Xerox Corp 複写される画像を改良するリアルタイム調子再現曲線を作成する方法
JP2010516332A (ja) * 2007-01-17 2010-05-20 ケアストリーム ヘルス インク 虫歯の早期検出システム
WO2011093994A1 (en) * 2010-01-27 2011-08-04 Thomson Licensing High dynamic range (hdr) image synthesis with user input
JP2012073953A (ja) * 2010-09-29 2012-04-12 Olympus Corp 画像処理装置、画像処理方法、および画像処理プログラム
JP2013534449A (ja) * 2010-07-12 2013-09-05 3シェイプ アー/エス テクスチャ的特徴を用いる物体の3dモデル化方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1155808A (ja) 1997-08-05 1999-02-26 Yamakichi:Kk 惰力を利用した電気自動車用発電方法
JP3623351B2 (ja) 1997-10-14 2005-02-23 日産ディーゼル工業株式会社 蓄圧式ハイブリッド車両の制動装置
US7084868B2 (en) 2000-04-26 2006-08-01 University Of Louisville Research Foundation, Inc. System and method for 3-D digital reconstruction of an oral cavity from a sequence of 2-D images
US7146059B1 (en) 2003-03-05 2006-12-05 Massachusetts Institute Of Technology Method of performing fast bilateral filtering and using the same for the display of high-dynamic-range images
EP2107446A1 (en) 2008-04-04 2009-10-07 ETH Zurich System and a method for tracking input devices on LC-displays
JP5136965B2 (ja) * 2008-09-03 2013-02-06 日本電気株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
US20100268069A1 (en) * 2009-04-16 2010-10-21 Rongguang Liang Dental surface imaging using polarized fringe projection
KR101664123B1 (ko) 2010-06-14 2016-10-11 삼성전자주식회사 필터링에 기반하여 고스트가 없는 hdri를 생성하는 장치 및 방법
CN102509279B (zh) 2011-11-02 2013-11-06 北京工业大学 根部欠照明舌图像的自适应暗部细节复现方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11155808A (ja) * 1997-11-27 1999-06-15 Olympus Optical Co Ltd 内視鏡撮像装置
JP2000115538A (ja) * 1998-09-23 2000-04-21 Xerox Corp 複写される画像を改良するリアルタイム調子再現曲線を作成する方法
JP2010516332A (ja) * 2007-01-17 2010-05-20 ケアストリーム ヘルス インク 虫歯の早期検出システム
WO2011093994A1 (en) * 2010-01-27 2011-08-04 Thomson Licensing High dynamic range (hdr) image synthesis with user input
JP2013534449A (ja) * 2010-07-12 2013-09-05 3シェイプ アー/エス テクスチャ的特徴を用いる物体の3dモデル化方法
JP2012073953A (ja) * 2010-09-29 2012-04-12 Olympus Corp 画像処理装置、画像処理方法、および画像処理プログラム

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017156161A (ja) * 2016-02-29 2017-09-07 富士通株式会社 照明条件設定装置、照明条件設定方法及び照明条件設定用コンピュータプログラム
WO2018230066A1 (ja) * 2017-06-12 2018-12-20 ソニー株式会社 医療用システム、医療用装置および制御方法
JPWO2018230066A1 (ja) * 2017-06-12 2020-04-16 ソニー株式会社 医療用システム、医療用装置および制御方法
JP7088185B2 (ja) 2017-06-12 2022-06-21 ソニーグループ株式会社 医療用システム、医療用装置および制御方法
US11463629B2 (en) 2017-06-12 2022-10-04 Sony Corporation Medical system, medical apparatus, and control method
JPWO2020039716A1 (ja) * 2018-08-21 2021-09-24 ソニー・オリンパスメディカルソリューションズ株式会社 医療用制御装置及び医療用観察装置
JP7315560B2 (ja) 2018-08-21 2023-07-26 ソニー・オリンパスメディカルソリューションズ株式会社 医療用制御装置及び医療用観察装置

Also Published As

Publication number Publication date
EP3052006A4 (en) 2017-05-10
WO2015042939A1 (en) 2015-04-02
KR20160063338A (ko) 2016-06-03
CN105682540B (zh) 2019-07-16
CN105682540A (zh) 2016-06-15
US10219703B2 (en) 2019-03-05
EP3052006A1 (en) 2016-08-10
US20160220118A1 (en) 2016-08-04
JP6478984B2 (ja) 2019-03-06

Similar Documents

Publication Publication Date Title
JP6478984B2 (ja) Hdrイメージングを使用しかつハイライトを除去する口腔内撮像方法及びシステム
JP5342036B2 (ja) 3d表面形状をキャプチャーするための方法
US8311302B2 (en) Method for identification of dental caries in polychromatic images
JP2007502185A (ja) 蛍光発光画像の分析及び表示
US9486141B2 (en) Identification of dental caries in live video images
WO2015159732A1 (ja) 情報処理装置、情報処理システム、及び、プログラム
KR100923098B1 (ko) 엑스 레이 씨티 촬영 영상의 메탈 아티팩트를 제거하는방법
Suman et al. Image enhancement using geometric mean filter and gamma correction for WCE images
JP2007082181A (ja) 撮像装置及び画像処理方法
JP2017118296A (ja) 撮像装置、画像処理装置、画像処理方法、画像処理プログラム、および、記憶媒体
US20220012915A1 (en) Apparatuses, systems, and methods for managing auto-exposure of image frames depicting signal content against a darkened background
Kaur et al. Edge detection in digital panoramic dental radiograph using improved morphological gradient and MATLAB
US20180077399A1 (en) Image processing device, image processing method, and computer-readable recording medium
KR20140109801A (ko) 3d이미지 품질을 향상시키는 방법과 장치
FR2766044A1 (fr) Procede de traitement d'une sequence d'images radiologiques d'un objet
JP2009172077A (ja) 血管位置取得装置および血管位置取得方法
CN111192208A (zh) 一种基于边窗滤波器的牙齿cr图像增强方法及装置
Livingston et al. Image processing for human understanding in low-visibility
CN114331896A (zh) 一种基于图像分解和光谱变换的图像增强方法、系统
CN113256518A (zh) 用于口腔内3d重建的结构光图像增强方法
EP3629301A1 (en) Rendering a dental model in an image
FR2910673A1 (fr) Procede de traitement d'image et dispositif implementant ledit procede
AU2022230997B2 (en) Method of image enhancement for distraction deduction in endoscopic procedures
JP2011030592A (ja) 皮脂の分泌状態測定装置
JP2023011303A (ja) 医療画像処理装置及びその作動方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160926

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160926

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170621

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170801

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20171027

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171225

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180522

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180814

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190122

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190205

R150 Certificate of patent or registration of utility model

Ref document number: 6478984

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees