JP2021192002A - 画像生成装置、及び画像生成方法 - Google Patents

画像生成装置、及び画像生成方法 Download PDF

Info

Publication number
JP2021192002A
JP2021192002A JP2020098281A JP2020098281A JP2021192002A JP 2021192002 A JP2021192002 A JP 2021192002A JP 2020098281 A JP2020098281 A JP 2020098281A JP 2020098281 A JP2020098281 A JP 2020098281A JP 2021192002 A JP2021192002 A JP 2021192002A
Authority
JP
Japan
Prior art keywords
image
wavelength
spectral
scan
spectroscopic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020098281A
Other languages
English (en)
Inventor
慧 工藤
Kei Kudo
晃幸 西村
Akiyuki Nishimura
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2020098281A priority Critical patent/JP2021192002A/ja
Priority to US17/334,120 priority patent/US11503254B2/en
Priority to CN202110613672.XA priority patent/CN113758882B/zh
Publication of JP2021192002A publication Critical patent/JP2021192002A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/12Generating the spectrum; Monochromators
    • G01J3/26Generating the spectrum; Monochromators using multiple reflection, e.g. Fabry-Perot interferometer, variable interference filters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02Details
    • G01J3/0205Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02Details
    • G01J3/027Control of working procedures of a spectrometer; Failure detection; Bandwidth calculation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/12Generating the spectrum; Monochromators
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J3/2823Imaging spectrometer
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01Arrangements or apparatus for facilitating the optical investigation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/03Circuitry for demodulating colour component signals modulated spatially by colour striped filters by frequency separation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/12Generating the spectrum; Monochromators
    • G01J2003/1204Grating and filter
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J3/2823Imaging spectrometer
    • G01J2003/2826Multispectral imaging, e.g. filter imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01Arrangements or apparatus for facilitating the optical investigation
    • G01N2021/0106General arrangement of respective parts
    • G01N2021/0112Apparatus in one mechanical, optical or electronic block
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N2021/1765Method using an image detector and processing of image signal
    • G01N2021/177Detector of the video camera type
    • G01N2021/1776Colour camera

Abstract

【課題】分光画像に基づいてカラー画像をリアルタイム画像として表示させる場合のフレームレートの低下の抑制が可能な画像生成装置、及び画像生成方法を提供する。【解決手段】画像生成装置は、一対の反射膜間の距離の変化で透過させる画像光の波長を切り替える分光フィルターと、分光フィルターを透過した画像光を撮像する撮像素子と、フィルター制御部と、画像合成部と、を備え、フィルター制御部は、反射膜間の距離を狭める往路走査及び反射膜間の距離を広げる復路走査で、それぞれ、透過光の波長を、複数の波長に切り替え、かつ、往路走査及び復路走査のそれぞれで、赤色、緑色、及び青色の各波長に切り替え、画像合成部は、1回の往路走査で得られる赤色、緑色、及び青色の各分光画像を合成したカラー画像を合成し、1回の復路走査で得られる赤色、緑色、及び青色の各分光画像を合成したカラー画像を生成する。【選択図】図1

Description

本発明は、画像生成装置、及び画像生成方法に関する。
従来、撮像対象の分光画像を撮像する分光カメラでは、例えば、撮像対象を確認するために、撮像対象のカラー画像をディスプレイにリアルタイムで表示させるものがある。しかし、カラー画像を表示するために、分光カメラにカラー画像撮像用のカメラを組み込むと構成が複雑化し、コストも高くなる。そこで、分光カメラによって撮像される分光画像を利用してリアルタイム表示させるカラー画像を生成する画像生成装置が知られている (例えば、特許文献1参照)。
特許文献1に記載の画像生成装置は、分光フィルターとして、一対の反射膜を有し、反射膜間の距離を変化させることで透過波長を変更可能なファブリーペローエタロン素子を用い、分光フィルターを透過した光を撮像素子で撮像する。また、分光フィルターを透過させる複数の分光波長を、赤色波長域に含まれる波長、緑色波長域に含まれる波長、及び青色波長域に含まれる波長に分類する。さらに、赤色波長域、緑色波長域、及び青色波長域からそれぞれ1つの波長を選択して1つのグループとし、含まれる波長がそれぞれ異なる複数のグループを設定する。
そして、反射膜間の距離を最大距離から最小距離まで変化させる間に、1つのグループに含まれる赤色波長域の1波長、緑色波長域の1波長、及び青色波長域の1波長のそれぞれ順に選択して分光画像を撮像し、撮像された各色の分光画像を合成してリアルタイム画像を生成する。次に、反射膜間の距離を最大距離に戻し、次のグループに対応する分光画像を撮像する。
特開2015−161512号公報
しかし、特許文献1に記載の画像生成装置、及び画像生成方法では、分光フィルターの反射膜間の距離を最大距離から最小距離に変化させる間に、赤色波長域、緑色波長域、及び青色波長域の分光画像を順に撮像した後、再び反射膜間の距離を最大距離に戻す。この反射膜間の距離を最大距離に戻す期間では、分光画像の撮像が行われない。このため、次の分光画像を撮像するまでの間が空き、リアルタイム画像の更新間隔、つまり、フレームレートも低下する、との課題がある。
本開示の第一態様に係る画像生成装置は、一対の反射膜を有し、一対の前記反射膜の間の距離を変化させることで、入射画像光から所定波長の画像光を選択的に出射させる分光フィルターと、前記分光フィルターを透過した前記画像光を撮像する撮像素子と、前記分光フィルターを制御して、前記分光フィルターを透過させる前記画像光の波長を選択するフィルター制御部と、前記撮像素子による前記画像光の撮像により得られる所定波長の分光画像を合成して合成画像を生成する画像合成部と、を備え、前記フィルター制御部は、一対の前記反射膜の距離を所定の最大寸法から最小寸法まで変化させる往路走査、及び前記最小寸法から前記最大寸法まで変化させる復路走査で、それぞれ、前記分光フィルターを透過させる前記画像光の波長を、スペクトル測定用の複数の波長に切り替え、かつ、前記往路走査及び前記復路走査のそれぞれで、前記分光フィルターを透過させる波長を、赤色波長域に属する所定の赤色波長と、緑色波長域に属する所定の緑色波長と、青色波長域に属する所定の青色波長と、に切り替え、前記画像合成部は、1回の前記往路走査で得られる前記赤色波長、前記緑色波長、及び前記青色波長の各前記画像光を撮像した分光画像を合成したカラー画像を合成し、1回の前記復路走査で得られる前記赤色波長、前記緑色波長、及び前記青色波長の各前記画像光を撮像した分光画像を合成した前記カラー画像を生成する。
本開示の第二態様の画像生成装置は、一対の反射膜を有し、一対の前記反射膜の間の距離を変化させることで、入射画像光から所定波長の画像光を選択的に出射させる分光フィルターと、前記分光フィルターを透過した前記画像光を撮像する撮像素子と、前記分光フィルターを制御して、前記分光フィルターを透過させる前記画像光の波長を選択するフィルター制御部と、前記撮像素子による前記画像光の撮像により得られる所定波長の分光画像を合成してカラー画像を生成する画像合成部と、を備え、前記フィルター制御部は、一対の前記反射膜の間の距離を所定の最大寸法から最小寸法まで変化させる往路走査、及び前記最小寸法から前記最大寸法まで変化させる復路走査で、それぞれ、前記分光フィルターを透過させる前記画像光の波長を、スペクトル測定用の複数の波長に切り替え、かつ、前記往路走査及び前記復路走査のそれぞれで、前記分光フィルターを透過させる波長を緑色波長域に属する所定の緑色波長に切り替え、前記往路走査と前記復路走査とのいずれかで、前記分光フィルターを透過させる波長を、赤色波長域に属する所定の赤色波長と、青色波長域に属する所定の青色波長と、に少なくとも1回切り替え、前記画像合成部は、前記往路走査で得られる前記緑色波長の前記画像光を撮像した分光画像と、当該往路走査または当該往路走査に連続する前記復路走査で得られる前記赤色波長及び前記青色波長の各前記画像光を撮像した分光画像と、を合成した前記カラー画像を生成し、前記復路走査で得られる前記緑色波長の前記画像光を撮像した分光画像と、当該復路走査または当該復路走査に連続する前記往路走査で得られる前記赤色波長及び前記青色波長の各前記画像光を撮像した分光画像と、を合成した前記カラー画像を生成する。
本開示の第三態様の画像生成方法は、一対の反射膜を有し、一対の前記反射膜の間の距離を変化させることで、入射画像光から所定波長の画像光を選択的に出射させる分光フィルターと、前記分光フィルターを透過した前記画像光を撮像する撮像素子と、を備えた画像生成装置の画像生成方法であって、一対の前記反射膜の距離を所定の最大寸法から最小寸法まで変化させる往路走査、及び前記最小寸法から前記最大寸法まで変化させる復路走査で、それぞれ、前記分光フィルターを透過させる前記画像光の波長を、スペクトル測定用の複数の波長に切り替え、かつ、前記往路走査及び前記復路走査のそれぞれで、前記分光フィルターを透過させる波長を、赤色波長域に属する所定の赤色波長と、緑色波長域に属する所定の緑色波長と、青色波長域に属する所定の青色波長と、に切り替えて、各々の波長の前記画像光を撮像した撮像画像を得る撮像工程と、1回の前記往路走査で得られる前記赤色波長、前記緑色波長、及び前記青色波長の各前記画像光を撮像した分光画像を合成したカラー画像を生成し、1回の前記復路走査で得られる前記赤色波長、前記緑色波長、及び前記青色波長の各前記画像光を撮像した分光画像を合成したカラー画像を生成する画像合成工程と、を実施する。
本開示の第四態様に係る画像生成方法は、一対の反射膜を有し、一対の前記反射膜の間の距離を変化させることで、入射画像光から所定波長の画像光を選択的に出射させる分光フィルターと、前記分光フィルターを透過した前記画像光を撮像する撮像素子と、を備えた画像生成装置の画像生成方法であって、一対の前記反射膜の間の距離を所定の最大寸法から最小寸法まで変化させる往路走査、及び前記最小寸法から前記最大寸法まで変化させる復路走査で、それぞれ、前記分光フィルターを透過させる前記画像光の波長を、スペクトル測定用の複数の波長に切り替え、かつ、前記往路走査及び前記復路走査のそれぞれで、前記分光フィルターを透過させる波長を緑色波長域に属する所定の緑色波長に切り替え、前記往路走査と前記復路走査とのいずれかで、前記分光フィルターを透過させる波長を、赤色波長域に属する所定の赤色波長と、青色波長域に属する所定の青色波長と、に少なくとも1回切り替えて、各々の波長の前記画像光を撮像した撮像画像を得る撮像工程と、前記往路走査で得られる前記緑色波長の前記画像光を撮像した分光画像と、当該往路走査または当該往路走査に連続する前記復路走査で得られる前記赤色波長及び前記青色波長の各前記画像光を撮像した分光画像と、を合成したカラー画像を生成し、前記復路走査で得られる前記緑色波長の前記画像光を撮像した分光画像と、当該復路走査または当該復路走査に連続する前記往路走査で得られる前記赤色波長及び前記青色波長の各前記画像光を撮像した分光画像と、を合成したカラー画像を生成する画像合成工程と、を実施する。
第一実施形態に係る分光測定装置の概略構成を示すブロック図。 第一実施形態の干渉フィルターの概略構成を示す断面図。 第一実施形態における測定用分光画像及び合成用分光画像の取得順の一例を示す図。 第一実施形態の分光測定装置における分光測定方法及び画像生成方法を示すフローチャート。 第二実施形態における測定用分光画像及び合成用分光画像の取得順の一例を示す図。 変形例1に係る測定用分光画像及び合成用分光画像の取得順の一例を示す図。 変形例2に係る測定用分光画像及び合成用分光画像の取得順の一例を示す図。
[第一実施形態]
以下、第一実施形態について説明する。
図1は、本実施形態に係る分光測定装置の概略構成を示すブロック図である。
分光測定装置1は、本発明の画像生成装置に相当し、測定対象物Xで反射した測定対象光における各波長の光強度を分析し、分光スペクトルを測定する装置である。この分光測定装置1は、図1に示すように、光学モジュール10と、表示部21と、操作部22と、光学モジュール10及び表示部21を制御し、かつ、当該光学モジュール10から出力された信号を処理する制御部30と、を備えている。
本実施形態の光学モジュール10は、測定対象物Xの分光画像を撮像する、いわゆる分光カメラである。分光測定装置1は、測定対象物Xの分光測定を実施するにあたり、光学モジュール10によって撮像された分光画像から、カラー画像を合成してリアルタイムに表示部21に表示させる。これにより、分光測定装置1の操作者は、当該カラー画像(以下、リアルタイム画像とも称する)を参照しながら、分光測定装置1と測定対象物Xとの相対的な位置を決定することができる。また、分光測定装置1は、リアルタイム画像に対して、光学モジュール10により撮像された所定波長の分光画像をリアルタイム画像に重畳させて表示部21に表示させてもよく、複数波長の分光画像に基づいて分析された分析結果をリアルタイム画像に重畳させて表示部21に表示させてもよい。
以下、このような分光測定装置1の各構成について詳細に説明する。
[光学モジュールの構成]
光学モジュール10は、分光フィルターである干渉フィルター11と、撮像素子12と、信号処理部13と、電圧制御部14と、を備える。
この光学モジュール10は、測定対象物Xで反射された画像光を、図示略の入射光学系を通して、干渉フィルター11に入射させる。入射光学系を透過して干渉フィルター11に入射される画像光が、本開示の入射画像光であり、干渉フィルター11を透過した画像光は、撮像素子12で受光される。撮像素子12で画像光が受光されると、受光した画像光に応じた分光画像の画像信号が、信号処理部13を介して制御部30に出力される。
[干渉フィルター11の構成]
図2は、干渉フィルター11の概略構成を示す断面図である。
干渉フィルター11は、本開示の分光フィルターに相当し、波長可変型のファブリーペローエタロン素子である。
この干渉フィルター11は、透光性の第一基板111及び第二基板112を備えている。これらの第一基板111及び第二基板112は、例えばシロキサンを主成分とするプラズマ重合膜等の接合膜により接合されて、一体的に構成されている。
第一基板111の第二基板112に対向する面には、一対の反射膜の一方を構成する第一反射膜113が設けられている。この第一反射膜113は、金属膜や金属合金膜により構成されていてもよく、誘電体多層膜により構成されていてもよい。また、第一反射膜113を誘電体多層膜により構成する場合、表面にITO等の透明電極により構成された第一容量電極を形成してもよい。第一反射膜113を金属膜や金属合金膜などの導電性膜により構成する場合、第一反射膜113自体を電極として機能させることが可能である。
また、第一基板111の第二基板112に対向する面には、第一電極115が設けられている。この第一電極115は、例えば、第一反射膜113の外周を囲うように配置されており、第二基板112に設けられた第二電極116に対向する。
第二基板112は、第一基板111とは反対側の面に、円環状の凹溝が形成されており、円環状の凹溝の内側である可動部112Aと、凹溝の底面であるダイアフラム部112Bと含んで構成されている。
可動部112Aの第一基板111に対向する面には、一対の反射膜の他方を構成する第二反射膜114が設けられている。この第二反射膜114は、第一基板111に設けられた第一反射膜113にギャップDを介して対向する。第二反射膜114は、第一反射膜113と同様の素材により構成され、例えば、金属膜や金属合金膜、誘電体多層膜により構成されている。また、第二反射膜114を誘電体多層膜により構成する場合、表面にITO等の透明電極により構成された第二容量電極を形成してもよい。第二反射膜114を金属膜や金属合金膜などの導電性膜により構成する場合、第二反射膜114自体を電極として機能させることが可能である。
また、第二基板112の可動部112A及びダイアフラム部112Bの少なくともいずれかには、第一電極115に対向する面に第二電極116が設けられている。この第二電極116は、第一電極115とともに静電アクチュエーター117を構成する。
以上のような干渉フィルター11では、静電アクチュエーター117の第一電極115及び第二電極116の間に電圧が印加されることで、静電引力により可動部112Aが第一基板111側に変位し、第一反射膜113と第二反射膜114との間のギャップDの寸法(ギャップ寸法)が変化する。これにより、干渉フィルター11を透過する光の波長を変更することができる。
なお、図2では、干渉フィルター11は、1つの静電アクチュエーター117を備える構成としたが、これに限定されない。例えば、干渉フィルター11は、第一反射膜113及び第二反射膜114の外側を囲って配置された内側静電アクチュエーターと、内側静電アクチュエーターの外側に設けられた外側静電アクチュエーターとを備える構成などとしてもよい。この場合、内側静電アクチュエーター及び外側静電アクチュエーターのいずれか一方に、バイアス電圧を印加して可動部112Aを粗動制御し、他方に制御電圧を印加して可動部を微動制御する構成とすることができる。
[撮像素子12、信号処理部13、及び電圧制御部14の構成]
次に、図1に戻り、光学モジュール10の他の構成について説明する。
撮像素子12は、干渉フィルター11を透過した光を受光し、受光量に基づいた画像信号を信号処理部13に出力する。この撮像素子12は、例えば、互いに直交する2軸に沿ってマトリクス状に配列された複数の画素を備え、各画素から受光量に応じた信号を出力する。このような撮像素子12としては、例えばCCD(Charge-Coupled Device)やCMOS(Complementary Metal-Oxide Semiconductor)等の各種イメージセンサを用いることができる。
信号処理部13は、撮像素子12から入力されたアナログ信号である画像信号を増幅した後、デジタル信号に変換して制御部30に出力する。信号処理部13は、検出信号を増幅するアンプや、アナログ信号をデジタル信号に変換するA/D変換器等により構成される。
電圧制御部14は、制御部30の制御に基づいて、干渉フィルター11の静電アクチュエーター117に対して駆動電圧を印加する。これにより、静電アクチュエーター117の第一電極115及び第二電極116の間で静電引力が発生し、可動部112Aが第一基板111側に変位する。
[表示部21及び操作部22の構成]
表示部21は、例えば、液晶パネルディスプレイ、有機ELディスプレイ等の各種表示ディスプレイにより構成されている。表示部21は、制御部30の制御に基づいて、リアルタイム画像等を表示する。
操作部22は、例えば、マウス、キーボード等のユーザー操作を検出可能な各種装置で構成されている。操作部22として、表示部21と一体型となるタッチパネルが用いられてもよい。
[制御部30の構成]
次に、分光測定装置1の制御部30について説明する。
制御部30は、例えばCPU(Central Processing Unit)やメモリー等が組み合わされることで構成され、分光測定装置1の全体動作を制御する。この制御部30は、図1に示すように、プロセッサー31と、記憶部32と、を備える。
記憶部32は、分光測定装置1を制御するための各種プログラムや、各種データが記憶されている。当該データは、例えば、静電アクチュエーター117に印加する駆動電圧に対する透過光の波長を示すV−λデータや、測定対象物Xを測定する際の分光波長に関する情報であり、例えば、分光波長の切り替え順などである。
また、プロセッサー31は、記憶部32に記憶されるプログラムを読み込み実行することで、フィルター制御部311、光量取得部312、画像合成部313、表示制御部314、及び分光測定部315として機能する。
フィルター制御部311は、干渉フィルター11により取り出す光の目的波長を設定し、V−λデータに基づいて、設定した目的波長に対応する駆動電圧を静電アクチュエーター117に印加させる旨の指令信号を電圧制御部14に出力する。詳細は後述するが、フィルター制御部311は、干渉フィルター11のギャップDの寸法を、最大寸法から最小寸法に変化させる往路走査、最小寸法から最大寸法まで変化させる往路走査を行う。ここで、最大寸法としては、例えば、静電アクチュエーター117に電圧を印加していない状態のギャップDの初期寸法であってもよく、撮像対象となる分光波長のうちの最大波長に対応した寸法であってもよい。また、最小寸法は、静電アクチュエーター117に印加可能な最大電圧を印加した時の寸法であってもよく、撮像対象となる分光波長のうちの最小波長に対応した寸法であってもよい。
そして、フィルター制御部311は、往路走査中で、ギャップDの寸法を複数の波長に対応した寸法に順に設定し、同様に、復路走査中で、ギャップDの寸法を複数の波長に対応した寸法に順に設定する。また、本実施形態では、往路走査中で設定される波長は、少なくとも、赤色波長域における所定の赤色波長(例えば700nm:以降、特定R波長と称する)、緑色波長域における所定の緑色波長(例えば560nm:以降、特定G波長と称する)、及び青色波長域における所定の青色波長(例えば400nm:以降、特定B波長と称する)を含む。同様に、復路走査中で設定される波長は、少なくとも特定B波長、特定G波長、及び特定R波長を含む。これらの特定R波長、特定G波長、特定B波長以外の波長は、スペクトル測定用の分光波長である。
光量取得部312は、撮像素子12を制御し、撮像素子12から出力される画像信号を、信号処理部13を介して取得する。すなわち、光量取得部312は、撮像素子12の各画素での受光量に基づいた分光画像を取得する。取得された分光画像は、干渉フィルター11を透過させた光の分光波長と関連付けられ、記憶部32に記憶される。なお、記憶部32には、分光画像の画像データそのものではなく、例えば検出信号の電圧値等の情報等の、各画素に対応する受光量に関する情報と、測定波長とを対応付けて記憶させるようにしてもよい。つまり、波長に対する受光量であるスペクトル情報が画素毎に記録されてもよい。
画像合成部313は、特定R波長、特定G波長、及び特定B波長に対する分光画像を合成することで、カラー画像を生成する。本実施形態では、1回の往路走査により特定R波長、特定G波長、及び特定G波長に対する分光画像が取得され、1回の復路走査により特定R波長、特定G波長、及び特定G波長に対する分光画像が取得される。したがって、画像合成部313は、往路走査が実施される毎、復路走査が実施される毎に、上記カラー画像を合成する。
表示制御部314は、画像合成部313によって合成されたカラー画像をリアルタイム画像として表示部21に表示させる。本実施形態では、往路走査が実施される毎、及び復路走査が実施される毎にカラー画像が合成される。したがって、表示制御部314は、往路走査が実施される毎、及び復路走査が実施される毎にリアルタイム画像を更新することができる。つまり、往路走査に係る時間、復路走査に係る時間をフレームレートとして、リアルタイム画像が更新される。
また、表示制御部314は、ユーザーの操作に基づいて、所定の分光波長の分光画像をカラー画像に重畳させて表示してもよく、分光測定部315による分光測定結果をカラー画像に重畳させて表示してもよい。
分光測定部315は、本開示の分光情報出力部に相当し、各分光波長の分光画像に基づいた測定処理や解析処理を実施して、分光情報を出力する。例えば、分光測定部315は、測定対象物Xのスペクトル特性を測定し、スペクトル特性に基づいて、測定対象物Xに含まれる成分やその含有量を分析する解析処理を実施し、解析処理結果を分光情報として出力する。
[分光測定装置の動作の概要]
次に、上述したような分光測定装置1の動作の概要について、図面に基づいて以下に説明する。
分光測定装置1では、光学モジュール10によって撮像された特定R波長、特定G波長,特定B波長の各色の分光画像を合成したカラー画像を、リアルタイム画像として表示部21に表示させるリアルタイム表示処理を行う。
ここで、本実施形態の分光測定装置1では、リアルタイム表示処理及び分光測定処理を実施する際に、分光測定を実施する所定数の波長を測定する間に、特定R波長、特定G波長,特定B波長の分光画像を複数回取得して、リアルタイム画像を更新する。
また、本実施形態の分光測定装置1は、分光測定部315により、分光測定処理を実施される毎に、その分光測定結果を示す画像を表示部21に表示させる。例えば、分光測定部315により、測定対象物Xの成分解析処理が実施された場合、リアルタイム画像であるカラー画像の、分析対象の成分の検出箇所に、分析された当該成分の含有量に応じた濃淡の解析結果画像を重畳表示させる。
よって、本実施形態では、カラー画像と、解析結果画像とがリアルタイムに更新されることになる。
図3は、本実施形態における測定用分光画像及び合成用分光画像の取得順の一例を示す図である。
本実施形態では、分光測定部315により測定を実施するスペクトル測定用の測定用分光波長はn個であり、λからλまでのn個の測定用分光波長の分光画像(以降、測定用分光画像と称する)を取得する。ここで、λの添え字の「i」は、分光スペクトルを測定する時の波長を識別するための変数である。λからλまでの各分光波長は、それぞれ異なる波長とする。
図3に示すように、本実施形態の分光測定装置1は、1回の往路走査と1回の復路走査とで、干渉フィルター11を透過させる光をn個のスペクトル測定用の測定用分光波長λに順次切り替えて、分光画像を取得する。例えば、往路走査でn/2個の測定用分光画像を取得し、残りの往路走査でn/2個の測定用分光画像を取得する。
また、本実施形態の分光測定装置1は、往路走査において、上記n/2個の分光測定用の分光画像の他、特定R波長λ、特定G波長λ、及び特定B波長λの3つのカラー画像合成用の分光画像(以降、合成用分光画像と称する)を取得する。同様に、分光測定装置1は、復路走査において、上記n/2個の測定用分光画像の他、特定R波長λ、特定G波長λ、及び特定B波長λの3つの合成用分光画像を取得する。
図4は、本実施形態の分光測定装置1における分光測定方法及び画像生成方法を示すフローチャートである。
分光測定装置1により、上記のようなカラー画像と測定結果とのリアルタイム画像を表示させる場合、記憶部32には、図3に示すような、往路走査において切り替える分光波長の切り替え順、復路において切り替える分光波長の切り替え順がそれぞれ記憶されている。
そして、分光測定装置1において、ユーザーにより分光測定処理の開始指示が入力されると、フィルター制御部311は、測定回を示す測定変数mを初期化してm=1に設定する(ステップS1)。
そして、フィルター制御部311は、記憶部32に記録されている分光波長の切り替え順に基づいて、m回目の測定対象の分光波長に対応する駆動電圧Vを、V−λデータから読み出し、静電アクチュエーター117に印加する(ステップS2)。これにより、干渉フィルター11から、駆動電圧Vに対応した分光波長の画像光が透過され、撮像素子12で受光される。
また、光量取得部312は、撮像素子12を制御して分光画像を撮像させ、撮像素子12から信号処理部13を介して入力される画像信号を取得、つまり、分光画像を取得する(ステップS3)。
この後、画像合成部313は、特定R波長λ、特定G波長λ、及び特定B波長λの各合成用分光画像が撮像されたか否かを判定する(ステップS4)。例えば、図3に示すように、往路走査では、特定B波長λの合成用分光画像が撮像された時に、特定R波長λ、特定G波長λ、及び特定B波長λの各合成用分光画像が撮像されたと判定する。また、復路走査では、特定R波長λの合成用分光画像が撮像された時に、特定R波長λ、特定G波長λ、及び特定B波長λの各合成用分光画像が撮像されたと判定する。
ステップS4でYESと判定される場合、画像合成部313は、取得した直近の特定R波長λ、特定G波長λ、及び特定B波長λの各分光画像を合成して、カラー画像を生成する(ステップS5)。さらに、表示制御部314は、生成されたカラー画像をリアルタイム画像として表示部21に表示させる(ステップS6)。
また、ステップS4でNOと判定される場合、分光測定部315は、全ての測定用分光画像が取得されたか否かを判定する(ステップS7)。つまり、測定用分光波長λから測定用分光波長λのn個の分光画像が撮像されたか否かを判定する。
ステップS7でYESと判定される場合、分光測定部315は、取得したn個の測定用分光画像による解析処理を実施する(ステップS8)。例えば、本実施形態では、分光測定部315は、各分光画像から、各画素の分光スペクトルを算出し、分光スペクトルに基づいて、測定対象物Xに含まれる所定成分(例えば水分など)の含有量を算出する成分解析処理を実施する。そして、表示制御部314は、ステップS8の解析結果を、表示部21に表示されているリアルタイム画像に重畳させて表示させる(ステップS9)。
ステップS6の後、又はステップS9の後、或いは、ステップS7でNOと判定される場合、制御部30は、分光測定処理を終了させるか否かを判定する(ステップS10)。例えば、ユーザーによって、分光測定処理を終了する旨の入力が行われた場合に、制御部30は、ステップS10でYESと判定し、分光測定処理を終了する。
ステップS10でNOと判定される場合、制御部30は、測定変数mが最大値(図3に示す本実施形態では6+n)であるか否かを判定する(ステップS11)。ステップS11でNOと判定される場合、フィルター制御部311は、測定変数mに1を加算し(ステップS12)、ステップS2に戻る。
一方、ステップS11でYESと判定される場合、制御部30は、ステップS1に戻り、測定変数mを初期化して、2回目の分光測定処理を開始する。
以上のような分光測定処理を、図3に示す例を用いて説明する。
分光測定装置1は、m=1の時に特定R波長λの合成用分光画像を取得し、その後、ギャップDの距離を段階的に小さくして、測定用分光波長λから測定用分光波長λα1までのα1個の測定用分光画像を取得する。なお、本実施形態では、λ>λであり、λα1>λである。
次に、分光測定装置1は、特定G波長λの合成用分光画像を取得し、その後、ギャップDの距離を段階的に小さくして、測定用分光波長λα1+1から測定用分光波長λβ1までの(β1−α1)個の測定用分光画像を取得する。なお、本実施形態では、λ>λα1+1であり、λβ1>λである。
その後、分光測定装置1は、特定B波長λの合成用分光画像を取得する。
したがって、往路走査中では、m=3+β1の時の分光画像の撮像が終了すると、ステップS4でYesと判定される。すなわち、ギャップDの寸法を狭める方向に変化させる往路走査中において、3つの合成用分光画像が測定され、合成されたカラー画像により、リアルタイム画像が更新されることになる。
また、フィルター制御部311は、往路走査の後に、ギャップDの寸法を広げる方向に変化させる復路走査を行う。この復路走査においても、図3に示すように、複数の分光画像が取得される。
具体的には、図3に示すように、復路走査の開始回であるm=4+β1の時に特定B波長λの合成用分光画像を取得し、その後、ギャップDの距離を段階的に大きくして、測定用分光波長λβ1+1から測定用分光波長λα2までの(α2−β1)個の測定用分光画像を取得する。なお、本実施形態では、λβ1+1>λであり、λα2<λである。
次に、分光測定装置1は、特定G波長λの合成用分光画像を取得し、その後、ギャップDの距離を段階的に大きくして、測定用分光波長λα2+1から測定用分光波長λまでの(n−α2)個の測定用分光画像を取得する。なお、本実施形態では、λα2+1>λであり、λ<λである。
その後、分光測定装置1は、特定B波長λの合成用分光画像を取得する。
したがって、往路走査中では、m=3+β1の時の分光画像の撮像が終了すると、ステップS4でYesと判定される。すなわち、ギャップDの寸法を狭める方向に変化させる往路走査中において、3つの合成用分光画像が測定され、合成されたカラー画像により、リアルタイム画像が更新されることになる。
したがって、往路走査中では、m=6+nの時の分光画像の撮像が終了すると、ステップS34Yesと判定される。すなわち、ギャップDの寸法を狭める方向に変化させる往路走査中において、3つの合成用分光画像が測定され、合成されたカラー画像により、リアルタイム画像が更新されることになる。
なお、図3の例では、測定用分光波長λ及び測定用分光波長λが特定R波長λよりも短く、測定用分光波長λβ1及び測定用分光波長λβ1+1が特定B波長λよりも長い例であるが、これに限定されない。例えば、特定R波長λが測定用分光波長λ及び測定用分光波長λよりも短くてもよい。この場合、往路走査において、特定R波長λの測定を行う前に、当該特定R波長λよりも長い測定用分光波長λを測定すればよく、復路走査において、特定R波長λの測定の後に、当該特定R波長λよりも短い測定用分光波長λを測定すればよい。特定B波長λにおいても同様であり、例えば、特定B波長λが測定用分光波長λβ1及び測定用分光波長λβ1+1よりも短くてもよい。この場合、往路走査において、特定B波長λの測定を行った後に、当該特定B波長λよりも短い測定用分光波長λを測定すればよく、復路走査において、特定B波長λの測定の前に、当該特定B波長λよりも長い測定用分光波長λを測定すればよい。
そして、図3の例は、1回の往路走査及び1回の復路走査により、1回の測定処理が完了する例であり、復路走査の特定R波長λの分光画像を撮像する前の、m=5+nの測定回において、全ての測定用分光画像の取得が完了したと判定され、分光測定部315による解析処理が実施されて解析結果が更新されることになる。
以上のような本実施形態では、リアルタイム画像として表示させるカラー画像のフレームレートを飛躍的に向上させることができる。
例えば、比較例1として、16個の測定用分光画像を撮像した後に、RGBの合成用分光画像を撮像して、カラー画像を合成し、リアルタイム画像を更新する場合を説明する。このような比較例1のカラー画像の更新頻度であるフレームレートは、1回の分光画像の撮像に係る時間をtとすると、16個分の測定用分光画像の取得に係る時間、及び3個分の合成用分光画像の取得に係る時間の合計となるので、19tとなる。
これに対して、本実施形態では、往路走査中に8個の測定用分光画像を撮像し、復路走査中に8個の測定用分光画像を撮像するとして、フレームレートは、8個分の測定用分光画像に係る時間と、3個分の合成用分光画像に係る時間との合計であり、11tとなる。
[本実施形態の作用効果]
本実施形態の分光測定装置1は、干渉フィルター11と、干渉フィルター11を透過した画像光を撮像する撮像素子12と、制御部30とを備える。干渉フィルター11は、一対の反射膜を構成する第一反射膜113及び第二反射膜114を有し、第一反射膜113及び第二反射膜114の間のギャップDの距離寸法を変化させることで、入射画像光である測定対象物Xからの画像光から所定波長の画像光を選択的に出射させる分光フィルターである。制御部30は、プロセッサー31と記憶部32とを備え、プロセッサー31が記憶部32に記憶されたプログラムを読み出し実行することで、フィルター制御部311、及び画像合成部313等として機能する。フィルター制御部311は、干渉フィルター11を制御して、干渉フィルター11を透過させる画像光の波長を選択する。具体的には、フィルター制御部311は、ギャップD反射膜の距離を所定の最大寸法から最小寸法まで変化させる往路走査、及び最小寸法から最大寸法まで変化させる復路走査で、それぞれ、干渉フィルター11を透過させる画像光の波長を、スペクトル測定用の複数の測定用分光波長に切り替える。また、フィルター制御部311は、往路走査及び復路走査のそれぞれで、干渉フィルター11を透過させる波長を、赤色波長域に属する所定の特定R波長λと、緑色波長域に属する所定の特定G波長λと、青色波長域に属する所定の特定B波長λと、に切り替える。画像合成部313は、撮像素子12による画像光の撮像により得られる所定の分光波長の分光画像を合成して合成画像を生成する。具体的には、画像合成部313は、1回の往路走査で得られる特定R波長λ、特定G波長λ、及び特定B波長λの各画像光を撮像した分光画像を合成したカラー画像を合成する。また、画像合成部313は、1回の復路走査で得られる特定R波長λ、特定G波長λ、及び特定B波長λの各画像光を撮像した分光画像を合成したカラー画像を合成する。
これにより、本実施形態では、往路走査毎、及び復路走査毎に、特定R波長λ、特定G波長λ、及び特定B波長λの分光画像を取得でき、これらの分光画像を合成したカラー画像を生成することができる。したがって、往路走査毎、及び復路走査毎に、リアルタイム表示させるカラー画像を更新する場合に、フレームレートの向上を図ることができる。
本実施形態では、制御部30は、画像合成部313により生成されるカラー画像を表示部に出力する表示制御部314としても機能し、表示制御部314は、カラー画像が生成される毎に前記表示部に出力する前記カラー画像を更新する。
これにより、往路走査毎及び復路走査毎に画像合成部で生成されるカラー画像を表示部に表示させることができ、カラー画像をリアルタイム画像として表示させる場合のカラー画像の更新頻度であるフレームレートを向上させることができる。
[第二実施形態]
次に、第二実施形態について説明する。
上記第一実施形態では、往路走査中において、特定R波長λ、特定G波長λ、及び特定B波長λの分光画像を撮像し、復路走査中においても、特定R波長λ、特定G波長λ、及び特定B波長λの分光画像を撮像した。これに対して、第二実施形態では、往路走査中及び復路走査中において、特定G波長λの分光画像と、特定R波長λ及び特定B波長λのいずれか1つの分光画像と、を撮像する点で、上記第一実施形態と相違する。
なお、以降の説明にあたり、既に説明した構成に関しては同符号を付し、その説明を省略又は簡略化する。
図5は、本実施形態における測定用分光画像及び合成用分光画像の取得順の一例を示す図である。
本実施形態では、図5に示すように、分光測定処理の往路走査で切り替える分光波長として、特定R波長λ、及び特定G波長λが含まれ、復路走査で切り替える分光波長として、特定B波長λ、及び特定G波長λが含まれる。つまり、往路走査では、特定B波長λの合成用分光画像が取得されず、復路走査では、特定R波長λの合成用分光画像が取得されない。
したがって、画像合成部313は、往路走査の後、復路走査の特定B波長λの合成用分光画像が取得されたタイミングで、往路走査で取得された特定R波長λ及び特定G波長λの合成用分光画像と、復路走査で取得された特定B波長λの合成用分光画像を合成して、カラー画像を生成する。また、画像合成部313は、復路走査の後、往路走査の特定R波長λの合成用分光画像が取得されたタイミングで、復路走査で取得された特定B波長λ及び特定G波長λの合成用分光画像と、往路走査で取得された特定R波長λの合成用分光画像を合成して、カラー画像を生成する。
[本実施形態の作用効果]
本実施形態の分光測定装置1は、第一実施形態と同様、干渉フィルター11と、干渉フィルター11を透過した画像光を撮像する撮像素子12と、制御部30とを備える。そして、本実施形態では、フィルター制御部311は、往路走査及び復路走査のそれぞれで、分光フィルターを透過させる波長を特定G波長λに切り替え、往路走査及び復路走査のいずれかで、分光フィルターを透過させる波長を特定R波長λと、特定B波長λと、に少なくとも1回切り替える。すなわち、往路走査では、特定R波長λ及び特定G波長λの合成用分光画像を取得し、復路走査では、特定G波長λ及び特定B波長λの合成用分光画像を取得する。
そして、画像合成部313は、往路走査で得られる特定R波長λ及び特定G波長λの合成用分光画像と、当該往路走査に続く復路走査で得られる特定B波長λの合成用分光画像とを合成してカラー画像を生成する。また、画像合成部313は、復路走査で得られる特定B波長λ及び特定G波長λの合成用分光画像と、当該復路走査に続く往路走査で得られる特定R波長λの合成用分光画像とを合成してカラー画像を生成する。
つまり、青色波長域の分光画像は反射膜の間の距離を狭めた時に取得される画像であり、往路走査から復路走査に切り替わる直前の期間、及び、復路走査に切り替わった直後の期間で取得することができる。したがって、往路走査で特定B波長λの分光画像を撮像し、当該往路走査に続く復路走査でも特定B波長λの分光画像を撮像する場合、これらの分光画像は略同一と見なすことができる。そこで、本実施形態では、これらの略同一の画像のいずれか一方のみ、つまり、往路走査においてのみ特定B波長λの分光画像を取得する。特定R波長λについても同様であり、復路走査においてのみ特定R波長λの分光画像を取得する。これにより、第一実施形態と同様に、往路走査及び復路走査が切り替わる周期と略同一周期で、画像合成部313によるカラー画像の合成が可能となり、フレームレートの向上を図ることができる。
また、本実施形態では、往路走査及び復路走査での合成用分光画像の取得数が、第一実施形態に比べて1だけ少ない。したがって、第一実施形態よりも、さらに、カラー画像の合成タイミングを短くでき、リアルタイム画像として表示されるカラー画像の更新頻度であるフレームレートもより短くできる。
[変形例]
なお、本発明は上述の各実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良、及び各実施形態を適宜組み合わせる等によって得られる構成は本発明に含まれるものである。
[変形例1]
図6は、変形例1に係る測定用分光画像及び合成用分光画像の取得順の一例を示す図である。
上記第一実施形態及び第二実施形態では、フィルター制御部311は、1回の往路走査及び1回の復路走査を実施する間に、干渉フィルター11を透過させる光の波長を、n個のスペクトル測定用の測定用分光波長に切り替え、n個の測定用分光画像を取得した。これに対して、図6に示すように、2回以上の複数回の往路走査や復路走査で、n個のスペクトル測定用の各測定用分光波長の測定用分光画像を取得してもよい。なお、図6に示す例は、第一実施形態のように、往路走査毎及び復路走査毎に、カラー画像を合成するための特定R波長λ、特定G波長λ、及び特定B波長λの各合成用分光画像を取得する例である。これに代えて、第二実施形態のように、直前の走査により得られる特定R波長λ又は特定B波長λの一方の合成用分光画像を用いてカラー画像を合成してもよい。いずれの場合であっても、往路走査及び復路走査での測定用分光画像の取得する取得数が減少する分、リアルタイム画像として表示させるカラー画像のフレームレートをさらに向上させることができる。
[変形例2]
図7は、変形例2に係る測定用分光画像及び合成用分光画像の取得順の一例を示す図である。
図7に示すように、測定用分光画像の測定用分光波長であって、赤色波長域に属する所定の波長を特定R波長とし、測定用分光画像の測定用分光波長であって、緑色波長域に属する所定の波長を、特定G波長とし、測定用分光画像の測定用分光波長であって、青色波長域に属する所定の波長を、特定B波長として用いてもよい。
この場合、第一実施形態に比べて、1回の分光測定処理での分光画像の取得数が3だけ少なくでき、その分、リアルタイム画像として表示させるカラー画像のフレームレート、及び測定用分光画像に基づく解析結果画像のフレームレートを向上させることができる。
[変形例3]
上記実施形態では、リアルタイム画像としてカラー画像を表示させたうえで、測定用分光画像に基づいた、成分解析処理の解析結果画像をカラー画像に表示させる処理を実施したが、これに限定されない。例えば、所定の測定用分光波長の測定用分光画像をカラー画像とは異なる表示領域に表示させてもよい。或いは、測定用分光画像のうち、ユーザーにより選択された所定の測定用分光波長の分光画像を合成した合成画像をカラー画像に重畳させて表示させてもよく、別領域に表示させてもよい。
[変形例4]
第二実施形態では、分光測定装置1は、復路走査で特定B波長λの合成用分光画像を取得せず、特定G波長λ及び特定R波長λの合成用分光画像を取得し、2回目以降の往路走査で、特定R波長λの合成用分光画像を取得せず、特定G波長λ及び特定B波長λの合成用分光画像を取得したがこれに限定されない。
例えば、分光測定装置1は、復路走査で、特定R波長λの合成用分光画像を取得せず、特定B波長λ及び特定G波長λの合成用分光画像を取得し、2回目以降の往路走査で、特定B波長λの合成用分光画像を取得せず、特定R波長λ及び特定G波長λの合成用分光画像を取得するようにしてもよい。この場合、画像合成部313は、復路走査の後、続く往路走査で得られる特定R波長の合成用分光画像が取得されたタイミングで、復路走査により得られる特定B波長λ及び特定G波長λの合成用分光画像と、往路走査で早期に得られる特定R波長λの合成用分光画像とを合成してカラー画像を生成すればよい。同様に、画像合成部313は、往路走査の後、続く復路走査で得られる特定B波長の合成用分光画像が取得されたタイミングで、往路走査により得られる特定R波長λ及び特定G波長λの合成用分光画像と、復路走査で早期に得られる特定B波長λの合成用光画像とを合成してカラー画像を生成すればよい。
すなわち、フィルター制御部311は、往路走査及び復路走査で、それぞれ、干渉フィルター11を透過させる分光波長を、スペクトル測定用の複数の分光波長に切り替え、かつ、往路走査及び復路走査のそれぞれで特定G波長λに切り替え、往路走査から復路走査の間で特定R波長λと特定B波長λとに少なくとも1回切り替えるようにしてもよい。
これにより、画像合成部313は、1回の往路走査または当該往路走査に連続する復路走査で得られる特定R波長λ及び特定B波長λの合成用分光画像と、当該往路走査で得られる特定G波長λの合成用分光画像と、を合成したカラー画像を生成する。また、画像合成部313は、1回の往路走査または当該復路走査に連続する往路走査で得られる特定R波長λ及び特定B波長λの合成用分光画像と、当該復路走査で得られる特定G波長λの合成用分光画像と、を合成したカラー画像を生成する。
[その他の変形例]
上記各実施形態において、干渉フィルター11は、電圧印加により反射膜113,114間のギャップ寸法を変動させる静電アクチュエーター117を備える構成としたが、これに限定されない。例えば、第一電極115の代わりに、第一誘導コイルを配置し、第二電極116の代わりに第二誘導コイル又は永久磁石を配置した誘導アクチュエーターを用いる構成としてもよい。また、静電アクチュエーター117の代わりに圧電アクチュエーターを用いる構成としてもよい。
上記各実施形態において、ファブリーペローエタロンとして、第一基板111及び第二基板112が互いに対向する状態で接合され、第一基板111に第一反射膜113が設けられ、第二基板112に第二反射膜114が設けられる干渉フィルター11を例示したが、これに限らない。
例えば、1つの基板上に犠牲層を介して2つの反射膜を積層し、犠牲層をエッチング等により除去してギャップを形成した干渉フィルターを用いてもよい。
その他、本発明の実施の際の具体的な構造は、本発明の目的を達成できる範囲で上記各実施形態及び変形例を適宜組み合わせることで構成してもよく、また他の構造などに適宜変更してもよい。
[本開示のまとめ]
本開示の第一態様に係る画像生成装置は、一対の反射膜を有し、一対の前記反射膜の間の距離を変化させることで、入射画像光から所定波長の画像光を選択的に出射させる分光フィルターと、前記分光フィルターを透過した前記画像光を撮像する撮像素子と、前記分光フィルターを制御して、前記分光フィルターを透過させる前記画像光の波長を選択するフィルター制御部と、前記撮像素子による前記画像光の撮像により得られる所定波長の分光画像を合成して合成画像を生成する画像合成部と、を備え、前記フィルター制御部は、一対の前記反射膜の距離を所定の最大寸法から最小寸法まで変化させる往路走査、及び前記最小寸法から前記最大寸法まで変化させる復路走査で、それぞれ、前記分光フィルターを透過させる前記画像光の波長を、スペクトル測定用の複数の波長に切り替え、かつ、前記往路走査及び前記復路走査のそれぞれで、前記分光フィルターを透過させる波長を、赤色波長域に属する所定の赤色波長と、緑色波長域に属する所定の緑色波長と、青色波長域に属する所定の青色波長と、に切り替え、前記画像合成部は、1回の前記往路走査で得られる前記赤色波長、前記緑色波長、及び前記青色波長の各前記画像光を撮像した分光画像を合成したカラー画像を合成し、1回の前記復路走査で得られる前記赤色波長、前記緑色波長、及び前記青色波長の各前記画像光を撮像した分光画像を合成した前記カラー画像を生成する。
このような構成では、往路走査毎、及び復路走査毎に、赤色波長、緑色波長、及び青色波長の画像光を撮像した撮像画像である分光画像を取得でき、これらの分光画像を合成したカラー画像を生成することができる。したがって、往路走査毎、及び復路走査毎に、リアルタイム表示させるカラー画像を更新することができ、フレームレートの向上を図ることができる。
本開示の第二態様の画像生成装置は、一対の反射膜を有し、一対の前記反射膜の間の距離を変化させることで、入射画像光から所定波長の画像光を選択的に出射させる分光フィルターと、前記分光フィルターを透過した前記画像光を撮像する撮像素子と、前記分光フィルターを制御して、前記分光フィルターを透過させる前記画像光の波長を選択するフィルター制御部と、前記撮像素子による前記画像光の撮像により得られる所定波長の分光画像を合成してカラー画像を生成する画像合成部と、を備え、前記フィルター制御部は、一対の前記反射膜の間の距離を所定の最大寸法から最小寸法まで変化させる往路走査、及び前記最小寸法から前記最大寸法まで変化させる復路走査で、それぞれ、前記分光フィルターを透過させる前記画像光の波長を、スペクトル測定用の複数の波長に切り替え、かつ、前記往路走査及び前記復路走査のそれぞれで、前記分光フィルターを透過させる波長を緑色波長域に属する所定の緑色波長に切り替え、前記往路走査と前記復路走査とのいずれかで、前記分光フィルターを透過させる波長を、赤色波長域に属する所定の赤色波長と、青色波長域に属する所定の青色波長と、に少なくとも1回切り替え、前記画像合成部は、前記往路走査で得られる前記緑色波長の前記画像光を撮像した分光画像と、当該往路走査または当該往路走査に連続する前記復路走査で得られる前記赤色波長及び前記青色波長の各前記画像光を撮像した分光画像と、を合成した前記カラー画像を生成し、前記復路走査で得られる前記緑色波長の前記画像光を撮像した分光画像と、当該復路走査または当該復路走査に連続する前記往路走査で得られる前記赤色波長及び前記青色波長の各前記画像光を撮像した分光画像と、を合成した前記カラー画像を生成する。
青色波長域の分光画像は反射膜の間の距離を狭めた時に取得される画像であり、往路走査から復路走査に切り替わる直前の期間、及び、復路走査に切り替わった直後の期間で取得することができる。したがって、第一態様のように、往路走査において青色波長の分光画像を取得し、当該往路走査に続く復路走査において青色波長の分光画像を取得する場合、両者の取得間隔は非常に短く、略同一の画像であると見なすことができる。第二態様では、これらの略同一の画像のいずれか一方のみを取得する。
また、赤色波長域における赤色波長の分光画像についても同様である。つまり、赤色波長の分光画像は、復路走査から往路走査に切り替わる直前の期間、及び、往路走査に切り替わった直後の期間で取得することができる。よって、第一態様のように、復路走査において赤色波長の分光画像を取得し、当該復路走査に続く往路走査において赤色波長の分光画像を取得する場合、両者の取得間隔は非常に短く、略同一の画像であると見なすことができる。第二態様では、これらの略同一の画像のいずれか一方のみを取得する。
このような第二態様では、第一態様と同様に、往路走査及び復路走査が切り替わる周期と略同一周期で、画像合成部によるカラー画像の合成が可能となり、フレームレートの向上を図ることができる。また、第一態様と比較して、赤色波長の分光画像、及び、青色波長の分光画像の取得数を減らせるため、さらなるフレームレートの向上を図れる。
第一態様及び第二態様の画像生成装置において、前記画像合成部により生成される前記カラー画像を表示部に出力する表示制御部を備え、前記表示制御部は、前記カラー画像が生成される毎に前記表示部に出力する前記カラー画像を更新する。
これにより、往路走査毎及び復路走査毎に画像合成部で生成されるカラー画像を表示部に表示させることができ、カラー画像をリアルタイム画像として表示させる場合のカラー画像の更新頻度であるフレームレートを向上させることができる。
本開示の第三態様の画像生成方法は、一対の反射膜を有し、一対の前記反射膜の間の距離を変化させることで、入射画像光から所定波長の画像光を選択的に出射させる分光フィルターと、前記分光フィルターを透過した前記画像光を撮像する撮像素子と、を備えた画像生成装置の画像生成方法であって、一対の前記反射膜の距離を所定の最大寸法から最小寸法まで変化させる往路走査、及び前記最小寸法から前記最大寸法まで変化させる復路走査で、それぞれ、前記分光フィルターを透過させる前記画像光の波長を、スペクトル測定用の複数の波長に切り替え、かつ、前記往路走査及び前記復路走査のそれぞれで、前記分光フィルターを透過させる波長を、赤色波長域に属する所定の赤色波長と、緑色波長域に属する所定の緑色波長と、青色波長域に属する所定の青色波長と、に切り替えて、各々の波長の前記画像光を撮像した撮像画像を得る撮像工程と、1回の前記往路走査で得られる前記赤色波長、前記緑色波長、及び前記青色波長の各前記画像光を撮像した分光画像を合成したカラー画像を生成し、1回の前記復路走査で得られる前記赤色波長、前記緑色波長、及び前記青色波長の各前記画像光を撮像した分光画像を合成したカラー画像を生成する画像合成工程と、を実施する。
これにより、第一態様と同様に、往路走査毎、及び復路走査毎に、赤色波長、緑色波長、及び青色波長の画像光を撮像した撮像画像である分光画像を取得でき、これらの分光画像を合成したカラー画像を生成することができる。したがって、往路走査毎、及び復路走査毎に、リアルタイム表示させるカラー画像を更新することができ、フレームレートの向上を図ることができる。
本開示の第四態様に係る画像生成方法は、一対の反射膜を有し、一対の前記反射膜の間の距離を変化させることで、入射画像光から所定波長の画像光を選択的に出射させる分光フィルターと、前記分光フィルターを透過した前記画像光を撮像する撮像素子と、を備えた画像生成装置の画像生成方法であって、一対の前記反射膜の間の距離を所定の最大寸法から最小寸法まで変化させる往路走査、及び前記最小寸法から前記最大寸法まで変化させる復路走査で、それぞれ、前記分光フィルターを透過させる前記画像光の波長を、スペクトル測定用の複数の波長に切り替え、かつ、前記往路走査及び前記復路走査のそれぞれで、前記分光フィルターを透過させる波長を緑色波長域に属する所定の緑色波長に切り替え、前記往路走査と前記復路走査とのいずれかで、前記分光フィルターを透過させる波長を、赤色波長域に属する所定の赤色波長と、青色波長域に属する所定の青色波長と、に少なくとも1回切り替えて、各々の波長の前記画像光を撮像した撮像画像を得る撮像工程と、前記往路走査で得られる前記緑色波長の前記画像光を撮像した分光画像と、当該往路走査または当該往路走査に連続する前記復路走査で得られる前記赤色波長及び前記青色波長の各前記画像光を撮像した分光画像と、を合成したカラー画像を生成し、前記復路走査で得られる前記緑色波長の前記画像光を撮像した分光画像と、当該復路走査または当該復路走査に連続する前記往路走査で得られる前記赤色波長及び前記青色波長の各前記画像光を撮像した分光画像と、を合成したカラー画像を生成する画像合成工程と、を実施する。
これにより、第一態様から第三態様と同様に、往路走査及び復路走査が切り替わる周期と略同一周期で、画像合成部によるカラー画像の合成が可能となり、フレームレートの向上を図ることができる。また、第一態様や第三態様と比較して、赤色波長の分光画像、及び、青色波長の分光画像の取得数を減らせるため、さらなるフレームレートの向上を図れる。
1…分光測定装置(画像生成装置)、10…光学モジュール、11…干渉フィルター(分光フィルター)、12…撮像素子、13…信号処理部、14…電圧制御部、21…表示部、22…操作部、30…制御部、31…プロセッサー、32…記憶部、113…第一反射膜、114…第二反射膜、117…静電アクチュエーター、311…フィルター制御部、312…光量取得部、313…画像合成部、314…表示制御部、315…分光測定部、D…ギャップ。

Claims (5)

  1. 一対の反射膜を有し、一対の前記反射膜の間の距離を変化させることで、入射画像光から所定波長の画像光を選択的に出射させる分光フィルターと、
    前記分光フィルターを透過した前記画像光を撮像する撮像素子と、
    前記分光フィルターを制御して、前記分光フィルターを透過させる前記画像光の波長を選択するフィルター制御部と、
    前記撮像素子による前記画像光の撮像により得られる所定波長の分光画像を合成して合成画像を生成する画像合成部と、を備え、
    前記フィルター制御部は、一対の前記反射膜の距離を所定の最大寸法から最小寸法まで変化させる往路走査、及び前記最小寸法から前記最大寸法まで変化させる復路走査で、それぞれ、前記分光フィルターを透過させる前記画像光の波長を、スペクトル測定用の複数の波長に切り替え、かつ、前記往路走査及び前記復路走査のそれぞれで、前記分光フィルターを透過させる波長を、赤色波長域に属する所定の赤色波長と、緑色波長域に属する所定の緑色波長と、青色波長域に属する所定の青色波長と、に切り替え、
    前記画像合成部は、1回の前記往路走査で得られる前記赤色波長、前記緑色波長、及び前記青色波長の各前記画像光を撮像した分光画像を合成したカラー画像を生成し、1回の前記復路走査で得られる前記赤色波長、前記緑色波長、及び前記青色波長の各前記画像光を撮像した分光画像を合成した前記カラー画像を生成する
    ことを特徴とする画像生成装置。
  2. 一対の反射膜を有し、一対の前記反射膜の間の距離を変化させることで、入射画像光から所定波長の画像光を選択的に出射させる分光フィルターと、
    前記分光フィルターを透過した前記画像光を撮像する撮像素子と、
    前記分光フィルターを制御して、前記分光フィルターを透過させる前記画像光の波長を選択するフィルター制御部と、
    前記撮像素子による前記画像光の撮像により得られる所定波長の分光画像を合成してカラー画像を生成する画像合成部と、を備え、
    前記フィルター制御部は、一対の前記反射膜の間の距離を所定の最大寸法から最小寸法まで変化させる往路走査、及び前記最小寸法から前記最大寸法まで変化させる復路走査で、それぞれ、前記分光フィルターを透過させる前記画像光の波長を、スペクトル測定用の複数の波長に切り替え、かつ、前記往路走査及び前記復路走査のそれぞれで、前記分光フィルターを透過させる波長を緑色波長域に属する所定の緑色波長に切り替え、前記往路走査と前記復路走査とのいずれかで、前記分光フィルターを透過させる波長を、赤色波長域に属する所定の赤色波長と、青色波長域に属する所定の青色波長と、に少なくとも1回切り替え、
    前記画像合成部は、前記往路走査で得られる前記緑色波長の前記画像光を撮像した分光画像と、当該往路走査または当該往路走査に連続する前記復路走査で得られる前記赤色波長及び前記青色波長の各前記画像光を撮像した分光画像と、を合成した前記カラー画像を生成し、前記復路走査で得られる前記緑色波長の前記画像光を撮像した分光画像と、当該復路走査または当該復路走査に連続する前記往路走査で得られる前記赤色波長及び前記青色波長の各前記画像光を撮像した分光画像と、を合成した前記カラー画像を生成する
    ことを特徴とする画像生成装置。
  3. 請求項1または請求項2に記載の画像生成装置において、
    前記画像合成部により生成される前記カラー画像を表示部に出力する表示制御部を備え、
    前記表示制御部は、前記カラー画像が生成される毎に前記表示部に出力する前記カラー画像を更新する
    ことを特徴とする画像生成装置。
  4. 一対の反射膜を有し、一対の前記反射膜の間の距離を変化させることで、入射画像光から所定波長の画像光を選択的に出射させる分光フィルターと、前記分光フィルターを透過した前記画像光を撮像する撮像素子と、を備えた画像生成装置の画像生成方法であって、
    一対の前記反射膜の距離を所定の最大寸法から最小寸法まで変化させる往路走査、及び前記最小寸法から前記最大寸法まで変化させる復路走査で、それぞれ、前記分光フィルターを透過させる前記画像光の波長を、スペクトル測定用の複数の波長に切り替え、かつ、前記往路走査及び前記復路走査のそれぞれで、前記分光フィルターを透過させる波長を、赤色波長域に属する所定の赤色波長と、緑色波長域に属する所定の緑色波長と、青色波長域に属する所定の青色波長と、に切り替えて、各々の波長の前記画像光を撮像した撮像画像を得る撮像工程と、
    1回の前記往路走査で得られる前記赤色波長、前記緑色波長、及び前記青色波長の各前記画像光を撮像した分光画像を合成したカラー画像を生成し、1回の前記復路走査で得られる前記赤色波長、前記緑色波長、及び前記青色波長の各前記画像光を撮像した分光画像を合成したカラー画像を生成する画像合成工程と、
    を実施することを特徴とする画像生成方法。
  5. 一対の反射膜を有し、一対の前記反射膜の間の距離を変化させることで、入射画像光から所定波長の画像光を選択的に出射させる分光フィルターと、前記分光フィルターを透過した前記画像光を撮像する撮像素子と、を備えた画像生成装置の画像生成方法であって、
    一対の前記反射膜の間の距離を所定の最大寸法から最小寸法まで変化させる往路走査、及び前記最小寸法から前記最大寸法まで変化させる復路走査で、それぞれ、前記分光フィルターを透過させる前記画像光の波長を、スペクトル測定用の複数の波長に切り替え、かつ、前記往路走査及び前記復路走査のそれぞれで、前記分光フィルターを透過させる波長を緑色波長域に属する所定の緑色波長に切り替え、前記往路走査と前記復路走査とのいずれかで、前記分光フィルターを透過させる波長を、赤色波長域に属する所定の赤色波長と、青色波長域に属する所定の青色波長と、に少なくとも1回切り替えて、各々の波長の前記画像光を撮像した撮像画像を得る撮像工程と、
    前記往路走査で得られる前記緑色波長の前記画像光を撮像した分光画像と、当該往路走査または当該往路走査に連続する前記復路走査で得られる前記赤色波長及び前記青色波長の各前記画像光を撮像した分光画像と、を合成したカラー画像を生成し、前記復路走査で得られる前記緑色波長の前記画像光を撮像した分光画像と、当該復路走査または当該復路走査に連続する前記往路走査で得られる前記赤色波長及び前記青色波長の各前記画像光を撮像した分光画像と、を合成したカラー画像を生成する画像合成工程と、
    を実施することを特徴とする画像生成方法。
JP2020098281A 2020-06-05 2020-06-05 画像生成装置、及び画像生成方法 Pending JP2021192002A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020098281A JP2021192002A (ja) 2020-06-05 2020-06-05 画像生成装置、及び画像生成方法
US17/334,120 US11503254B2 (en) 2020-06-05 2021-05-28 Image generation apparatus and image generation method
CN202110613672.XA CN113758882B (zh) 2020-06-05 2021-06-02 图像生成装置及图像生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020098281A JP2021192002A (ja) 2020-06-05 2020-06-05 画像生成装置、及び画像生成方法

Publications (1)

Publication Number Publication Date
JP2021192002A true JP2021192002A (ja) 2021-12-16

Family

ID=78787344

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020098281A Pending JP2021192002A (ja) 2020-06-05 2020-06-05 画像生成装置、及び画像生成方法

Country Status (3)

Country Link
US (1) US11503254B2 (ja)
JP (1) JP2021192002A (ja)
CN (1) CN113758882B (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114422667A (zh) * 2021-12-24 2022-04-29 江西盛泰精密光学有限公司 摄像头模组及摄像头模组的成像控制方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3093009B2 (ja) * 1991-11-29 2000-10-03 オリンパス光学工業株式会社 落射蛍光顕微鏡
JP2000235002A (ja) * 1999-02-15 2000-08-29 Fuji Photo Film Co Ltd 撮影方法および撮影装置
JP2006153770A (ja) * 2004-11-30 2006-06-15 Omron Corp 分光計測装置
JP5475057B2 (ja) * 2012-04-20 2014-04-16 株式会社 オフィス・カラーサイエンス 変角分光イメージング測定方法およびその装置
JP6311307B2 (ja) * 2013-12-27 2018-04-18 セイコーエプソン株式会社 光学モジュール、電子機器、及び光学モジュールの駆動方法
JP6244945B2 (ja) * 2014-01-29 2017-12-13 セイコーエプソン株式会社 電子機器
JP6330363B2 (ja) 2014-02-26 2018-05-30 セイコーエプソン株式会社 電子機器及び電子機器の制御方法
JP6467801B2 (ja) * 2014-07-31 2019-02-13 セイコーエプソン株式会社 分光画像取得装置、及び受光波長取得方法
JP6394189B2 (ja) * 2014-08-29 2018-09-26 セイコーエプソン株式会社 分光画像取得装置、及び分光画像取得方法
JP2022053088A (ja) * 2020-09-24 2022-04-05 セイコーエプソン株式会社 光学フィルター、分光モジュールおよび分光測定方法

Also Published As

Publication number Publication date
US20210385419A1 (en) 2021-12-09
CN113758882A (zh) 2021-12-07
CN113758882B (zh) 2023-07-14
US11503254B2 (en) 2022-11-15

Similar Documents

Publication Publication Date Title
TWI719004B (zh) 用以渲染物體的深度影像的時差測距深度成像裝置與其方法
JP4845607B2 (ja) 3次元形状測定方法及び装置
JP4565115B2 (ja) 多焦点撮像装置
US10419693B2 (en) Imaging apparatus, endoscope apparatus, and microscope apparatus
JP6524617B2 (ja) 撮像装置および方法
JP5197785B2 (ja) 画像処理装置、撮像システム、画像処理システム
WO2019230878A1 (ja) 蛍光観察装置及び蛍光観察方法
WO2017061432A1 (ja) 撮像装置および撮像プログラム
JP5379647B2 (ja) 撮像装置、及び、画像生成方法
US9459147B2 (en) Electronic apparatus and control method of electronic apparatus
CN104869371B (zh) 电子设备及电子设备的控制方法
WO2018211588A1 (ja) 撮像装置、撮像方法及びプログラム
WO2014077001A1 (ja) 撮像装置、顕微鏡システム及び撮像方法
EP3068130B1 (en) Motion information acquiring apparatus and motion information acquiring method
JP2021192002A (ja) 画像生成装置、及び画像生成方法
JP2018051364A (ja) 内視鏡システム、内視鏡システムのプロセッサ装置、内視鏡システムの作動方法、プロセッサ装置の作動方法
KR20090106096A (ko) 3차원 형상의 고속 형상측정장치 및 방법
JP5996462B2 (ja) 画像処理装置、顕微鏡システム及び画像処理方法
JP5818828B2 (ja) 画像処理装置、撮像システム、画像処理システム
JP2007147507A (ja) 分光測定方法及び分光測定装置
JP2010025864A (ja) 干渉測定装置
JP6674619B2 (ja) 画像生成方法及び画像生成装置
CN114252947A (zh) 光学滤波器、分光模块以及分光测定方法
JP2000171301A (ja) 微分スペクトル画像処理装置
JP2004170509A (ja) 測定反復モードを有する共焦点顕微鏡システム

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20210914

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20211101

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230303

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231220

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231226

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240221

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240430