JP2015179062A - 鮮度情報出力方法、鮮度情報出力装置、制御プログラム - Google Patents

鮮度情報出力方法、鮮度情報出力装置、制御プログラム Download PDF

Info

Publication number
JP2015179062A
JP2015179062A JP2014244291A JP2014244291A JP2015179062A JP 2015179062 A JP2015179062 A JP 2015179062A JP 2014244291 A JP2014244291 A JP 2014244291A JP 2014244291 A JP2014244291 A JP 2014244291A JP 2015179062 A JP2015179062 A JP 2015179062A
Authority
JP
Japan
Prior art keywords
freshness
fish
image
iris
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014244291A
Other languages
English (en)
Other versions
JP6499430B2 (ja
Inventor
脇田　由実
Yumi Wakita
由実 脇田
小澤　順
Jun Ozawa
順 小澤
近藤　直
Naoshi Kondo
直 近藤
小川　雄一
Yuichi Ogawa
雄一 小川
哲仁 鈴木
Akihito Suzuki
哲仁 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Original Assignee
Panasonic Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp filed Critical Panasonic Corp
Priority to JP2014244291A priority Critical patent/JP6499430B2/ja
Publication of JP2015179062A publication Critical patent/JP2015179062A/ja
Application granted granted Critical
Publication of JP6499430B2 publication Critical patent/JP6499430B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G01N21/33—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using ultraviolet light
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G01N21/35—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/02—Food
    • G01N33/12—Meat; Fish
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00—Features of devices classified in G01N21/00
    • G01N2201/02—Mechanical
    • G01N2201/022—Casings
    • G01N2201/0221—Portable; cableless; compact; hand-held

Landscapes

  • Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Engineering & Computer Science (AREA)
  • Food Science & Technology (AREA)
  • Medicinal Chemistry (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

【課題】魚を肉片にする前の状態で鮮度を評価する需要や、透明度が高くない魚の鮮度を評価する需要に応えるべく、従来と異なる手法により、魚を侵襲せずに短時間で魚の鮮度情報を出力する鮮度情報出力方法を提供する。【解決手段】鮮度情報出力装置１００において実行される鮮度情報出力方法は、魚眼に紫外光を照射して紫外線カメラ１１で魚眼の紫外線画像を撮影し、コンピュータ１４で、紫外線画像を解析して、魚眼の虹彩部の輝度に基づいて魚の鮮度を決定し、魚の鮮度を示す鮮度情報をディスプレイ１５に出力する方法である。【選択図】図２

Description

本開示は、魚の鮮度情報を出力する鮮度情報出力方法、鮮度情報出力装置、及び制御プログラムに関する。
魚の鮮度（活きの良さ）を判断する方法として、熟練者が魚の外見や表面の状況を目で確認し、その色合い、つや、鱗の状況などから鮮度を判断する官能的方法が一般的であるが、この方法は、判断が熟練者の主観によるところが大きい。そこで、より客観的な定量評価が望まれる。
この定量評価の一方法として、指標「Ｋ値」を測定する方法が知られている。死後、魚の筋肉中のＡＴＰ（アデノシン三リン酸）は、関連酵素によって次の経路で分解される。
分解経路：アデノシン三リン酸（ＡＴＰ）→アデノシン二リン酸（ＡＤＰ）→アデノシン一リン酸（ＡＭＰ）→イノシン一リン酸（ＩＭＰ）→イノシン（ＨｘＲ）→ヒポキサンチン（Ｈｘ）
この分解経路は魚の種類に依らず一定であり、鮮度が落ちるに従ってＡＴＰが減少しイノシン酸やヒポキサンチンが生成されることに注目して、イノシン酸及びヒポキサンチンの量の上記全物質の量に対する割合がＫ値と定義されている。
このＫ値を求めるために必要な各物質量の測定では、化学反応を利用することから、測定準備に手間を要し、化学反応の安定までに時間を要し、また、反応させるために対象となる魚の一部の切除を要する。
ところで、食材である魚についての衛生面に鑑みれば、非侵襲な、即ち化学反応を利用しない魚の鮮度の評価方法がより望ましい。
化学反応を利用しない従来の鮮度の評価方法としては、例えば、偏光した赤外線を食肉の組織に照射し、その透過または反射光の偏光角の光量分布を調べることにより、食肉の鮮度を判定する方法（特許文献１）や、明部と暗部が交互に配置された縞パターンの近赤外照射光を透明度の高い魚介類に照射し、得られた縞パターンの画像データのコントラスト値を用いて鮮度を判定する方法（特許文献２）が知られている。これらの方法は、化学反応を用いないため、鮮度の判定を短時間で行える。
特許第４８０６２８５号公報 特開２０１０−２８６２６２号公報
しかしながら、特許文献１の方法は、実質上、魚を食肉同様の肉片にした状態で有効に作用する方法であり、特許文献２の方法は、透明度が高い魚に対して有効に作用する方法であり、必ずしもあらゆる魚の鮮度評価の需要に対応できるものではない。
そこで、本開示は、魚を肉片にする前の状態で鮮度を評価する需要や、透明度が高くない魚の鮮度を評価する需要に応えるべく、従来と異なる手法により、魚を侵襲せずに短時間で魚の鮮度情報を出力する鮮度情報出力方法を提供する。
本開示の一態様に係る鮮度情報出力方法は、紫外光が照射された魚の虹彩部の輝度を示す情報を取得し、前記情報に基づいて前記魚の鮮度を示す鮮度情報を出力する鮮度情報出力方法である。
なお、これらの包括的または具体的な態様は、装置、システム、集積回路、コンピュー
タプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現され
てもよく、装置、システム、集積回路、コンピュータプログラムおよび記録媒体の任意な
組み合わせで実現されてもよい。
本開示によれば、魚を侵襲せずに短時間で魚の鮮度情報を出力することができる。
実施形態１に係る鮮度情報出力装置の機能ブロック図である。 実施形態１に係る鮮度情報出力装置のハードウェア構成図である。 実施形態１に係る鮮度情報出力装置の動作を示すフローチャートである。 魚眼における虹彩及び水晶体の位置を示す断面図である。 魚眼の中心の算出方法を示す図である。 紫外線カメラで撮影して得られた魚眼の画像を示す図である。 魚眼の虹彩部の輝度及び水晶体部の輝度についての時間的変化を示すグラフである。 複数の魚についての虹彩部の平均輝度値と水晶体部の平均輝度値との差の時間的変化を示すグラフである。 鮮度指標値Ａの範囲と常温での死後の経過時間とを対応付けたテーブルを示す図である。 鮮度指標値Ａの範囲と鮮度度合いを示す情報とを対応付けたテーブルを示す図である。 魚眼の紫外線画像に１次微分フィルタを適用した様子を示す図である。 鮮度情報出力装置を具体化したスマートフォンのイメージ図である。 スマートフォン及びアダプタを用いた魚眼の撮影方法を示す図である。 スマートフォンに装着するアダプタについての概略図である。 スマートフォンとアダプタとの接続を示すイメージ図である。 スマートフォンの動作例を示すフローチャートである。 実施形態２に係る鮮度情報出力装置の機能ブロック図である。 実施形態２に係る鮮度情報出力装置のハードウェア構成図である。 実施形態２に係る鮮度情報出力装置の動作を示すフローチャートである。 赤外線カメラで撮影して得られた魚眼の画像を示す図である。 紫外線画像及び赤外線画像のそれぞれにおける虹彩部の輝度の時間的変化を示すグラフである。 複数の魚についての紫外線画像及び赤外線画像における虹彩部の平均輝度値の差の時間的変化を示すグラフである。 鮮度指標値Ｂの範囲と常温での死後の経過時間とを対応付けたテーブルを示す図である。 鮮度指標値Ｂの範囲と鮮度度合いを示す情報とを対応付けたテーブルを示す図である。 他の実施形態に係る鮮度情報出力装置の機能ブロック図である。
魚を侵襲せずに短時間に魚の鮮度情報を出力すべく、従来と異なり魚の眼の虹彩部の輝度（紫外線領域での輝度）の経時変化に着目した手法を用いた本開示に係る鮮度情報出力方法は、紫外光が照射された魚の虹彩部の輝度を示す情報を取得し、前記情報に基づいて前記魚の鮮度を示す鮮度情報を出力する鮮度情報出力方法である。この出力は、鮮度の決定結果の出力であり、実験結果から得られたデータや、実験に基づき構築された理論的考察から得られたデータ等に基づき、鮮度を特定された結果が出力されることになる。これにより、紫外光照射により得られた魚眼の輝度測定（画像撮影等）により得られる魚眼の虹彩部の輝度を用いて鮮度を特定するので、魚を肉片にする必要がなく、透明度が高くない魚の鮮度情報の出力も可能となる。
なお、上記輝度を示す情報は、画像の単位面積あたりの明るさを示す指標であり、輝度値は、たとえば得られた画像を輝度計などで測定した値を輝度値（例えばカンデラ値）としてもよいし、画像データにおける画素ごとの明るさを８ビット、あるいは１６ビット階調により表現した情報を輝度値としてもよい。
また、カラー画像の場合は、ＲＧＢそれぞれの階調を輝度値として扱っても良いし、ＲＧＢの輝度値の重みを施して加算した値を輝度値として扱っても良い。
以下実施例では、８ビット階調で表現したものを輝度値として記載しているが、他のビットで表現された階調で置き換えても良いし、輝度計で測定された輝度値で置き換えても良い。
ここで、例えば、前記鮮度情報出力方法は、前記紫外光が照射された前記魚の眼の紫外線画像を撮影する撮影ステップと、前記紫外線画像から虹彩部の輝度値を抽出して、前記虹彩部の輝度値に基づいて前記魚の鮮度を決定して前記鮮度情報を出力する決定ステップとを含むこととしてもよい。これにより、カメラ等の撮影手段を用いて比較的容易に、魚を侵襲せず短時間で魚の鮮度を決定することができる。
また、前記決定ステップでは、前記紫外線画像から水晶体部の輝度値を抽出して、前記虹彩部の輝度値を前記水晶体部の輝度値を用いて正規化してなる鮮度指標値に応じて前記決定を行うこととしてもよい。また、前記決定ステップにおける前記鮮度指標値は、前記虹彩部の輝度値と前記水晶体部の輝度値との差、前記差を前記水晶体部の輝度値で除した値、又は、前記虹彩部の輝度値の前記水晶体部の輝度値に対する比であることとしてもよい。これらにより、魚の個体差や撮影条件の差等の影響を抑えて魚の鮮度を決定することができる。
また、前記撮影ステップでは、紫外光の照射による前記紫外線画像の撮影及び赤外光の照射による前記魚の眼の赤外線画像の撮影を行い、前記決定ステップでは、前記紫外線画像から抽出した前記虹彩部の輝度値を前記赤外線画像から抽出した前記虹彩部の輝度値を用いて正規化してなる鮮度指標値に応じて前記決定を行うこととしてもよい。また、前記決定ステップにおける前記鮮度指標値は、前記紫外線画像から抽出した前記虹彩部の輝度値と前記赤外線画像から抽出した前記虹彩部の輝度値との差、前記差を前記赤外線画像から抽出した前記虹彩部の輝度値で除した値、又は、前記紫外線画像から抽出した前記虹彩部の輝度値の、前記赤外線画像から抽出した前記虹彩部の輝度値に対する比であることとしてもよい。これらによっても、魚の個体差や撮影条件の差等の影響を抑えて魚の鮮度を決定することができる。
また、前記決定ステップでは、複数の異なる鮮度情報の内容それぞれと鮮度指標値の範囲とを対応付けて予め定められた決定用情報を参照して、前記決定を行うこととしてもよい。これにより、実験結果を活用して決定用情報を定めて適切に魚の鮮度を決定することができる。
また、前記鮮度情報は、魚の死後の経過時間により表され、前記決定用情報は、魚の死後の経過時間が長い程、高い鮮度指標値の範囲と対応付けられた情報であることとしてもよい。これにより、適切に魚の鮮度を決定することができる。
また、前記決定ステップは、（ａ）前記紫外線画像からエッジ部分を検出するステップと、（ｂ）前記検出されたエッジ部分から、２重円のパターンに類似する部分を検出するステップを含み、前記２重円は第１円と、前記第１円の半径より大きい半径を有する第２円を含み、前記第１円の円内領域は前記水晶体部を含み、前記第１円の円弧と前記第２円の円弧の間の領域は前記虹彩部を含んでもよい。これにより、紫外線画像から水晶体部と虹彩部と特定できる。
また、本に係る鮮度情報出力装置は、紫外光が照射された魚の虹彩部の輝度を示す情報を取得する取得部と、当該情報に基づいて決定した当該魚の鮮度を示す鮮度情報を出力する出力部とを有する鮮度情報出力装置である。虹彩部の輝度の情報は、魚を侵襲せずに短時間に取得することができるため、この装置のユーザは、魚を損なうことなく、迅速に魚の鮮度情報を出力できるようになる。
ここで、例えば、前記鮮度情報出力装置は、紫外光を照射する紫外光照射部と、携帯情報機器とを備え、前記携帯情報機器は、前記紫外光照射部により紫外光の照射がなされたときの画像を撮影する撮影部と、前記撮影部により撮影された画像から抽出した虹彩部の輝度値に基づいて前記魚の鮮度を決定し当該決定結果を示す情報を表示する決定部とを有することとしてもよい。これにより、スマートフォン等の携帯情報機器を用いてユーザは様々な場所において魚の鮮度を知ることができるようになる。
なお、これらの包括的又は具体的な各種態様には、装置、システム、方法、集積回路、コンピュータプログラム、コンピュータで読み取り可能な記録媒体等の１つ又は複数の組合せが含まれる。
以下、実施の形態について、図面を参照しながら説明する。ここで示す実施の形態は、いずれも本開示の一具体例を示すものである。従って、以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置及び接続形態、並びに、ステップ（工程）及びステップの順序等は、一例であって本開示を限定するものではない。以下の実施の形態における構成要素のうち、本開示の最上位概念を示す独立請求項に記載されていない構成要素については、任意に付加可能な構成要素である。また、各図は、模式図であり、必ずしも厳密に図示されたものではない。
本実施の形態では、特に、魚の眼の紫外線画像の画像解析を行うことにより魚眼の輝度に基づいて魚の鮮度を決定する鮮度情報出力方法を実行する、一態様としての鮮度情報出力装置について説明する。
（実施形態１）
以下、本開示の一実施態様としての鮮度情報出力装置１００について、適宜図面を用いて説明する。
（構成）
図１は、実施形態１に係る鮮度情報出力装置１００の機能ブロック図である。同図に示すように、鮮度情報出力装置１００は、機能的な構成要素として撮影部１及び決定部２を有する。ここで、撮影部１は、魚（試料）９を撮影して魚眼を含む画像を生成する機能を担う。また、決定部２は、撮影部１により生成された画像に基づいて魚９の鮮度を決定しその決定結果を出力する機能を有し、魚眼の虹彩部及び水晶体部の各部分に対応する画像データを抽出する解析部３と、その画像データから所定の指標値（以下、「鮮度指標値Ａ」という。）を算定する算定部４とを含む。また、決定部２は、鮮度指標値Ａに応じて魚の鮮度を決定するための決定用情報８を蓄積している。
図２は、実施形態１に係る鮮度情報出力装置１００のハードウェア構成図である。同図に示すように、鮮度情報出力装置１００は、紫外線光源１０、紫外線カメラ１１、試料設置部１９、コンピュータ１４及びディスプレイ１５を備える。ここで、コンピュータ１４は、メモリ、プロセッサ、入力装置、機器接続用インタフェース等を備え、メモリに格納された制御プログラムをプロセッサが実行することにより、決定部２の機能を実現するための装置として働く。なお、コンピュータ１４は、メモリ（主記憶装置）以外にハードディスク装置等の補助記憶装置を備えていてもよい。
撮影部１の機能は、試料設置部１９に設置された魚９に対して紫外線光源１０から紫外線（紫外光）を照射し、魚９からの反射光を紫外線カメラ１１で受光して魚眼を含む画像を生成することで実現される。試料設置部１９は、魚眼の撮影が可能なように魚体を安定して設置できる部材（例えばトレイ）である。
紫外線光源１０は、紫外線帯域（例えば３００ｎｍ〜４００ｎｍの波長帯域）の波長を含む光源である。紫外線カメラ１１は、上記紫外線領域の波長の光を受光することで、画像を撮影する。
また決定部２の機能は、コンピュータ１４及びディスプレイ１５により実現される。即ち、機器接続用インタフェース等を介して紫外線カメラ１１で撮影された魚眼を含む画像を取得し、画像を解析して鮮度指標値Ａを算定し、この鮮度指標値Ａに基づいて魚の鮮度を決定しその結果を表す情報をディスプレイ１５に表示することで実現される。魚の鮮度の決定にはコンピュータ１４のメモリ等の記憶装置に蓄積された決定用情報８が用いられる。なお、画像を解析する処理として、コンピュータ１４では、画像から魚眼部分を抽出する処理、魚眼の虹彩部及び水晶体部を区別する処理、各部の平均輝度値を算出してその差異に基づき鮮度指標値Ａを算定する処理等が実行される。
（動作）
図３は、鮮度情報出力装置１００の動作を示すフローチャートである。
以下、上述の構成を備える鮮度情報出力装置１００の動作について、図３のフローチャートに沿って、図４〜図９Ｂに基づき各手順の解説を加えながら説明する。
魚９が試料設置部１９に設置されている状態で、撮影部１は、紫外線光源１０を発光させ紫外線カメラ１１で魚を撮影することにより魚眼を含む画像（紫外線画像）を生成する（処理ステップＳ１）。この生成される画像は、２次元画像空間を構成する各画素位置における画像データ（輝度値）の集合体である。輝度値は、例えば８ビットデータ（２５６階調）で表現される。なお、魚の鮮度の決定の精度を高めるために、例えば、紫外線カメラ１１の光軸の向き、画角、生成する画像サイズ等を調整して、魚眼全体及びその周辺部分の解像度を高くするように撮影（設定）することが、ある程度有効となる。
次に、決定部２は、撮影部１により生成された画像を取得し、解析部３により、その画像から魚眼の虹彩部及び水晶体部の画像データを抽出する（処理ステップＳ２）。虹彩部及び水晶体部の画像データの抽出は、どのような方法で実現してもよいが、例えば、次のような方法で行ってもよい。
即ち、まず、魚眼を含む魚の画像に対して１次微分フィルタを適用し、画像のデータ値（輝度値）の空間的勾配が急峻（例えば所定閾値より急峻）な部分、つまりコントラストが強く変化している部分（所謂エッジ部分）を表す画像を得る。このエッジ部分の中から、魚眼部分とその周辺部分との境界線と、魚眼部分における虹彩部分と水晶体部分との境界線とを表す２重円のパターンに最も類似する部分（２重円のパターンに相当する位置）をパターンマッチング等により検出する。そして、検出された２重円のパターンに相当する位置を用いて、撮影された画像について、２重円のパターンにおける内側の円内部を水晶体部と特定し、２重円のパターンにおける内側の円と外側の円との間の部分を虹彩部と特定する。図４に示すように虹彩は水晶体の周りに存在し、虹彩部は、魚眼における虹彩の部分であり、水晶体部は魚眼における水晶体の部分である。
なお、パターンマッチングについては、１次微分フィルタの適用で得られたエッジ部分が形成する境界線から円弧が特定される場合には、その円弧から円の中心を算定し、その中心を有する同心円を２重円のパターンとの当てはめ候補として、行ってもよい。ここで、エッジ部分から円の中心を算定する方法について、図５を用いて説明する。まず、取得した画像（図５の例では魚の死後２０分経過時点の紫外線画像）に対して、１次微分フィルタの適用で得られたエッジ部分（輝度の空間的勾配が大きい部分）を接続して得られる１以上の断続的な曲線を計算する。そして各曲線上の点について接線（図５中の破線）を計算し、その点を通りその接線に対して垂直となる法線（図５中の実線）を計算する。この法線の計算を各点に対して実施し、法線が重なる部分を円の中心（魚眼の中心座標）として算定する。魚眼は、人間の眼球とは異なり、まつ毛やまぶたが存在しないため、この方法で画像上の魚眼の中心を特定することができる。また、２重円のパターン等により魚眼内の虹彩部と水晶体部とを区別するに際して、輝度分布に基づき虹彩部と水晶体部とに所定量以上の輝度差分（各領域の平均輝度値の差分）があるように境界を定めて区別してもよい。
解析部３により、魚眼の虹彩部及び水晶体部の画像データが抽出されると、決定部２における算定部４は、抽出された虹彩部の平均輝度値及び水晶体部の平均輝度値に基づいて、魚の鮮度評価のための鮮度指標値Ａを算定する（処理ステップＳ３）。ここで、虹彩部の平均輝度値は、画像における虹彩部を構成する各画素の輝度値についての平均値であり、水晶体部の平均輝度値は、画像における水晶体部を構成する各画素の輝度値についての平均値である。但し、虹彩部の平均輝度値の算出の基礎とする部分は、必ずしも虹彩部全域でなくてもよく、例えば虹彩部と水晶体部との間の境界からの所定の領域を除外した残りの部分であってもよい。同様に、水晶体部の平均輝度値の算出の基礎とする部分は、必ずしも水晶体部全域でなくてもよく、例えば虹彩部と水晶体部との間の境界に近い部分を除外した残りの部分であってもよい。
例えば、輝度値が、所定の上限閾値以上もしくは所定の下限閾値以下の部分を除外した残りの部分であってもよい。同様に水晶体部の平均輝度値の算出の基礎とする部分についても、必ずしも水晶体全域でなくてもよく、所定の上限下限閾値以外の輝度値を示す部分を除外した残りの部分であってもよい。
鮮度指標値Ａは、虹彩部の平均輝度値を、水晶体部の平均輝度値を用いて正規化したものであり、例えば、虹彩部の平均輝度値から水晶体部の平均輝度値を減算した値（虹彩部及び水晶体部の平均輝度値の差）である。また、鮮度指標値Ａは、例えば、虹彩部及び水晶体部の平均輝度値の差を水晶体部の平均輝度値で除した値でもよく、虹彩部の平均輝度値の水晶体部の平均輝度値に対する比でもよい。ここで、本発明者らによる魚を用いた実験の結果を示す図６〜８を用いて、鮮度指標値Ａの基礎となる虹彩部及び水晶体部の輝度について説明する。
図６は、常温（気温２０℃）、湿度１００％の保存環境で保存された魚について、紫外線カメラで撮影して得られた魚眼の画像を示す。同図では、魚の死後２０分経過時、死後４時間経過時及び死後７時間経過時の各時点で撮影された画像を並べて示している。同図に示されるように、死後４時間以降においては魚眼の中で虹彩部のみが時間経過に従い白く変色してくる。
図７は、常温（気温２０℃）、湿度１００％の保存環境で保存された魚についての魚眼の虹彩部の輝度及び水晶体部の輝度についての時間的変化を示すグラフである。死後６時間以降においては時間経過に伴う水晶体部分の輝度の変化が少ないのに対し、虹彩部分の輝度は時間経過に伴って上昇する傾向がある。なお、本発明者らの実験により、魚種が異なれば、時間経過に対する輝度の変化の上昇度合いは異なり得ることが判明している。また、本発明者らの実験により、同種の魚においては魚の個体差により輝度の絶対値は異なる場合もあるが虹彩部が時間経過に伴って白く変色している度合いは、どの個体も類似していることが判明している。
図８は、常温（気温２０℃）、湿度１００％の保存環境で保存された複数（４体）の魚についての虹彩部の平均輝度値と水晶体部の平均輝度値との差の時間的変化を示すグラフである。魚の個体が異なっても、平均輝度値の差は、いずれも時間経過に対して同程度の上昇傾向を示す。この平均輝度値の差は、虹彩部の平均輝度値を水晶体部の平均輝度値を用いて正規化したものである。この正規化により、画像に現れる、魚の個体差の影響をある程度取り除くことができる。なお、この魚の個体差の影響には、魚眼自体の明るさの相違以外にも、魚の形状やサイズの個体差等から生じ得る撮影距離等の撮影条件の相違の影響も含まれる。このように、虹彩部の平均輝度値を水晶体部の平均輝度値を用いて正規化したものである鮮度指標値Ａは、魚の死後の時間経過と相関を有する有効な指標となる。
算定部４により鮮度指標値Ａが算定されると、決定部２は、その鮮度指標値Ａに応じて、決定用情報８に基づいて魚の鮮度を決定し、決定結果を示す情報を出力する（処理ステップＳ４）。この決定用情報８は、例えば、鮮度を死後の経過時間で表現する場合において、鮮度指標値Ａと死後の経過時間との対応を示す数式やテーブルである。この場合、魚の鮮度の決定は、この決定用情報８を参照して、鮮度指標値Ａに応じて死後の経過時間を特定することにより実現される。なお、決定用情報８（例えば鮮度指標値Ａと死後の経過時間との対応を示す数式又はテーブル）は、図８のグラフやその他の実験結果に基づいて予め作成しておくことができる。
図９Ａに、決定用情報８の例としての、鮮度指標値Ａとして虹彩部の平均輝度値と水晶体部の平均輝度値との差を用いた場合における鮮度指標値Ａの範囲と常温での死後の経過時間とを対応付けたテーブルを示す。このテーブルは、輝度差を用いた鮮度指標値Ａが大きくなるにつれて死後の経過時間が長くなるような対応関係を示している。即ち、このテーブルでは、魚の死後の経過時間が長い程、大きな鮮度指標値Ａの範囲と対応付けられている。このテーブルの例によれば、魚が常温で保存されていたという前提では、魚について算定された鮮度指標値Ａが例えば１００以下であれば「死後６時間未満」という比較的高い鮮度が決定されることになる。また、算定された鮮度指標値Ａが例えば１４０、１５０等であれば、決定部２は、「死後１２時間以上１８時間未満」という比較的低い鮮度を決定することになる。なお、鮮度指標値Ａとして、虹彩部の平均輝度値と水晶体部の平均輝度値との差を水晶体部の平均輝度値で除した値又は虹彩部の平均輝度値の水晶体部の平均輝度値に対する比を用いる場合にも、それぞれに応じたテーブルを作成して、決定に利用すればよい。
本実施形態では、鮮度情報として、図９Ａに示す死後経過時間を用いたが、図９Ｂに示すように、鮮度情報として、高鮮度（生食可能）、やや高鮮度（加熱食可能）、やや低鮮度（加熱食可能）、低鮮度（食不可）などの鮮度度合いを示す情報を用いても良い。
また、魚を撮影して鮮度を適切に決定するためには、決定用情報８を、その魚の種別や保存状況（温度、湿度等）に適したテーブルとして実現するとよい。例えば、予め各魚種の魚について各種保存状況で時間経過に応じた鮮度指標値Ａを測定して、魚種別、保存状況別の複数のテーブルを作成してコンピュータ１４のメモリ等に格納しておき、撮影対象の魚や保存状況に合わせてテーブルを適宜選択して利用してもよい。この場合、撮影対象の魚の魚種や保存状況については、鮮度情報出力装置１００のユーザが魚の撮影の際等に、コンピュータ１４に入力装置を介して入力することとしてもよく、決定部２は、その入力に応じてテーブルを選択することとしてもよい。これにより、魚体の透明度が高い魚種であっても透明度が低い魚種であっても魚種別のテーブルを作成しておけば鮮度決定が可能となる。
なお、決定部２による決定結果を示す情報の出力は、例えば、「死後１２時間以上１８時間未満」等と魚の死後の経過時間を示す情報をディスプレイ１５に表示することにより実現される。これにより、鮮度情報出力装置１００のユーザは、魚の鮮度を認知することができるようになる。
このように、鮮度情報出力装置１００は、紫外線カメラ１１で魚の眼及びその周辺を撮影し、撮影により得られた画像を用いて、コンピュータ１４で魚眼の虹彩部の平均輝度値等に基づいて魚の鮮度を決定するので、魚を侵襲せずに短時間に魚の鮮度を決定できる。
なお、上述した解析部３は、取得した魚眼を含む画像に対して、例えば１次微分フィルタを適用することで、虹彩部と水晶体部との境界を検出することとした。しかし、魚の死後の経過時間が短い場合には、１次微分フィルタを用いて境界を検出することが困難となる場合がある。例えば、図１０における（ａ）のように、魚の死後７時間経過時点の画像に対して１次微分フィルタを適用（輝度の空間的勾配の急峻な部分を抽出）した場合には、抽出されたエッジ部分を境界として虹彩部と水晶体部との各領域を区別することができる。一方、図１０における（ｂ）のように、魚の死後２０分経過時点の画像に対して１次微分フィルタを適用した場合には、抽出されたエッジ部分が、円ではなくその一部の円弧でしかないものとなり得る。この場合において、円弧が極めて短いならば、円の中心の算定精度が極めて低くなり、虹彩部と水晶体部との区別は困難となる。従って、得られた円弧の長さが所定閾値より短い場合（例えば図５を用いて説明した方法で求めた中心を有する円の円周の長さの４分の１未満より短い場合等）は、虹彩部と水晶体部との境界の検出が困難なので、鮮度指標値Ａを特定の値に指定することとしてもよい。この鮮度指標値Ａを特定の値に指定することが決定されれば、算定部４による鮮度指標値Ａの算定は省略され、指定された鮮度指標値Ａに基づいて決定部２により鮮度の決定がなされる。例えば、虹彩部の平均輝度値と水晶体部の平均輝度値との差を鮮度指標値Ａとする場合においては、虹彩部と水晶体部との境界の検出が困難であれば鮮度指標値Ａをゼロ（又はゼロに近い所定値）と指定する（看做す）こととしてもよい。虹彩部及び水晶体部の平均輝度値の差を水晶体部の平均輝度値で除した値を鮮度指標値Ａとする場合においても、虹彩部と水晶体部との境界の検出が困難であれば鮮度指標値Ａをゼロ（又はゼロに近い所定値）と指定する（看做す）こととしてもよい。また、虹彩部の平均輝度値の水晶体部の平均輝度値に対する比を鮮度指標値Ａとする場合においては、虹彩部と水晶体部との境界の検出が困難であれば鮮度指標値Ａを１（又は１に近い所定値）と指定する（看做す）こととしてもよい。
（実施例）
以下、鮮度情報出力装置１００を、携帯可能なスマートフォン（携帯情報機器）１０１に含ませるよう具体化した例について説明する。
図１１は、鮮度情報出力装置１００を具体化したスマートフォン１０１のイメージ図である。同図に示すスマートフォン１０１は内部に、コンピュータ１４を備えている。また、同図の（ａ）に示すディスプレイ１５は、スマートフォン１０１の筐体表面に実装された液晶ディスプレイ（又は例えば有機ＥＬディスプレイ等）である。また、同図の（ｂ）に示す紫外線カメラ１１はスマートフォン１０１の筐体に実装されたカメラであり、紫外線光源１０は、カメラ周辺に実装された紫外線ＬＥＤ（Light Emitting Diode）である。このスマートフォン１０１は、カメラを魚９の眼に近付けて利用され、ユーザの操作に応じて紫外線ＬＥＤから紫外線を魚眼に対して照射し、その反射光をカメラ（イメージセンサ）で受光することで画像（紫外線画像）を生成する。また、スマートフォン１０１のメモリ及びプロセッサ等であるコンピュータ１４が解析部３及び算定部４を含む決定部２として機能し、魚眼を含む画像に基づいて、魚の鮮度（死後の経過時間等）を決定して決定結果を示す情報を液晶ディスプレイに表示する。なお、スマートフォン１０１は生成した画像も液晶ディスプレイに表示するように構成されている。これにより、ユーザは魚眼が撮影されていることを確認でき、更に、魚の鮮度を認識できる。
なお、図１２に示すように、スマートフォン１０１から紫外線ＬＥＤを除いて構成されるスマートフォン１０１ａに、魚眼に紫外光を照射するための紫外線ＬＥＤを有するアダプタ１０２を装着して、スマートフォン１０１ａのカメラで魚眼を撮影するようにしてもよい。この場合、アダプタ１０２は、スマートフォン１０１ａに具体化された鮮度情報出力装置１００の撮影部１の機能の一部を切り出してなる紫外光照射部（紫外光の照射を担う部分）として機能する。図１３は、スマートフォン１０１ａに装着するアダプタ１０２についての概略図である。同図に示すように、アダプタ１０２は筒状の形状で、筒の内壁には、紫外線光源１０としての紫外線ＬＥＤが配置されている。また、図１４に示すように、アダプタ１０２は、スマートフォン１０１ａの外部インタフェース部と接続し、外部インタフェース部を介してスマートフォン１０１ａからアダプタ１０２への制御信号及び電力の供給がなされる。また、スマートフォン１０１ａのカメラのイメージセンサは、従来一般にスマートフォンのカメラに用いられる波長３００ｎｍ〜８００ｎｍ程度を受光可能なものでよく、アダプタ１０２の紫外線ＬＥＤは波長３００ｎｍ〜４００ｎｍの範囲内の近紫外線を発するものであれば適切に紫外線画像が撮影される。そして、スマートフォン１０１ａへのユーザ操作に応じてスマートフォン１０１ａからアダプタ１０２に制御信号が出されこれに応じてアダプタ１０２は紫外光照射を行い、スマートフォン１０１ａではカメラで撮影がなされ、魚の画像及び魚の鮮度を示す情報が液晶ディスプレイに表示される。
図１５は、鮮度情報出力装置１００を具体化したスマートフォン１０１ａ及びアダプタ１０２におけるスマートフォン１０１ａの動作例を示すフローチャートである。ユーザがスマートフォン１０１ａにおいて魚の鮮度情報出力用のアプリ（プログラム）の起動のための操作をすると図１５の動作が開始される。
ユーザが魚の眼にアダプタ１０２を当ててスマートフォン１０１ａのカメラで魚眼を撮影する操作を行うと、スマートフォン１０１ａからアダプタ１０２の紫外線ＬＥＤの照射のための制御信号が発され、カメラで撮影がなされる（処理ステップＳ１１）。
続いて、スマートフォン１０１ａは、撮影された画像から輝度変化が大きい部分（輝度の空間的勾配が急峻な所謂エッジ部分）を抽出し（処理ステップＳ１２）、抽出したエッジ部分から魚眼の中心座標を計算する（処理ステップＳ１３）。
次に、スマートフォン１０１ａは、画像中の魚眼領域において虹彩部と水晶体部とを区別できるか否かを判定し（処理ステップＳ１４）、区別できるならば、虹彩部の輝度値と水晶体部の輝度値とを抽出する（処理ステップＳ１５）。なお、画像中の魚眼領域は、抽出した中心座標に基づき魚眼と照合するために予め準備した２重円のパターン（輝度パターン）を用いたパターンマッチング等により求められる。魚眼が２重円のパターンに合致する等、虹彩側から水晶体側への輝度変化が十分であって虹彩部と水晶体部との境界が特定できる場合には、虹彩部と水晶体部との区別ができることになる。そして、抽出された虹彩部の輝度値と水晶体部の輝度値との差である鮮度指標値Ａを算出し（処理ステップＳ１６）、決定用情報８としてのテーブル（図９参照）に基づいて魚の死後の経過時間を特定して魚の鮮度を示す情報として表示する（処理ステップＳ１７）。
また、処理ステップＳ１４において、虹彩部と水晶体部とを区別できない場合には、テーブル（図９参照）における短期間を表す死後の経過時間を表示する（処理ステップＳ１８）。この虹彩部と水晶体部とが区別できないときにおいて、鮮度指標値Ａをゼロと看做してテーブルから鮮度指標値Ａに応じた死後の経過時間を求めて表示してもよい。
このようにして、スマートフォン１０１ａにより魚眼を撮影することで、ユーザは、スマートフォン１０１ａの液晶ディスプレイを見て、魚の鮮度（死後の経過時間）を知ることができるようになる。
（実施形態２）
以下、本開示の一実施態様としての鮮度情報出力装置２００について、適宜図面を用いて説明する。鮮度情報出力装置２００は、実施形態１に係る鮮度情報出力装置１００の一部を変形したものであり、鮮度情報出力装置１００と同一の構成要素については適宜説明を省略する。
（構成）
図１６は、実施形態２に係る鮮度情報出力装置２００の機能ブロック図である。同図に示すように、鮮度情報出力装置２００は、機能的な構成要素として撮影部１ａ及び決定部２ａを有する。ここで、撮影部１ａは、実施形態１で示した撮影部１と同様に魚（試料）を撮影して魚眼を含む画像を生成する機能を担うが、撮影部１とは異なり、紫外線画像だけではなく赤外線画像をも生成する。また、決定部２ａは、撮影部１ａにより生成された紫外線画像及び赤外線画像に基づいて魚の鮮度を決定しその決定結果を出力する機能を有し、紫外線画像及び赤外線画像から魚眼の虹彩部に対応する各画像データを抽出する解析部３ａと、それらの画像データから特定の指標値（以下、「鮮度指標値Ｂ」という。）を算定する算定部４ａとを含む。また、決定部２ａは、鮮度指標値Ｂに応じて魚の鮮度を決定するための決定用情報８ａを蓄積している。
図１７は、実施形態２に係る鮮度情報出力装置２００のハードウェア構成図である。同図に示すように、鮮度情報出力装置２００は、実施形態１に係る鮮度情報出力装置１００と同一の、紫外線光源１０、紫外線カメラ１１、ディスプレイ１５及び試料設置部１９に加え、実施形態１に係るコンピュータ１４の機能動作を変更してなるコンピュータ２４、赤外線光源２０及び赤外線カメラ２１を備える。このコンピュータ２４は、コンピュータ１４と同様にメモリ、プロセッサ、入力装置、機器接続用インタフェース等を備え、メモリ内の実施形態１とは異なる制御プログラムをプロセッサが実行することにより、決定部２ａの機能を実現するための装置として働く。
撮影部１ａの機能は、試料設置部１９に設置された魚を紫外線カメラ１１及び赤外線カメラ２１により撮影することで魚眼を含む紫外線画像及び赤外線画像を生成することで実現される。この紫外線画像は、魚に紫外線光源１０から紫外線を照射し、魚からの反射光を紫外線カメラ１１で受光することで生成される。また、赤外線画像は、魚に対して赤外線光源２０から赤外線（赤外光）を照射し、魚からの反射光を赤外線カメラ２１で受光することで生成される。
赤外線光源２０は赤外線帯域（例えば７００ｎｍ〜１０００ｎｍの波長帯域）の波長を含む光源であり、赤外線カメラ２１は、上記赤外線領域の波長の光を受光することで、画像を撮影する。
また決定部２ａの機能は、コンピュータ２４及びディスプレイ１５により実現される。即ち、機器接続用インタフェース等を介して紫外線カメラ１１及び赤外線カメラ２１で撮影された魚眼を含む画像を取得し、画像を解析して鮮度指標値Ｂを算定し、算定結果に基づいて魚の鮮度を決定し決定結果をディスプレイ１５に表示することで実現される。なお、魚の鮮度の決定にはコンピュータ２４のメモリ等の記憶装置に蓄積された決定用情報８ａが用いられる。
（動作）
以下、上述の構成を備える鮮度情報出力装置２００の動作について、図１８のフローチャートに沿って、図１９〜図２２に基づき各手順の解説を加えながら説明する。
図１８は、鮮度情報出力装置２００の動作を示すフローチャートである。
撮影部１ａは、紫外線光源１０を発光させ紫外線カメラ１１で魚を撮影することにより魚眼を含む紫外線画像を生成し、赤外線光源２０を発光させ赤外線カメラ２１で魚を撮影することにより魚眼を含む赤外線画像を生成する（処理ステップＳ６１）。この生成される紫外線画像及び赤外線画像は、いずれも２次元画像空間を構成する各画素位置における画像データ（輝度値）の集合体である。輝度値は、例えば８ビットデータ（２５６階調）で表現される。なお、魚の鮮度の決定の精度を高めるために、例えば、紫外線カメラ１１及び赤外線カメラ２１の光軸の向き、画角、生成する画像サイズ等を調整して、魚眼全体及びその周辺部分の解像度を高くするように撮影（設定）することが、ある程度有効となる。
次に、決定部２ａは、撮影部１ａにより生成された紫外線画像及び赤外線画像を取得し、解析部３ａにより、それらの画像から魚眼の虹彩部の画像データを抽出する（処理ステップＳ６２）。虹彩部の画像データの抽出は、どのような方法で実現してもよいが、例えば、実施形態１で示した方法で行ってもよい。
解析部３ａにより、紫外線画像及び赤外線画像における魚眼の虹彩部の画像データが抽出されると、算定部４ａは、抽出された両画像における虹彩部の平均輝度値に基づいて、魚の鮮度評価のための鮮度指標値Ｂを算定する（処理ステップＳ６３）。ここで、虹彩部の平均輝度値は、画像における虹彩部を構成する各画素の輝度値についての平均値である。鮮度指標値Ｂは、紫外線画像での虹彩部の平均輝度値を、赤外線画像での虹彩部の平均輝度値を用いて正規化したものであり、例えば、紫外線画像の虹彩部の平均輝度値から赤外線画像の虹彩部の平均輝度値を減算した値（両虹彩部の平均輝度値の差）である。また、鮮度指標値Ｂは、例えば、両虹彩部の平均輝度値の差を赤外線画像における虹彩部の平均輝度値で除した値でもよく、紫外線画像における虹彩部の平均輝度値の赤外線画像における虹彩部の平均輝度値に対する比でもよい。ここで、魚を用いた実験の結果を示す図１９〜２１を用いて、鮮度指標値Ｂの基礎となる紫外線画像及び赤外線画像における虹彩部の輝度について説明する。
図１９は、常温（気温２０℃）、湿度１００％の保存環境で保存された魚について、赤外線カメラで撮影して得られた魚眼の画像を示す。同図では、魚の死後２０分経過時、死後４時間経過時及び死後７時間経過時の各時点で撮影された画像を並べて示している。図６に示した紫外線画像では、死後４時間以降においては魚眼の虹彩部が時間経過に従い白く変色していたが、図１９の赤外線画像では、虹彩部にもそれ以外の魚眼部分にも時間経過による顕著な輝度変化は現れていない。
図２０は、常温（気温２０℃）、湿度１００％の保存環境で保存された魚についての紫外線画像及び赤外線画像のそれぞれにおける虹彩部の輝度の時間的変化を示すグラフである。同図に示すように、紫外線画像における虹彩部の輝度が時間経過に伴い顕著に変化するのに対し、赤外線画像における虹彩部分の輝度は時間経過に伴う変化が少ない。
図２１は、常温（気温２０℃）、湿度１００％の保存環境で保存された複数（４体）の魚についての紫外線画像における虹彩部の平均輝度値と赤外線画像における虹彩部の平均輝度値との差の時間的変化を示すグラフである。魚の個体が異なっても、両画像間での平均輝度値の差は、いずれも時間経過に対して同程度の上昇傾向を示す。この両画像間の平均輝度値の差は、紫外線画像における虹彩部の平均輝度値を赤外線画像における虹彩部の平均輝度値を用いて正規化したものである。この正規化により、画像に現れる、魚の個体差の影響をある程度取り除くことができる。なお、この魚の個体差の影響には、魚眼自体の明るさの相違以外にも、魚の形状やサイズの個体差等から生じ得る撮影距離等の撮影条件の相違の影響も含まれる。このように、紫外線画像における虹彩部の平均輝度値を赤外線画像における虹彩部の平均輝度値を用いて正規化したものである鮮度指標値Ｂは、魚の死後の時間経過と相関を有する有効な指標となる。
算定部４ａにより鮮度指標値Ｂが算定されると、決定部２ａは、その鮮度指標値Ｂに応じて、決定用情報８ａに基づいて魚の鮮度を決定し、決定結果を示す情報を出力する（処理ステップＳ６４）。この決定用情報８ａは、例えば、鮮度を死後の経過時間で表現する場合において、鮮度指標値Ｂと死後の経過時間との対応を示す数式やテーブルである。この場合、魚の鮮度の決定は、この決定用情報８ａを参照して、鮮度指標値Ｂに応じて死後の経過時間を特定することにより実現される。なお、決定用情報８ａ（例えば鮮度指標値Ｂと死後の経過時間との対応を示す数式又はテーブル）は、実験結果に基づいて予め作成しておくことができる。
図２２Ａに、決定用情報８ａの例としての、鮮度指標値Ｂとして紫外線画像における虹彩部の平均輝度値と赤外線画像における虹彩部の平均輝度値との差を用いた場合における鮮度指標値Ｂの範囲と常温での死後の経過時間とを対応付けたテーブルを示す。このテーブルは、輝度差を用いた鮮度指標値Ｂが大きくなるにつれて死後の経過時間が長くなるような対応関係を示している。即ち、このテーブルでは、魚の死後の経過時間が長い程、大きな鮮度指標値Ｂの範囲と対応付けられている。このテーブルの例によれば、魚が常温で保存されていたという前提では、魚について算定された鮮度指標値Ｂが例えば３０以下であれば「死後８時間未満」という比較的高い鮮度が決定されることになる。また、算定された鮮度指標値Ｂが例えば９０、１００等であれば、決定部２ａは、「死後１４時間以上２４時間未満」という比較的低い鮮度を決定することになる。なお、鮮度指標値Ｂとして、紫外線画像及び赤外線画像の両虹彩部の平均輝度値の差を赤外線画像における虹彩部の平均輝度値で除した値又は紫外線画像における虹彩部の平均輝度値の赤外線画像における虹彩部の平均輝度値に対する比を用いる場合にも、それぞれに応じたテーブルを作成して、決定に利用すればよい。また、実施形態１と同様に、魚を撮影して鮮度を適切に決定するためには、決定用情報８ａを、その魚の種別や保存状況（温度、湿度等）に適したテーブルとして実現するとよい。例えば、予め各魚種の魚について各種保存状況で時間経過に応じた鮮度指標値Ｂを測定して、魚種別、保存状況別の複数のテーブルを作成してコンピュータ２４のメモリ等に格納しておき、撮影対象の魚や保存状況に合わせてテーブルを適宜選択して利用してもよい。この場合、撮影対象の魚の魚種や保存状況については、鮮度情報出力装置２００のユーザが魚の撮影の際等に、コンピュータ２４に入力装置を介して入力することとしてもよく、決定部２ａは、その入力に応じてテーブルを選択することとしてもよい。
なお、決定部２ａによる決定結果を示す情報の出力は、例えば、「死後１４時間以上２４時間未満」等と魚の死後の経過時間を示す情報をディスプレイ１５に表示することにより実現される。これにより、鮮度情報出力２００のユーザは、魚の鮮度を認知することができるようになる。
なお、上述した解析部３ａは、取得した魚眼を含む紫外線画像及び赤外線画像から虹彩部の画像データを抽出することとしたが、魚眼から虹彩部を区別することが困難な場合もあるため、虹彩部を含む魚眼全体の画像データを抽出することとしてもよい。この場合には、算定部４ａは、抽出された紫外線画像における魚眼全体の平均輝度値を虹彩部の平均輝度値と看做し、抽出された赤外線画像における魚眼全体の平均輝度値を虹彩部の平均輝度値と看做して、鮮度指標値Ｂを算定することとしてもよい。ここで、各画像における魚眼全体の平均輝度値は、各画像中の魚眼を構成する各画素の輝度値についての平均値である。
このように、鮮度情報出力２００は、紫外線カメラ１１及び赤外線カメラ２１で魚眼を含む紫外線画像及び赤外線画像を取得し、コンピュータ２４で各画像の虹彩部の平均輝度値等に基づいて魚の鮮度を決定するので、魚を侵襲せずに短時間に魚の鮮度を決定できる。
本実施形態では、鮮度情報として、図２２Ａに示す死後経過時間を用いたが、図２２Ｂに示すように、鮮度情報として、高鮮度（生食可能）、やや高鮮度（加熱食可能）、やや低鮮度（加熱食可能）、低鮮度（食不可）などの鮮度度合いを示す情報を用いても良い。
（他の実施形態）
以上、鮮度情報出力装置の各実施形態について説明したが、上述した各実施形態は一例にすぎず、各種の変更が可能であることは言うまでもない。
例えば、実施形態１、２での魚眼の撮影において、ハレーション等による撮影画像の歪みを軽減するために偏光フィルタを利用することとしてもよい。
また、実施形態１、２では虹彩部の平均輝度値及び水晶体部の平均輝度値を鮮度指標値の算定の基礎としたが、必ず正確な平均である必要はなく、虹彩部の輝度を示す輝度値及び水晶体部の輝度を示す輝度値を鮮度指標値の算定の基礎としてもよい。
また、実施形態１では魚眼の虹彩部の輝度値を正規化してなる鮮度指標値Ａを算定して、魚の死後の経過時間が長い程大きな鮮度指標値Ａの範囲と対応付けられたテーブルに基づいて、算定結果に応じた死後の経過時間の決定を行ったが、正規化を省略してもよい。即ち、虹彩部の輝度値と魚の死後の経過時間とを輝度値が高い程死後の経過時間が長いように対応付けたテーブルに基づいて、紫外線画像から得られた魚眼の虹彩部の輝度値に応じて、死後の経過時間を決定してもよい。
また、実施形態１、２において、魚の鮮度の決定結果を示す情報の出力をディスプレイ１５への表示により実現する例を示したが、ディスプレイ１５への表示に代えてプロジェクタにより投影された画面に表示することとしてもよい。また、鮮度の決定結果を示す情報の出力を、鮮度を表す情報を印刷すること、鮮度を表す情報の音声を発生させること、鮮度を表す情報を他の機器へと送信すること等といった表示以外の手段により実現してもよい。
また、実施形態１、２では、魚の鮮度を死後の経過時間で表現する例を示したが、経過時間を入力することとして、鮮度を保存状況による表現形式のものとして決定することとしてもよい。例えば、上述した魚種別、保存状況別の複数のテーブルと、入力された経過時間と、算定された鮮度指標値（鮮度指標値Ａ、鮮度指標値Ｂ）とに基づいて保存状況（例えば保存温度）を決定することとしてもよい。また、魚の鮮度を、「非常に新鮮」、「概ね新鮮」、「普通」、「鮮度が悪い」等といった鮮度の程度で表現することとしてもよいし、鮮度自体を数値で表現してもよい。即ち、鮮度の決定は、異なる鮮度を表す複数の内容（値、文字列、画像その他の情報）それぞれと鮮度指標値の範囲それぞれとを対応付けた決定用情報を用いて、魚眼の画像から算定された鮮度指標値に応じて鮮度を表す内容を特定することにより実現してもよい。
また、実施形態２で示す鮮度情報出力装置２００についても、実施形態１の実施例で示したようなスマートフォンへの応用をしてもよい。そしてこの場合、撮影部から紫外光照射部のみならず赤外光照射部（赤外線光源としての赤外線ＬＥＤ）を切り出してアダプタに実装させ、スマートフォンからの制御により順次各ＬＥＤを発光させて紫外線画像及び赤外線画像を撮影することとしてもよい。
また、上述した処理手順（図３、図１５又は図１８に示す処理等）の全部又は一部は、各種機器の機構及び回路（ハードウェア）のみにより実行されても、ソフトウェアにより実行されてもよい。なお、ソフトウェアによる処理の実行は、機器に含まれるプロセッサがメモリに記憶された制御プログラムを実行することにより実現されるものである。また、その制御プログラムを記録媒体に記録して頒布や流通させてもよい。例えば、頒布された制御プログラムを機器にインストールして、機器のプロセッサに実行させることで、機器に処理手順（図３、図５又は図１８に示す処理等）を行わせることが可能となる。
また、鮮度情報出力装置１００及び鮮度情報出力装置２００が主として１台のコンピュータ１４（コンピュータ２４）により構成される例を示したが、鮮度情報出力装置は、複数の装置（機器やコンピュータ等）により構成されることとしてもよい。この複数の装置は通信を行うことで連携して魚の鮮度を決定する機能を実現することができる。
また、鮮度情報出力装置は、図２３に示すように、紫外光が照射された魚の虹彩部の輝度を示す情報（例えば紫外線画像）を取得する取得部３０１と、当該情報に基づいて決定した当該魚の鮮度を示す鮮度情報を出力する出力部３０２とを有する構成としてもよい。なお、取得部３０１及び出力部３０２は、例えば上述したコンピュータ１４（図２参照）で実現され、取得部３０１は、例えば決定部２（図１参照）の機能を紫外線画像の入力側と決定結果の出力側とに２分した場合における入力側の少なくとも一部に相当し、出力部３０２は出力側の少なくとも一部に相当する。なお、出力部３０２は、ディスプレイ１５（図２参照）を含んで実現されるものとしてもよい。
その他、上述した各実施形態に対して当業者が当然に思いつく各種変形を施して得られる形態、又は、各実施形態で示した構成要素及び機能を任意に組み合わせることで実現される形態も本開示の範囲に含まれる。
本開示は、捕獲された鮮魚を消費者市場に提供するまでの経路において鮮度を定量的に評価するために利用可能である。
１、１ａ 撮影部
２、２ａ 決定部
３、３ａ 解析部
４、４ａ 算定部
８、８ａ 決定用情報
９ 魚（試料）
１０ 紫外線光源
１１ 紫外線カメラ
１４、２４ コンピュータ
１５ ディスプレイ
１９ 試料設置部
２０ 赤外線光源
２１ 赤外線カメラ
１００、２００ 鮮度情報出力装置
１０１、１０１ａ スマートフォン
１０２ アダプタ
３０１ 取得部
３０２ 出力部

Claims (12)

  1. 紫外光が照射された魚の虹彩部の輝度を示す情報を取得し、前記情報に基づいて前記魚の鮮度を示す鮮度情報を出力する鮮度情報出力方法。
  2. 前記鮮度情報出力方法は、
    前記紫外光が照射された前記魚の眼の紫外線画像を撮影する撮影ステップと、
    前記紫外線画像から虹彩部の輝度値を抽出して、前記虹彩部の輝度値に基づいて前記魚の鮮度を決定して前記鮮度情報を出力する決定ステップとを含む
    請求項１記載の鮮度情報出力方法。
  3. 前記決定ステップでは、前記紫外線画像から水晶体部の輝度値を抽出して、前記虹彩部の輝度値を前記水晶体部の輝度値を用いて正規化してなる鮮度指標値に応じて前記決定を行う
    請求項２記載の鮮度情報出力方法。
  4. 前記決定ステップにおける前記鮮度指標値は、前記虹彩部の輝度値と前記水晶体部の輝度値との差、前記差を前記水晶体部の輝度値で除した値、又は、前記虹彩部の輝度値の前記水晶体部の輝度値に対する比である
    請求項３記載の鮮度情報出力方法。
  5. 前記撮影ステップでは、紫外光の照射による前記紫外線画像の撮影及び赤外光の照射による前記魚の眼の赤外線画像の撮影を行い、
    前記決定ステップでは、前記紫外線画像から抽出した前記虹彩部の輝度値を前記赤外線画像から抽出した前記虹彩部の輝度値を用いて正規化してなる鮮度指標値に応じて前記決定を行う
    請求項２記載の鮮度情報出力方法。
  6. 前記決定ステップにおける前記鮮度指標値は、前記紫外線画像から抽出した前記虹彩部の輝度値と前記赤外線画像から抽出した前記虹彩部の輝度値との差、前記差を前記赤外線画像から抽出した前記虹彩部の輝度値で除した値、又は、前記紫外線画像から抽出した前記虹彩部の輝度値の、前記赤外線画像から抽出した前記虹彩部の輝度値に対する比である
    請求項５記載の鮮度情報出力方法。
  7. 前記決定ステップでは、複数の異なる鮮度情報の内容それぞれと鮮度指標値の範囲とを対応付けて予め定められた決定用情報を参照して、前記決定を行う
    請求項３〜６のいずれか一項に記載の鮮度情報出力方法。
  8. 前記鮮度情報は、魚の死後の経過時間により表され、
    前記決定用情報は、魚の死後の経過時間が長い程、高い鮮度指標値の範囲と対応付けられた情報である
    請求項７記載の鮮度情報出力方法。
  9. 前記決定ステップは
    （ａ）前記紫外線画像からエッジ部分を検出するステップと、
    （ｂ）前記検出されたエッジ部分から、２重円のパターンに類似する部分を検出するステップを含み、
    前記２重円は第１円と、前記第１円の半径より大きい半径を有する第２円を含み、
    前記第１円の円内領域は前記水晶体部を含み、
    前記第１円の円弧と前記第２円の円弧の間の領域は前記虹彩部を含む、
    請求項４記載の鮮度情報出力方法。
  10. 紫外光が照射された魚の虹彩部の輝度を示す情報を取得する取得部と、当該情報に基づいて決定した当該魚の鮮度を示す鮮度情報を出力する出力部とを有する鮮度情報出力装置。
  11. 前記鮮度出力装置は、
    紫外光を照射する紫外光照射部と、
    携帯情報機器とを備え、
    前記携帯情報機器は、
    前記紫外光照射部により紫外光の照射がなされたときの画像を撮影する撮影部と、
    前記撮影部により撮影された画像から抽出した虹彩部の輝度値に基づいて前記魚の鮮度を決定し当該決定結果を示す情報を表示する出力部とを有する
    請求項１０記載の鮮度情報出力装置。
  12. プロセッサを備える機器に、魚の鮮度を決定するための鮮度決定処理を実行させるための制御プログラムであって、
    前記鮮度決定処理は、
    紫外光が照射された前記魚の眼の紫外線画像を撮影する撮影ステップと、
    前記紫外線画像から虹彩部の輝度値を抽出して、当該虹彩部の輝度値に基づいて前記魚の鮮度を決定して当該決定の結果を示す鮮度情報を出力する決定ステップとを含む
    制御プログラム。
JP2014244291A 2014-02-28 2014-12-02 鮮度情報出力方法、鮮度情報出力装置、制御プログラム Active JP6499430B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014244291A JP6499430B2 (ja) 2014-02-28 2014-12-02 鮮度情報出力方法、鮮度情報出力装置、制御プログラム

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014039572 2014-02-28
JP2014039572 2014-02-28
JP2014244291A JP6499430B2 (ja) 2014-02-28 2014-12-02 鮮度情報出力方法、鮮度情報出力装置、制御プログラム

Publications (2)

Publication Number Publication Date
JP2015179062A true JP2015179062A (ja) 2015-10-08
JP6499430B2 JP6499430B2 (ja) 2019-04-10

Family

ID=53947989

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014244291A Active JP6499430B2 (ja) 2014-02-28 2014-12-02 鮮度情報出力方法、鮮度情報出力装置、制御プログラム

Country Status (3)

Country Link
US (1) US9316595B2 (ja)
JP (1) JP6499430B2 (ja)
CN (1) CN104880412B (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018093142A1 (ko) * 2016-11-18 2018-05-24 주식회사 디바이스넷 생선의 선도를 검사하는 방법 및 이를 위한 장치
KR20190027431A (ko) * 2017-09-07 2019-03-15 조선대학교산학협력단 생선의 신선도 판별을 수행하기 위한 매체에 저장된 어플리케이션 및 그 어플리케이션이 저장된 스마트 기기

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015232543A (ja) 2014-05-15 2015-12-24 パナソニック株式会社 魚の鮮度推定方法及び鮮度推定装置
US9679189B2 (en) * 2014-09-26 2017-06-13 Panasonic Corporation Elapsed-time determination apparatus, deciding apparatus, deciding method, and non-transitory computer-readable recording medium storing control program
MX2017008822A (es) 2014-12-31 2017-10-19 Wal Mart Stores Inc Sistema y metodo para monitorear emision de gas de productos perecederos.
US10466111B2 (en) 2016-05-05 2019-11-05 Walmart Apollo, Llc Systems and methods for monitoring temperature or movement of merchandise
MX2019013936A (es) 2017-05-23 2020-01-30 Walmart Apollo Llc Sistema de inspeccion automatizado.
DK179931B1 (en) * 2017-09-09 2019-10-11 Apple Inc. DEVICES, METHODS AND GRAPHICAL USER INTERFACES FOR DISPLAYING AN AFFORDANCE ON A BACKGROUND
US11448632B2 (en) 2018-03-19 2022-09-20 Walmart Apollo, Llc System and method for the determination of produce shelf life
US11393082B2 (en) 2018-07-26 2022-07-19 Walmart Apollo, Llc System and method for produce detection and classification
US11715059B2 (en) 2018-10-12 2023-08-01 Walmart Apollo, Llc Systems and methods for condition compliance
US11078020B2 (en) 2018-10-17 2021-08-03 Walmart Apollo, Llc System and method for ripening produce
WO2020106332A1 (en) 2018-11-20 2020-05-28 Walmart Apollo, Llc Systems and methods for assessing products
CN110443262B (zh) * 2019-08-22 2022-11-11 上海海洋大学 基于计算机视觉的鱼体新鲜度快速无损检测方法及其装置
CN112683899A (zh) * 2020-04-29 2021-04-20 海南远生渔业有限公司 一种水产品品质检测方法
CN111768401B (zh) * 2020-07-08 2024-01-26 中国农业大学 一种基于深度学习的冰鲜鲳鱼新鲜度快速分级方法
CN113791049B (zh) * 2021-08-30 2023-02-28 华中农业大学 一种融合nirs和cv对冷鲜鸭肉新鲜度进行快速检测的方法
CN115512429B (zh) * 2022-11-21 2023-03-10 山东理工大学 基于眼部图像识别的养殖鱼产品新鲜度判别方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4226540A (en) * 1977-06-25 1980-10-07 Pfister Gmbh Method for the contactless determination of features of meat quality
JPS57188233A (en) * 1981-05-15 1982-11-19 Tokyo Optical Method and apparatus for measuring diffused light distribution of human crystalline lens
US4650752A (en) * 1983-08-26 1987-03-17 Oriental Yeast Co. Ltd. Method for determining the freshness of fish and mollusks
JPH01204643A (ja) * 1988-02-10 1989-08-17 Nidek Co Ltd 前眼部計測装置
JPH05507225A (ja) * 1990-05-15 1993-10-21 ヴィセックス、インコーポレイテッド 光学診断、治療システム
JPH07213488A (ja) * 1994-01-26 1995-08-15 Nishi Nippon Ryutai Giken:Kk 死亡経過時間判定方法及び魚類鮮度判定方法並びに判定装置
JP2012239471A (ja) * 2011-05-13 2012-12-10 Konami Digital Entertainment Co Ltd ゲーム装置、ゲーム装置の制御方法、ならびに、プログラム
US20130062523A1 (en) * 2011-04-14 2013-03-14 Millipore Corporation Devices and methods for infrared (ir) based quantitation of biomolecules
JP2013072758A (ja) * 2011-09-28 2013-04-22 Seiko Epson Corp 測定装置、測定装置の制御方法およびプログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001053513A1 (fr) * 2000-01-17 2001-07-26 Satake Corporation Systemes et procede de reaction de regeneration atp permettant d'examiner le nucleotide d'adenine, procede de detection d'arn et procede d'amplification d'atp
JP4806285B2 (ja) 2006-04-21 2011-11-02 パナソニック電工株式会社 食用肉の鮮度評価装置及びこれを用いた食用肉の鮮度維持装置
JP5590541B2 (ja) 2009-06-09 2014-09-17 独立行政法人国立高等専門学校機構 鮮度評価装置及び鮮度評価方法
CN202133619U (zh) * 2011-06-13 2012-02-01 浙江海洋学院 一种用于鱼新鲜度检测的鱼眼图像采集架
CN102217668B (zh) * 2011-06-24 2013-01-09 长沙理工大学 一种冷鲜鱼头的保鲜方法
CN103543153B (zh) * 2013-10-24 2017-03-22 浙江农林大学 鱼类新鲜程度光学检测装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4226540A (en) * 1977-06-25 1980-10-07 Pfister Gmbh Method for the contactless determination of features of meat quality
JPS57188233A (en) * 1981-05-15 1982-11-19 Tokyo Optical Method and apparatus for measuring diffused light distribution of human crystalline lens
US4650752A (en) * 1983-08-26 1987-03-17 Oriental Yeast Co. Ltd. Method for determining the freshness of fish and mollusks
JPH01204643A (ja) * 1988-02-10 1989-08-17 Nidek Co Ltd 前眼部計測装置
JPH05507225A (ja) * 1990-05-15 1993-10-21 ヴィセックス、インコーポレイテッド 光学診断、治療システム
JPH07213488A (ja) * 1994-01-26 1995-08-15 Nishi Nippon Ryutai Giken:Kk 死亡経過時間判定方法及び魚類鮮度判定方法並びに判定装置
US20130062523A1 (en) * 2011-04-14 2013-03-14 Millipore Corporation Devices and methods for infrared (ir) based quantitation of biomolecules
JP2012239471A (ja) * 2011-05-13 2012-12-10 Konami Digital Entertainment Co Ltd ゲーム装置、ゲーム装置の制御方法、ならびに、プログラム
JP2013072758A (ja) * 2011-09-28 2013-04-22 Seiko Epson Corp 測定装置、測定装置の制御方法およびプログラム

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
"Fish freshness estimation using eye image processing under white and UV lightings", PROCEEDINGS OF SPIE, vol. 10217, JPN7019000433, 1 May 2017 (2017-05-01), pages 1 - 12, ISSN: 0003980386 *
"Study on detection method for fish freshness based on computer vision", COMPUTER ENGINEERING AND DESIGN, vol. 34, no. 10, JPN7018003056, October 2013 (2013-10-01), CN, pages 3562 - 3567, ISSN: 0003870739 *
"虹彩メラノサイトの死後変化に関する電子顕微鏡的研究", あたらしい眼科, vol. 4, no. 9, JPN7018003055, 30 September 1987 (1987-09-30), JP, pages 1309 - 1312, ISSN: 0003870738 *
近藤直: "鮮魚および肥育牛の目を用いた食品情報", 食品と容器, vol. 第５９巻、第７号, JPN7018003074, 1 July 2018 (2018-07-01), JP, pages 422 - 427, ISSN: 0003980385 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018093142A1 (ko) * 2016-11-18 2018-05-24 주식회사 디바이스넷 생선의 선도를 검사하는 방법 및 이를 위한 장치
KR101914777B1 (ko) * 2016-11-18 2018-11-05 주식회사 디바이스넷 생선의 선도를 검사하는 방법 및 이를 위한 장치
KR20190027431A (ko) * 2017-09-07 2019-03-15 조선대학교산학협력단 생선의 신선도 판별을 수행하기 위한 매체에 저장된 어플리케이션 및 그 어플리케이션이 저장된 스마트 기기
KR101987990B1 (ko) * 2017-09-07 2019-06-12 조선대학교산학협력단 생선의 신선도 판별을 수행하기 위한 매체에 저장된 어플리케이션 및 그 어플리케이션이 저장된 스마트 기기

Also Published As

Publication number Publication date
JP6499430B2 (ja) 2019-04-10
US20150247807A1 (en) 2015-09-03
CN104880412A (zh) 2015-09-02
CN104880412B (zh) 2020-02-07
US9316595B2 (en) 2016-04-19

Similar Documents

Publication Publication Date Title
JP6499430B2 (ja) 鮮度情報出力方法、鮮度情報出力装置、制御プログラム
US11452455B2 (en) Skin reflectance and oiliness measurement
JP6545658B2 (ja) ビリルビンレベルを推定すること
US20150359459A1 (en) Systems, devices, and methods for estimating bilirubin levels
US11069057B2 (en) Skin diagnostic device and skin diagnostic method
JP6418552B2 (ja) 保存環境情報出力方法、保存環境情報出力装置、及び、制御プログラム
WO2016121518A1 (ja) 情報処理装置、情報処理方法、およびプログラム
US20190298252A1 (en) Imaging-based methods and apparatuses for assessing skin pigmentation
WO2019046003A1 (en) GRANULARITY CONTRAST ANALYSIS USING AUTOMATIC LEARNING TO VISUALIZE A FLOW
JP2018538513A (ja) 物体の反射率を決定するための方法及び関連するデバイス
Adams et al. Effects of specular highlights on perceived surface convexity
JP2024037793A (ja) 情報処理装置、情報処理方法及びプログラム
US20200121228A1 (en) Bilirubin estimation using sclera color and accessories therefor
JP2017083378A (ja) 魚情報提示方法及び魚情報提示装置
EP4216808A1 (en) Acne severity grading methods and apparatuses
JP6817782B2 (ja) 脈拍検出装置及び脈拍検出方法
WO2018011928A1 (ja) 画像処理装置、画像処理装置の作動方法及び画像処理装置の作動プログラム
JP2021058361A (ja) 生体情報取得装置およびプログラム
EP4060617A1 (en) Image processing system and method
JP2016162124A (ja) 調理法決定方法及び調理法決定装置
JP2016202385A (ja) 魚類保存状態出力方法、魚類保存状態出力装置及び制御プログラム
US20220051399A1 (en) Method and system for determining well-being indicators
JPWO2015068494A1 (ja) 器官画像撮影装置
Taylor et al. On the number of perceivable blur levels in naturalistic images
EP4111954A1 (en) Generating a representation of tissue from an ambient light corrected image

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171107

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180829

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180904

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20181024

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190226

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190315

R151 Written notification of patent or utility model registration

Ref document number: 6499430

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151