JP2023058159A - 測定システム、情報処理装置、情報処理方法およびプログラム - Google Patents

測定システム、情報処理装置、情報処理方法およびプログラム Download PDF

Info

Publication number
JP2023058159A
JP2023058159A JP2021167965A JP2021167965A JP2023058159A JP 2023058159 A JP2023058159 A JP 2023058159A JP 2021167965 A JP2021167965 A JP 2021167965A JP 2021167965 A JP2021167965 A JP 2021167965A JP 2023058159 A JP2023058159 A JP 2023058159A
Authority
JP
Japan
Prior art keywords
camera
scale
size
fish
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021167965A
Other languages
English (en)
Other versions
JP7155375B1 (ja
Inventor
浩司 齋藤
Koji Saito
陽一 牧
Yoichi Maki
達也 中野
Tatsuya Nakano
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Maruha Nichiro Corp
Original Assignee
Maruha Nichiro Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Maruha Nichiro Corp filed Critical Maruha Nichiro Corp
Priority to JP2021167965A priority Critical patent/JP7155375B1/ja
Application granted granted Critical
Publication of JP7155375B1 publication Critical patent/JP7155375B1/ja
Publication of JP2023058159A publication Critical patent/JP2023058159A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/80Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in fisheries management
    • Y02A40/81Aquaculture, e.g. of fish

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

【課題】正確な魚の重量およびサイズを容易に得る。【解決手段】対象物の重さを測定する秤20と、秤20に搭載された対象物を撮像するカメラ30と、カメラ30が撮像した画像について画像処理を行い、画像処理の結果に基づいて、対象物のサイズを算出するサイズ算出部100と、秤20が測定した重さと、サイズ算出部100が算出したサイズと、カメラ30が撮像した画像とを対応付けて記憶する記憶部200とを有する。【選択図】図1

Description

本発明は、測定システム、情報処理装置、情報処理方法およびプログラムに関する。
魚類の商取引においては、取引される魚類のサイズや重量に応じて取引の価格や取引先等が決定する。また、魚類を養殖する手順は、魚類の成長の状態に応じて決まってくるケースもある。そのため、魚類のサイズや重量を測定することは必須である。作業者が手作業で魚のサイズや重量を測定する手間を省くために、魚の撮像画像を用いた測定方法が考えられている。例えば、カメラを用いて撮像した撮像画像に含まれる魚について、基準線に従って区分した区分領域における計測利用点の座標を算出する。そして、算出した座標と基準線とに基づいて魚の長さを算出する技術が開示されている(例えば、特許文献1参照。)。
国際公開2019-172363号公報
特許文献1に記載された技術は、魚の体高を算出するために基準線に従った区分領域や座標を算出する必要がある。また、魚の重量は測定した魚の長さに基づいて算出されるため、正確な重量を得ることが困難である。このように、正確な魚の重量およびサイズを容易に得ることが困難であるという問題点がある。
本発明の目的は、正確な魚の重量およびサイズを容易に得ることができる測定システム、情報処理装置、情報処理方法およびプログラムを提供することにある。
本発明の測定システムは、
対象物の重さを測定する秤と、
前記秤に搭載された前記対象物を撮像するカメラと、
前記カメラが撮像した画像について画像処理を行い、該画像処理の結果に基づいて、前記対象物のサイズを算出するサイズ算出部と、
前記秤が測定した重さと、前記サイズ算出部が算出したサイズと、前記カメラが撮像した画像とを対応付けて記憶する記憶部とを有する。
また、本発明の情報処理装置は、
対象物の重さを測定する秤に搭載された前記対象物を撮像するカメラが撮像した画像について画像処理を行い、該画像処理の結果に基づいて、前記対象物のサイズを算出するサイズ算出部と、
前記秤が測定した重さと、前記サイズ算出部が算出したサイズと、前記カメラが撮像した画像とを対応付けて記憶する記憶部とを有する。
また、本発明の情報処理方法は、
対象物の重さを測定する秤に搭載された前記対象物を撮像するカメラが撮像した画像について画像処理を行い、該画像処理の結果に基づいて、前記対象物のサイズを算出する処理と、
前記秤が測定した重さと、前記算出したサイズと、前記カメラが撮像した画像とを対応付けてデータベースに記憶する処理とを行う。
また、本発明のプログラムは、
コンピュータに実行させるためのプログラムであって、
コンピュータに、
対象物の重さを測定する秤に搭載された前記対象物を撮像するカメラが撮像した画像について画像処理を行い、該画像処理の結果に基づいて、前記対象物のサイズを算出する手順と、
前記秤が測定した重さと、前記算出したサイズと、前記カメラが撮像した画像とを対応付けてデータベースに記憶する手順とを実行させる。
本発明においては、魚の正確な重量およびサイズを容易に得ることができる。
本発明の測定システムの第1の実施の形態を示す図である。 図1に示した測定システムの外観の一例を示す図である。 図1に示した情報処置装置の内部構成の一例を示す図である。 図3に示した積算部、微分部および体高算出部における処理の一例を説明するための図である。 図3に示した積算部、微分部および体高算出部における処理の一例を説明するための図である。 図3に示した体高算出部における処理の他の例を説明するための図である。 図3に示した体高算出部における処理の他の例を説明するための図である。 図3に示した体高算出部における処理の他の例を説明するための図である。 図1に示した測定システムにおける情報処理方法の一例を説明するためのフローチャートである。 図2に示した秤をAの方向から見た搭載部材の形状の一例を示す図である。 図2に示した秤をBの方向から見た搭載部材の形状の一例を示す図である。 図2に示した秤をAの方向から見た搭載部材の形状の他の例を示す図である。 図2に示した秤をBの方向から見た搭載部材の形状の他の例を示す図である。 図2に示した秤をBの方向から見た搭載部材の形状の他の例を示す図である。 図2に示した秤をBの方向から見た搭載部材の形状の他の例を示す図である。 図2に示した秤をBの方向から見た搭載部材の形状の他の例を示す図である。 図1に示した測定システムの外観の他の例を示す図である。 図16に示した秤をAの方向から見た搭載部材の形状の一例を示す図である。 図16に示した秤をBの方向から見た搭載部材の形状の一例を示す図である。 本発明の測定システムの第2の実施の形態を示す図である。 図18に示した測定システムの外観の一例を示す図である。 図18に示した表示部における表示態様の一例を示す図である。 図18に示したサイズ算出部が魚の画像の一部を用いてサイズを算出する方法を説明するための図である。 図18に示した表示部がスケールを表示した表示画面の一例を示す図である。 本発明の測定システムの第3の実施の形態を示す図である。 複数のマーカが付与された搭載部材に搭載された魚をカメラが撮像した画像の一例を示す図である。
以下に、本発明の実施の形態について図面を参照して説明する。
(第1の実施の形態)
図1は、本発明の測定システムの第1の実施の形態を示す図である。本形態における測定システムは図1に示すように、情報処理装置10と、秤20と、カメラ30とを有する。秤20は、対象物の重さを測定する。対象物は、例えば魚(魚類)である。秤20は、電子秤であっても良い。カメラ30は、秤20の対象物を搭載する部分(搭載部材。例えば、皿や筒。)に搭載された対象物を撮像する撮像装置である。カメラ30は、秤20が測定した重さが所定の閾値を超えると、対象物を撮像する。この閾値は、測定対象となる対象物が秤20に載せられたときにカメラ30がその対象物を撮像するように、対象物の重量に基づいてあらかじめ設定されている値である。カメラ30は、単眼のものであっても良いし、ステレオカメラのような複眼のものであっても良い。カメラ30から搭載部材までの距離が決められた一定のものであれば、カメラ30は、単眼のものを使用することができる。また、カメラ30は、撮像対象物の輪郭を識別可能に撮像できるものであっても良い。例えば、カメラ30は、撮像対象物のシルエット画像を取得するものであっても良い。また、カメラ30は、サーマルカメラや、赤外線カメラであっても良い。また、カメラ30として、三次元距離計測器を用いても良い。情報処理装置10は、秤20が測定した重さと、カメラ30が撮像した画像とに基づいて処理を行う装置である。情報処理装置10は、サイズ算出部100と、記憶部200とを有する。
図2は、図1に示した測定システムの外観の一例を示す図である。図1に示した測定システムの秤20には図2に示すように、搭載部材21と、重量表示部22とが設けられている。搭載部材21は、対象物を搭載する搭載面を有する部材である。重量表示部22は、測定した重さを表示する。また、情報処理装置10が、秤20とカメラ30とに接続されている。情報処理装置10と秤20とは、無線または有線を介して接続されている。情報処理装置10とカメラ30とは、無線または有線を介して接続されている。秤20と重量表示部22とは、無線または有線を介して接続されている。カメラ30は、秤20の搭載部材21の上方であって、搭載部材21に搭載された対象物を撮像可能な位置に設置されている。
図3は、図1に示した情報処理装置10の内部構成の一例を示す図である。図1に示した情報処理装置10は図3に示すように、サイズ算出部100と、記憶部200とを有する。さらに、サイズ算出部100は、長さ算出部110と、有無情報付与部120と、積算部130と、微分部140と、体高算出部150とを有する。なお、図3には、図1に示した情報処理装置10が有する構成要素のうち、本形態に関わる主要な構成要素のみを示す。
記憶部200は、秤20が測定した重さと、サイズ算出部100が算出したサイズと、カメラ30が撮像した画像とを対応付けて記憶するデータベースである。記憶部200は、情報処理装置10の外部からアクセス可能な記憶媒体である。記憶部200は、外部からのアクセスを制限するものであっても良い。この場合、あらかじめ登録されたIDや認証コード等を用いたアクセスだけを許可するものであっても良い。
長さ算出部110は、カメラ30が撮像した撮像画像について画像処理を行う。長さ算出部110は、画像処理の結果に基づいて対象物である魚の長さを算出する。撮像画像の画像処理の結果から長さを算出する方法については、特に規定しない。その方法は、例えば、カメラ30が撮像した撮像画像と、あらかじめ登録された複数の魚の画像とを比較し、撮像画像に含まれる対象物(魚)の部位等を判定して、長さを算出する方法であっても良い。ここで、魚の長さとは、標準体長、尾叉長、全長等、魚の吻端部分から尾鰭への方向のあらかじめ決められた部分の長さである。
有無情報付与部120は、カメラ30が撮像した撮像画像の画素ごとに対象物の有無に応じた有無情報を付与する。例えば、有無情報付与部120は、カメラ30が撮像した撮像画像の画素ごとに二値化処理を行う。そして、有無情報付与部120は、二値化した値それぞれをそれぞれの画素に有無情報として付与する。その場合、有無情報付与部120は、例えば、対象物が「有る」と判定した画素に「1」を付与し、対象物が「無い」と判定した画素に「0」を付与しても良い。また、有無情報付与部120における二値化処理の方法として、例えば、クロマキー、背景差分、Grab Cut、機械学習によるセマンティックセグメンテーション等を用いても良い。
積算部130は、対象物の長さの方向に並ぶ複数の画素から構成される画素列ごとに、有無情報付与部120が画素ごとに付与した有無情報を長さの方向に積算(加算)する。有無情報の値が上述したような「1」および「0」である場合、積算部130はそれらの値を画素列ごとに加算する。積算部130は、積算した値と画素列との対応付けをグラフに示す。このグラフにおける画素列を示す情報は、対象物(魚)の長さの方向と垂直の方向におけるその画素列の位置が認識できる情報である。
微分部140は、積算部130が積算した結果を画素列に並べて微分する。具体的には、微分部140は、上述したように積算部130が積算した値と画素列との対応付けを示したグラフを微分する。この微分により、微分部140は、画素列の変化に対する積算値の変化の割合を得ることができる。詳細は後述する。
体高算出部150は、微分部140が微分した結果から特徴的な画素列を2か所抽出し、抽出した2か所の画素列それぞれに対応する位置の互いの間の長さを、カメラ30が撮像した撮像画像に含まれる魚の体高として算出する。ここで、特徴的な画素列とは微分部140が微分した結果の全体的または局所的な最大値、最小値、平均値、中央値に相当する画素列または微分結果をさらに曲線近似した結果から求められる最大値、最小値に相当する画素列である。詳細は後述する。
図4および図5は、図3に示した積算部130、微分部140および体高算出部150における処理の一例を説明するための図である。ここでは、有無情報付与部120が、カメラ30が撮像した撮像画像を二値化処理した場合を例に挙げて説明する、有無情報付与部120は、カメラ30が撮像した撮像画像を二値化処理して、白黒(白色は対象物「有り」、黒色は対象物「無し」)の表示となるように処理を行う。図4に示すように、積算部130は、まず長さ算出部110が算出した長さ(例えば、尾叉長)の線分の向きが、積算部130が用いる画素列の並びと水平になるように画像を回転させる。また、積算部130が、長さ算出部110が長さを算出した際に行った画像処理の結果に基づいて、魚の頭の部分と尾の部分とを削除して、中央部分を抽出する。この魚の頭の部分と尾の部分とを削除する理由は、これらの部分が魚の体高を算出する際に不要であるからである。続いて、図5に示すように、積算部130は、長さの方向に並ぶ複数の画素から構成される画素列ごとに、二値化した値を長さの方向に積算する。積算部130は、積算した値と画素列との対応付けを、画素列の変化に対する積算値の変化が識別できるように折れ線グラフに示す。続いて、微分部140が、折れ線グラフを画素列について微分することで、折れ線グラフにおける画素列の変化に対する積算値の変化の割合を得る。体高算出部150は、微分部140が微分した値が最大となる画素列に応じた位置(図5に示したC)と最小となる画素列に応じた位置(図5に示したD)との間の長さを、カメラ30が撮像した撮像画像に含まれる魚の体高として算出する。以下の説明において、体高算出部150が体高を算出する際の対象物の上辺(背鰭側、上端)の位置を上辺基準位置とし、下辺(胸鰭側、下端)の位置を下辺基準位置とする。
図6は、図3に示した体高算出部150における処理の他の例を説明するための図である。図6に示すように、微分部140が微分した値が最小となる画素列に応じた位置が複数ある場合、体高算出部150は、その複数の位置のうちいずれか(例えば、対象物の中心から遠い位置)を下辺基準位置(図6に示したD)として魚の体高を算出しても良い。同様に、微分部140が微分した値が最大となる画素列に応じた位置が複数ある場合、体高算出部150は、その複数の位置のうち対象物の中心から遠い位置を上辺基準位置として魚の体高を算出しても良い。また、微分部140が微分した値が最小となる画素列に応じた位置および最大となる画素列に応じた位置がそれぞれ複数ある場合、体高算出部150は、微分した値が最小となる画素列に応じた複数の位置のうち対象物の中心から遠い位置を下辺基準位置とし、微分した値が最大となる画素列に応じた複数の位置のうち対象物の中心から遠い位置を上辺基準位置として魚の体高を算出しても良い。
図7は、図3に示した体高算出部150における処理の他の例を説明するための図である。図7に示すように、体高算出部150は、微分部140が微分した値が所定の閾値よりも大きな値となる画素列に応じた位置の中央値となる位置や平均値となる位置を上辺基準位置(図7に示したC)として魚の体高を算出しても良い。同様に、体高算出部150は、微分部140が微分した値が所定の閾値よりも小さな値となる画素列に応じた位置の中央値となる位置や平均値となる位置を下辺基準位置として魚の体高を算出しても良い。
図8は、図3に示した体高算出部150における処理の他の例を説明するための図である。図8に示すように、体高算出部150は、微分部140が微分した値の近似曲線を用いて、近似曲線にて微分部140が微分した値が最大となる画素列に応じた位置を上辺基準位置として魚の体高を算出しても良い。同様に、体高算出部150は、微分部140が微分した値の近似曲線を用いて、近似曲線にて微分部140が微分した値が最小となる画素列に応じた位置を下辺基準位置として魚の体高を算出しても良い。
以下に、図1に示した測定システムにおける情報処理方法について説明する。図9は、図1に示した測定システムにおける情報処理方法の一例を説明するためのフローチャートである。ここでは、長さ算出部110が算出する魚の長さが尾叉長である場合を例に挙げて説明する。また、体高算出部150が図5を参照して説明した方法を用いて体高を算出する場合を例に挙げて説明する。
まず、秤20が測定した重さがあらかじめ設定された閾値を超えたかどうかが判定される(ステップS1)。このステップS1の判定を秤20が行っても良い。その場合、秤20が測定した重さがあらかじめ設定された閾値を超えると、その旨を秤20がカメラ30へ通知する。また、ステップS1の判定をカメラ30が行っても良い。この場合、秤20が測定した重さが秤20からカメラ30へ通知され、通知されてきた重さがあらかじめ設定された閾値を超えたかどうかをカメラ30が判定する。また、ステップS1の判定を情報処理装置10が行っても良い。この場合、秤20が測定した重さが秤20から情報処理装置10へ通知され、通知されてきた重さがあらかじめ設定された閾値を超えたかどうかを情報処理装置10が判定する。このとき、情報処理装置10は、秤20から通知されてきた重さを、秤20が設置されている位置に基づいて補正しても良い。例えば、情報処理装置10は、秤20が設置されている位置が、引力の大きさに対する重力の大きさの比率が小さい位置であるほど、秤20から通知されてきた重さの値を大きくするように補正しても良い。また、秤20が船上に設置されている場合、海水の流れに応じた船の揺れやエンジンの振動に伴い、秤20が測定した値が小刻みに変動することが考えられる。そのような場合に、秤20が測定した値からその揺れに応じた小刻みな変動を除去する必要がある。そこで、情報処理装置10は、秤20から通知されてきた重さを、ローパスフィルタを用いて補正しても良い。そして、通知されてきた重さまたは補正した重さがあらかじめ設定された閾値を超えると、その旨を情報処理装置10がカメラ30へ通知する。
秤20が測定した重さがあらかじめ設定された閾値を超えた場合、カメラ30は対象物の撮像を開始する(ステップS2)。すると、長さ算出部110が、カメラ30が撮像した画像について所定の画像処理を行う。長さ算出部110は、画像処理の結果に基づいて、対象物である魚の尾叉長を算出する(ステップS3)。また、有無情報付与部120が、カメラ30が撮像した画像の画素ごとに対象物の有無に応じた有無情報を付与する(ステップS4)。ここでは、有無情報付与部120は、カメラ30が撮像した画像の画素ごとに二値化処理を行い、二値化した値それぞれをそれぞれの画素に有無情報として付与する場合を例に挙げる。
続いて、積算部130は、長さ算出部110が算出した尾叉長の線分の向きが、積算部130が用いる画素列の並びと水平になるように画像を回転させる(ステップS5)。ここで、積算部130が用いる画素列の並びとは、次のステップS6において積算部130が二値化情報を積算する画素列の並ぶ方向である。その後、積算部130は、長さ算出部110が算出した魚の尾叉長の方向に並ぶ複数の画素から構成される画素列ごとに、有無情報付与部120が画素ごとに付与した二値化情報である「0」および「1」を尾叉長の方向に積算(加算)する(ステップS6)。続いて、微分部140は、積算部130が積算した値と画素列との対応付けを示したグラフを微分して画素列の変化に対する積算値の変化の割合を算出する(ステップS7)。そして、体高算出部150は、微分部140が微分した値が最大となる画素列に応じた位置と最小となる画素列に応じた位置との間の長さを、カメラ30が撮像した撮像画像に含まれる魚の体高として算出する(ステップS8)。記憶部200は、秤20が測定した重さと、長さ算出部110が算出した魚の尾叉長と、体高算出部150が算出した魚の体高と、カメラ30が撮像した画像とを対応付けて記憶する(ステップS9)。また、体高算出部150が体高を算出する際の上辺基準位置および下辺基準位置の決め方についてはステップS8の方法に限らず、図6~8を用いて説明した方法でも良い。
なお、ステップS5における回転角度を少しずつ変化させてステップS5~S8の処理を所定の回数繰り返し行い、体高算出部150が、その結果得られた複数の値を平均して魚の体高としても良い。このとき、体高算出部150は、外れ値を除いて平均値を算出しても良い。これにより、体高の算出の精度を向上させることができる。
このように、本形態においては、秤20に載せた対象物をカメラ30が撮像し、撮像した画像についてサイズ算出部100が画像処理を行う。続いて、画像処理の結果に基づいて、サイズ算出部100が対象物のサイズを算出し、秤20が測定した重さとサイズ算出部100が算出したサイズとカメラ30が撮像した画像とを対応付けて記憶する。そのため、魚の正確な重量およびサイズを容易に得ることができる。また、魚の画像と重量とサイズとを対応付けたデータベースを得ることができる。また、測定場所や測定日時、魚種についても、その対応付けに紐づけて記憶しておくことが容易になる。
なお、秤20は、魚を載せる搭載部材21の形状を工夫したものであっても良い。図10Aは、図2に示した秤20をAの方向から見た搭載部材21の形状の一例を示す図である。図10Bは、図2に示した秤20をBの方向から見た搭載部材21の形状の一例を示す図である。
図10Aに示すように、秤20の対象物(魚)を搭載する搭載部材21の搭載面は、例えば、搭載部材21の長手方向である第1の方向の一方の端部(図10Aの右側)から他方の端部(図10Aの左側)へ向かって下降するように傾斜している。また、他方の端部(図10Aの左側)には、第1の方向と直交する、例えば幅方向である第2の方向に延びる壁部23が設けられている。第1の方向と第2の方向とは、厳密に直交していなくても良い。壁部23の高さは、搭載部材21の搭載面の位置よりも高い。壁部23の高さは、搭載部材21に対象物(魚)を搭載したときに、対象物(魚)が壁部23を超えて搭載部材21から落下しない高さが好ましい。
また、図10Bに示すように、秤20の対象物(魚)を搭載する搭載部材21の搭載面は、第2の方向の両端からほぼ中心の最下部(合流位置)へ向かってそれぞれ下降するように傾斜している。つまり、搭載部材21の搭載面はBの方向から見るとV字型の形状を有する。なお、壁部23は、図2に示したBの方向から見たときに、搭載部材21の搭載面と同様の傾斜のV字型の形状を有しても良い。
図11は、図2に示した秤20をAの方向から見た搭載部材21の形状の他の例を示す図である。図11に示すように図10Aおよび図10Bに示した壁部23の一方の端部(図11の右側)の側に目隠し部24が設けられている。目隠し部24は、魚が搭載部材21に搭載され、壁部23に頭部が近接した状態で、魚の目を覆うように取り付けられている。これにより、搭載部材21に搭載された魚の動きの沈静化を図ることができる。
図12は、図2に示した秤20をBの方向から見た搭載部材21の形状の他の例を示す図である。図12に示すように、搭載部材21の搭載面が鉛直方向の下方向に凹んだ椀状の形状をしている。図12に示した例における、図2に示した秤20をAの方向から見た搭載部材21の形状は、図10Aに示したような、搭載部材21の一方の端部から他方の端部へ向かって下降するように傾斜しているものであっても良い。また、図10Aに示したような壁部23が設けられていても良い。これにより、搭載部材21に搭載された魚の動きを抑制することができる。
図13は、図2に示した秤20をBの方向から見た搭載部材21の形状の他の例を示す図である。図13に示した例は、図10Bに示した例と比較して、第2の方向の両端から搭載面が下降した最下部(合流位置)の位置が、一方の端部からの距離の方が短い距離となっている。短い距離の方の端部を第1の方向における壁部23のように用いることもできる。図13に示した例における、図2に示した秤20をAの方向から見た搭載部材21の形状は、図10Aに示したような、搭載部材21の一方の端部から他方の端部へ向かって下降するように傾斜しているものであっても良い。これにより、搭載部材21に搭載された魚の動きを抑制することができる。
図14は、図2に示した秤20をBの方向から見た搭載部材21の形状の他の例を示す図である。図14に示した例では、搭載部材21の搭載面が、第2の方向の両端部それぞれから所定の距離だけ下降するように傾斜し、傾斜した端部の互いの位置の間が水平になっている。図14に示した例における、図2に示した秤20をAの方向から見た搭載部材21の形状は、図10Aに示したような、搭載部材21の一方の端部から他方の端部へ向かって下降するように傾斜しているものであっても良い。これにより、搭載部材21に搭載された魚を搭載部材21から落下させてしまうことを防ぐことができる。
図15は、図2に示した秤20をBの方向から見た搭載部材21の形状の他の例を示す図である。図15に示した例は、図13に示した形状の2つの搭載部材21を第2の方向における中心位置を対称に第2の方向に並べた形状と同じ形状である。図15に示した例における、図2に示した秤20をAの方向から見た搭載部材21の形状は、図10Aに示したような、搭載部材21の一方の端部から他方の端部へ向かって下降するように傾斜しているものであっても良い。これにより、搭載部材21に搭載された魚の動きを抑制することができる。さらに、2つの魚の測定を一度に行うことができる。
なお、図10A,10Bおよび図11~15に示した搭載部材21には、搭載面に水が溜まらないように、所定の位置に水抜き孔やスリット等が設けられていても良い。また、図10A,10Bおよび図11~15に示したそれぞれの形状を互いに組み合わせても良い。なお、本発明は、搭載部材21の搭載面が水平方向に平行な面であるものを除外するものではない。
このように搭載部材21が図10Aおよび図10B、または図11~15に示すような形状であることで、搭載部材21に搭載された対象物(魚)が搭載部材21上で滑り動くことや搭載部材21から落下することを抑制することができる。これにより、秤20を用いた対象物(魚)の重量測定およびカメラ30を用いた対象物(魚)の撮像を安定して行うことができる。
図16は、図1に示した測定システムの外観の他の例を示す図である。図2に示した例と比較すると、搭載部材の形状およびカメラの撮像方向が異なる。図16に示した例では、秤20の搭載部材25が鉛直方向の上方向が開口したU字形の形状をしている。また、カメラ30が搭載部材25の水平方向から撮像を行う位置に配置されている。また、搭載部材25は、少なくともカメラ30が撮像する方向(図16のA方向)の面が透明な部材から構成されている。カメラ30と、秤20,重量表示部22および情報処理装置10との間の接続については図示していないが、その接続態様については図2に示したものと同様である。
図17Aは、図16に示した秤をAの方向から見た搭載部材の形状の一例を示す図である。図17Aに示すように、秤20の対象物(魚)を搭載する搭載部材25の搭載面は、例えば、搭載部材25の長手方向である第1の方向の一方の端部(図17Aの右側)から他方の端部(図17Aの左側)へ向かって下降するように傾斜している。また、他方の端部(図17Aの左側)には、壁部26が設けられている。壁部26の高さは、搭載部材25の搭載面の位置よりも高い。壁部26の高さは、搭載部材25に対象物(魚)を搭載したときに、対象物(魚)が壁部26を超えて搭載部材25から落下しない高さが好ましい。
図17Bは、図16に示した秤をBの方向から見た搭載部材の形状の一例を示す図である。図17Bに示すように、秤20の対象物(魚)を搭載する搭載部材25およびその搭載面は鉛直方向の上方向が開口したU字形の形状をしている。搭載面のU字形の幅は、搭載部材25に搭載される魚の体幅に応じたサイズである。魚を搭載部材25に搭載したときに、魚の頭部が壁部26の方向に、また背鰭が鉛直方向の上方向に向くように納まるサイズである。なお、搭載部材25および搭載面の形状は図17Bに示すようなU字形に限らず、V字形や相当な形状であっても良い。これにより、搭載部材25に搭載された魚の動きを抑制することができる。
上述した実施の形態においては、対象物を搭載する搭載部材である皿状や椀状の搭載面に搭載された対象物を上方または水平方向から撮像する場合を例に挙げて説明したが、例えば、上述したような所定の面が透明である椀状の搭載部材や透明な筒状の搭載部材に対象物を搭載し、その搭載部材または対象物を吊るした状態で水平方向から対象物を撮像するものであっても良い。搭載部材は、柔軟な素材を用いたシート等であっても良い。この場合の秤は、対象物を吊り下げてその重さを測定する吊り下げ型の秤を用いる。秤が対象物の重さを測定しながら、その対象物の画像を撮像することができる形態であれば、本発明を適用することはできる。なお、搭載部材を用いずに対象物を吊り下げて、重さを測定するとともに画像を撮像するものであっても良い。
(第2の実施の形態)
図18は、本発明の測定システムの第2の実施の形態を示す図である。本形態における測定システムは図18に示すように、情報処理装置11と、秤20と、カメラ30と、表示部40とを有する。秤20およびカメラ30それぞれは、第1の実施の形態におけるそれぞれと同じものである。表示部40は、秤20が測定した重さと、サイズ算出部101が算出したサイズと、カメラ30が撮像した画像とを表示する。また、表示部40は、カメラ30が撮像した画像と所定の範囲情報とを重ねて表示する。範囲情報とは、縦および横の長さがあらかじめ設定された矩形の範囲を示す枠である。情報処理装置11は、秤20が測定した重さと、カメラ30が撮像した画像とに基づいて処理を行う装置である。
情報処理装置11は、サイズ算出部101と、記憶部200とを有する。記憶部200は、第1の実施の形態におけるものと同じものである。サイズ算出部101は、表示部40が表示する範囲情報に含まれる画像について画像処理を行い、対象物(魚)のサイズを算出する。対象物(魚)のサイズの算出方法については、第1の実施の形態におけるものと同じで良い。
図19は、図18に示した測定システムの外観の一例を示す図である。図18に示した測定システムは図19に示すように、情報処理装置11に表示部40が接続されている。情報処理装置11と表示部40とは、無線または有線を介して接続されている。その他の構成については、第1の実施の形態と同じで良い。表示部40の設置場所は、秤20を用いて対象物(魚)の重さを測定している作業者が表示部40の表示を見ることができる位置であれば良い。
図20は、図18に示した表示部40における表示態様の一例を示す図である。図18に示した表示部40は図20に示すように、サイズ算出部101が算出した対象物(魚)の尾叉長および体高と、秤20が測定した対象物(魚)の重さ(体重)と、カメラ30が撮像した対象物(魚)の画像とを表示する。これらの情報は記憶部200に記憶されている情報である。情報処理装置11内部の制御部(不図示)が、これらの情報を記憶部200から読み出して、表示部40に表示させるものであっても良い。
また、サイズ算出部101が魚のサイズを算出する際に、カメラ30が撮像した魚の画像の一部のみを用いても良い。図21は、図18に示したサイズ算出部101が魚の画像の一部を用いてサイズを算出する方法を説明するための図である。図21に示すように、サイズ算出部101が尾叉長を算出するには、カメラ30が撮像した魚の画像の上下の部分を除いた中央部分のみを用いることで算出することができる。また、サイズ算出部101が体高を算出するには、カメラ30が撮像した魚の画像の左右(前後)の部分を除いた中央部分のみを用いることで算出することができる。この上下方向の中央部分および左右方向(前後方向)の中央部分は、上述したような表示部40がカメラ30が撮像した画像と重ねて表示する範囲情報によって囲まれた部分である。表示部40が表示する範囲情報は、あらかじめ設定されている範囲を示す情報である。範囲情報は、この範囲情報の枠に魚の中央部分が含まれるような搭載部材21の位置に魚を搭載するための範囲を示す。範囲情報は、表示部40において、他の部分と識別可能に表示される。例えば、この範囲情報の表示は、所定の色が付されたものであっても良い。このような範囲情報を用いてサイズの算出に用いる範囲を指定する。これにより、サイズ算出部101における演算量を低減し、処理の高速化および省電力化を実現することができる。
また、表示部40は、カメラ30が撮像した画像に重ねて、スケールを表示するものであっても良い。図22は、図18に示した表示部40がスケールを表示した表示画面の一例を示す図である。図18に示した表示部40は図22に示すように、カメラ30が撮像した画像に重ねて、搭載部材21に搭載された魚のサイズを視認するためのスケールを表示する。このスケールは、カメラ30が撮像した対象物の表示部40における表示の大きさに応じて設定されたものである。また、表示されるスケールの単位は特に規定しない。スケールの単位はあらかじめ設定されているものであっても良いし、外部から調整可能なものであっても良い。このように、カメラ30が撮像した画像に重ねてスケールを表示部40が表示することで、作業者が表示部40を見ながら対象物(魚)のサイズを認識することができる。なお、図22に示した例では、表示されたスケールが、表示部40が表示する画像の縦方向に延び、横方向に並ぶものであるが、これに限らない。例えば、表示部40が表示する画像の横方向に延び、縦方向に並ぶスケールを表示部40が表示しても良いし、所定の形状(例えば、表示する魚の形状に応じた複数の楕円形)であっても良く、魚のサイズを確認することを支援できるものであれば良い。
このように、本形態における測定システムは表示部40を具備する。表示部40が、カメラ30が撮像した画像と測定結果とを表示する。これにより、どの魚の測定結果であるかを認識することができる。また、表示部40は、カメラ30が撮像した画像に重ねて、スケールを表示する。これにより、魚の測定の作業を行う作業者が、魚のサイズを確認しながら撮像等の作業を行うことができる。
(第3の実施の形態)
図23は、本発明の測定システムの第3の実施の形態を示す図である。本形態における測定システムは図23に示すように、情報処理装置12と、秤20と、カメラ31とを有する。秤20は、第1の実施の形態におけるそれぞれと同じものである。カメラ31は、第1の実施の形態におけるカメラ30が具備する機能に加えて、外部からパラメータを制御することが可能な機能を有する。
情報処理装置12は、サイズ算出部100と、記憶部200と、撮像制御部300と、前処理部400とを有する。サイズ算出部100および記憶部200のそれぞれは、第1の実施の形態におけるそれぞれと同じものである。
撮像制御部300は、カメラ31が撮像した画像に所定のマーカが含まれる場合、そのマーカが示す情報に基づいて、カメラ31のパラメータを制御する。撮像制御部300は、以下に挙げるパラメータの一部もしくは全部をマーカが示す情報に基づいて自動設定するだけではなく、測定した重量や撮像した魚の画像に基づいて判定して自動設定しても良い。また、自動設定される範囲をあらかじめ決めておいても良い。
(1)撮像パラメータ
・フォーカス(焦点距離)
・ホワイトバランス
・露光時間
・解像度
・ズーム(拡大、縮小の度合い)
・コントラスト
(2)サイズ算出用パラメータ
・画像解析対象領域の特定
・基準線の特定
(3)その他のパラメータ
・測定開始の指定およびタイミング
・測定停止、再開の指定およびタイミング
・測定終了の指定およびタイミング
・再測定の指定およびタイミング
前処理部400は、カメラ31が撮像した画像にマーカが含まれる場合、そのマーカが示す情報に基づいて、サイズを算出する前の前処理を行う。前処理部400が行う前処理は、例えば、画像解析領域の切り出し、台形補正(射影変換)、画像サイズ変換、図22に示すようなスケールの表示設定等である。
図24は、複数のマーカが付与された搭載部材21に搭載された魚をカメラ31が撮像した画像の一例を示す図である。図24に示すように、魚が搭載された秤20の搭載部材21に複数のマーカ211~215が付与されている。マーカ211~215は、カメラ31が魚を撮像した画像から識別可能な印である。マーカ211~215は、搭載部材21に所定の情報を示す文字や模様、図形等が、焼付けや塗装、印刷されていても良い。また、マーカ211~215は、所定の情報を示す文字や模様、図形等が表示されたシール等であって搭載部材21の搭載面に貼り付けられていても良い。マーカ211~215が示す情報とは、例えば、位置を示す情報や、搭載部材21に搭載された対象物(例えば、魚)の種類を示す情報である。撮像制御部300は、カメラ31が撮像した画像に含まれるマーカ211~215からその位置を認識する。そして、撮像制御部300は、認識したマーカ211~215の位置に基づいて、搭載部材21が撮像範囲に含まれるようにカメラ31の撮像パラメータを制御する。また、撮像制御部300は、カメラ31が撮像した画像に含まれるマーカ211~215からその魚の種類を認識する。そして、撮像制御部300は、認識した魚の種類に基づいて、搭載部材21に搭載されている魚が撮像範囲に含まれるようにカメラ31の撮像パラメータを制御する。
このように、本形態における測定システムは搭載部材21にマーカを具備する。マーカは所定の情報を示す。カメラ31が搭載部材21を撮像することでマーカを撮像し、撮像されたマーカが示す情報に基づいて、撮像制御部300がカメラ31の撮像パラメータを制御する。これにより、魚の測定の作業を行う作業者が、撮像されている魚のサイズに応じてカメラ31のパラメータを調整するという手間を省くことができる。
(他の実施の形態)
傾斜した作業台の下端に、上述したような秤の筒状の搭載部材を設け、搭載部材を水平方向から撮像できる位置にカメラを設置する形態も考えられる。この場合の搭載部材は、中に入れられた魚が外部から見える素材から構成される。このような形態において、作業者は作業台に魚を放し、放された魚が作業台上を傾斜に従って滑って下降し、搭載部材内に入れられる。搭載部材内に魚が入ることで秤が魚の重さを検知し、カメラが搭載部材に入れられている魚を撮像する。カメラが撮像した画像からその魚のサイズが測定可能なように、搭載部材の形状および設置の向きは調整されている。測定後の魚は、搭載部材から解放される。
以上、各構成要素に各機能(処理)それぞれを分担させて説明したが、この割り当ては上述したものに限定しない。また、構成要素の構成についても、上述した形態はあくまでも例であって、これに限定しない。また、各実施の形態を組み合わせたものであっても良い。
上述した各構成要素が行う処理は、目的に応じてそれぞれ作製された論理回路で行うようにしても良い。また、処理内容を手順として記述したコンピュータプログラム(以下、プログラムと称する)を各構成要素を具備した情報処理装置10~12それぞれにて読取可能な記録媒体に記録し、この記録媒体に記録されたプログラムを情報処理装置10~12それぞれに読み込ませ、実行するものであっても良い。情報処理装置10~12それぞれにて読取可能な記録媒体とは、フロッピー(登録商標)ディスク、光磁気ディスク、DVD(Digital Versatile Disc)、CD(Compact Disc)、Blu-ray(登録商標) Disc、USB(Universal Serial Bus)メモリなどの移設可能な記録媒体の他、情報処理装置10~12それぞれに内蔵されたROM(Read Only Memory)、RAM(Random Access Memory)等のメモリやHDD(Hard Disc Drive)等を指す。この記録媒体に記録されたプログラムは、情報処理装置10~12それぞれに設けられたCPUにて読み込まれ、CPUの制御によって、上述したものと同様の処理が行われる。ここで、CPUは、プログラムが記録された記録媒体から読み込まれたプログラムを実行するコンピュータとして動作するものである。なお、FPGA(Field Programmable Gate Array)を用いて上述した論理回路を実現するものであっても良い。
10,11,12 情報処理装置
20 秤
21,25 搭載部材
22 重量表示部
23,26 壁部
24 目隠し部
30,31 カメラ
40 表示部
100,101 サイズ算出部
110 長さ算出部
120 有無情報付与部
130 積算部
140 微分部
150 体高算出部
200 記憶部
211~215 マーカ
300 撮像制御部
400 前処理部

Claims (10)

  1. 対象物の重さを測定する秤と、
    前記秤に搭載された前記対象物を撮像するカメラと、
    前記カメラが撮像した画像について画像処理を行い、該画像処理の結果に基づいて、前記対象物のサイズを算出するサイズ算出部と、
    前記秤が測定した重さと、前記サイズ算出部が算出したサイズと、前記カメラが撮像した画像とを対応付けて記憶する記憶部とを有する測定システム。
  2. 請求項1に記載の測定システムにおいて、
    前記対象物は魚であり、
    前記サイズ算出部は、
    前記画像処理の結果に基づいて前記魚の長さを算出する長さ算出部と、
    前記画像の画素ごとに前記対象物の有無に応じた有無情報を付与する有無情報付与部と、
    前記長さの方向に並ぶ複数の画素から構成される画素列ごとに、前記画素ごとに付与した有無情報を前記長さの方向に積算する積算部と、
    前記積算部が積算した結果を前記画素列に並べて微分する微分部と、
    前記微分部が微分した結果から特徴的な画素列を2か所抽出し、該抽出した2か所の画素列それぞれに対応する位置の互いの間の長さを前記魚の体高として算出する体高算出部とを有する測定システム。
  3. 請求項1または請求項2に記載の測定システムにおいて、
    前記カメラは、前記秤が測定した重さが所定の閾値を超えると、前記対象物を撮像する測定システム。
  4. 請求項1から3のいずれか1項に記載の測定システムにおいて、
    前記記憶部に記憶された、前記秤が測定した重さと、前記サイズ算出部が算出したサイズと、前記カメラが撮像した画像とを表示する表示部を有する測定システム。
  5. 請求項4に記載の測定システムにおいて、
    前記表示部は、前記カメラが撮像した画像と所定の範囲情報とを重ねて表示し、
    前記サイズ算出部は、前記表示部が表示する範囲情報に含まれる画像について画像処理を行い、前記サイズを算出する測定システム。
  6. 請求項1から5のいずれか1項に記載の測定システムにおいて、
    前記カメラが撮像した画像に所定のマーカが含まれる場合、該マーカが示す情報に基づいて、前記カメラの撮像パラメータを制御する撮像制御部を有する測定システム。
  7. 請求項1から6のいずれか1項に記載の測定システムにおいて、
    前記秤の前記対象物を搭載する搭載部材の搭載面は、第1の方向の一方の端部から他方の端部へ向かって下降するように傾斜しており、前記第1の方向と略直交する第2の方向の両端から略中心の最下部へ向かってそれぞれ下降するように傾斜しており、前記他方の端部に、前記第2の方向に延びる壁部を有する測定システム。
  8. 対象物の重さを測定する秤に搭載された前記対象物を撮像するカメラが撮像した画像について画像処理を行い、該画像処理の結果に基づいて、前記対象物のサイズを算出するサイズ算出部と、
    前記秤が測定した重さと、前記サイズ算出部が算出したサイズと、前記カメラが撮像した画像とを対応付けて記憶する記憶部とを有する情報処理装置。
  9. 対象物の重さを測定する秤に搭載された前記対象物を撮像するカメラが撮像した画像について画像処理を行い、該画像処理の結果に基づいて、前記対象物のサイズを算出する処理と、
    前記秤が測定した重さと、前記算出したサイズと、前記カメラが撮像した画像とを対応付けてデータベースに記憶する処理とを行う情報処理方法。
  10. コンピュータに、
    対象物の重さを測定する秤に搭載された前記対象物を撮像するカメラが撮像した画像について画像処理を行い、該画像処理の結果に基づいて、前記対象物のサイズを算出する手順と、
    前記秤が測定した重さと、前記算出したサイズと、前記カメラが撮像した画像とを対応付けてデータベースに記憶する手順とを実行させるためのプログラム。
JP2021167965A 2021-10-13 2021-10-13 測定システム、情報処理装置、情報処理方法およびプログラム Active JP7155375B1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021167965A JP7155375B1 (ja) 2021-10-13 2021-10-13 測定システム、情報処理装置、情報処理方法およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021167965A JP7155375B1 (ja) 2021-10-13 2021-10-13 測定システム、情報処理装置、情報処理方法およびプログラム

Publications (2)

Publication Number Publication Date
JP7155375B1 JP7155375B1 (ja) 2022-10-18
JP2023058159A true JP2023058159A (ja) 2023-04-25

Family

ID=83658102

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021167965A Active JP7155375B1 (ja) 2021-10-13 2021-10-13 測定システム、情報処理装置、情報処理方法およびプログラム

Country Status (1)

Country Link
JP (1) JP7155375B1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116576782B (zh) * 2023-03-24 2024-02-06 青岛励图高科信息技术有限公司 一种水下鱼体长度测量方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02176504A (ja) * 1988-12-28 1990-07-09 Nippon Kaiji Kentei Kyokai 貨物測定装置
JPH07231733A (ja) * 1993-09-30 1995-09-05 Hirobumi Matsuo 魚種識別装置
JP2007051956A (ja) * 2005-08-18 2007-03-01 Kobe Steel Ltd 直径計測方法又は直径計測装置
WO2019172363A1 (ja) * 2018-03-09 2019-09-12 日本電気株式会社 情報処理装置、物体計測システム、物体計測方法およびプログラム記憶媒体
JP2020016501A (ja) * 2018-07-24 2020-01-30 日本電気株式会社 計測装置、計測システム、計測方法およびコンピュータプログラム
JP2020085609A (ja) * 2018-11-22 2020-06-04 株式会社アイエンター 魚体サイズ算出装置
JP2021076494A (ja) * 2019-11-11 2021-05-20 沖電気工業株式会社 寸法測定システム、寸法測定装置および寸法測定方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02176504A (ja) * 1988-12-28 1990-07-09 Nippon Kaiji Kentei Kyokai 貨物測定装置
JPH07231733A (ja) * 1993-09-30 1995-09-05 Hirobumi Matsuo 魚種識別装置
JP2007051956A (ja) * 2005-08-18 2007-03-01 Kobe Steel Ltd 直径計測方法又は直径計測装置
WO2019172363A1 (ja) * 2018-03-09 2019-09-12 日本電気株式会社 情報処理装置、物体計測システム、物体計測方法およびプログラム記憶媒体
JP2020016501A (ja) * 2018-07-24 2020-01-30 日本電気株式会社 計測装置、計測システム、計測方法およびコンピュータプログラム
JP2020085609A (ja) * 2018-11-22 2020-06-04 株式会社アイエンター 魚体サイズ算出装置
JP2021076494A (ja) * 2019-11-11 2021-05-20 沖電気工業株式会社 寸法測定システム、寸法測定装置および寸法測定方法

Also Published As

Publication number Publication date
JP7155375B1 (ja) 2022-10-18

Similar Documents

Publication Publication Date Title
JP2019522507A5 (ja)
WO2022121283A1 (zh) 车辆关键点信息检测和车辆控制
EP3358298A1 (en) Building height calculation method and apparatus, and storage medium
TWI687689B (zh) 球狀體之旋轉之測定裝置、測定方法以及非暫時性資訊記錄媒體
KR20190068266A (ko) 영상을 이용한 가축 무게 측정 장치 및 방법
CN105812790B (zh) 图像传感器感光面与光轴垂直度的评测方法及光学测试卡
JP2013089252A (ja) 映像処理方法及び装置
CN113724259B (zh) 井盖异常检测方法、装置及其应用
JP7155375B1 (ja) 測定システム、情報処理装置、情報処理方法およびプログラム
CN111243003A (zh) 车载双目摄像机及其检测道路限高杆的方法、装置
WO2021000948A1 (zh) 配重重量的检测方法与系统、获取方法与系统及起重机
JP2011165170A (ja) 対象物検出装置及びプログラム
JPWO2021142451A5 (ja)
JP4914870B2 (ja) 混雑度計測装置、混雑度計測方法、混雑度計測プログラムおよびそのプログラムを記録した記録媒体
JP7007280B2 (ja) 情報処理装置、計数システム、計数方法およびコンピュータプログラム
CN109883354B (zh) 用于投影光栅建模的调节系统及方法
CN109242900B (zh) 焦平面定位方法、处理装置、焦平面定位系统及存储介质
CN109600598B (zh) 影像处理方法、影像处理装置及电脑可读取记录媒体
JP6583565B2 (ja) 計数システムおよび計数方法
JP7040627B2 (ja) 算出装置、情報処理方法およびプログラム
CN114842443A (zh) 一种基于机器视觉的目标物识别和测距方法、装置、设备及存储介质
JP5621077B2 (ja) 三次元計測装置及び三次元計測方法
CN107462221B (zh) 一种鱼眼特征自动测量方法
CN110363808A (zh) 一种基于深度的图像目标区域面积提取方法
CN111251994B (zh) 车辆周边物件检测方法及车辆周边物件检测系统

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220620

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20220620

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220802

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220906

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220927

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221005

R150 Certificate of patent or registration of utility model

Ref document number: 7155375

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150