JP2016165238A - 同一魚判定装置、魚計数装置、魚計数用携帯端末、同一魚判定方法、魚計数方法、魚数予測装置、魚数予測方法、同一魚判定システム、魚計数システムおよび魚数予測システム - Google Patents

同一魚判定装置、魚計数装置、魚計数用携帯端末、同一魚判定方法、魚計数方法、魚数予測装置、魚数予測方法、同一魚判定システム、魚計数システムおよび魚数予測システム Download PDF

Info

Publication number
JP2016165238A
JP2016165238A JP2015046118A JP2015046118A JP2016165238A JP 2016165238 A JP2016165238 A JP 2016165238A JP 2015046118 A JP2015046118 A JP 2015046118A JP 2015046118 A JP2015046118 A JP 2015046118A JP 2016165238 A JP2016165238 A JP 2016165238A
Authority
JP
Japan
Prior art keywords
fish
position information
same
image
measurement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015046118A
Other languages
English (en)
Other versions
JP6702535B2 (ja
Inventor
孝之 小平
Takayuki Kodaira
孝之 小平
真人 田口
Masato Taguchi
真人 田口
貴子 中谷
Takako Nakatani
貴子 中谷
穣 秋冨
Minoru Akitomi
穣 秋冨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Solution Innovators Ltd
Original Assignee
NEC Solution Innovators Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Solution Innovators Ltd filed Critical NEC Solution Innovators Ltd
Priority to JP2015046118A priority Critical patent/JP6702535B2/ja
Priority to US15/534,656 priority patent/US20180263223A1/en
Priority to PCT/JP2015/079881 priority patent/WO2016143187A1/ja
Priority to CN201580073078.9A priority patent/CN107205366A/zh
Publication of JP2016165238A publication Critical patent/JP2016165238A/ja
Application granted granted Critical
Publication of JP6702535B2 publication Critical patent/JP6702535B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01KANIMAL HUSBANDRY; CARE OF BIRDS, FISHES, INSECTS; FISHING; REARING OR BREEDING ANIMALS, NOT OTHERWISE PROVIDED FOR; NEW BREEDS OF ANIMALS
    • A01K61/00Culture of aquatic animals
    • A01K61/90Sorting, grading, counting or marking live aquatic animals, e.g. sex determination
    • A01K61/95Sorting, grading, counting or marking live aquatic animals, e.g. sex determination specially adapted for fish
    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01KANIMAL HUSBANDRY; CARE OF BIRDS, FISHES, INSECTS; FISHING; REARING OR BREEDING ANIMALS, NOT OTHERWISE PROVIDED FOR; NEW BREEDS OF ANIMALS
    • A01K61/00Culture of aquatic animals
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06MCOUNTING MECHANISMS; COUNTING OF OBJECTS NOT OTHERWISE PROVIDED FOR
    • G06M11/00Counting of objects distributed at random, e.g. on a surface
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06MCOUNTING MECHANISMS; COUNTING OF OBJECTS NOT OTHERWISE PROVIDED FOR
    • G06M7/00Counting of objects carried by a conveyor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/269Analysis of motion using gradient-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/277Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/98Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/05Underwater scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20224Image subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30128Food products
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30242Counting objects in image
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/80Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in fisheries management
    • Y02A40/81Aquaculture, e.g. of fish

Abstract

【課題】簡易な同一魚判定装置、魚計数装置、魚計数用携帯端末、同一魚判定方法、魚計数方法、魚数予測装置、魚数予測方法、同一魚判定システム、魚計数システムおよび魚数予測システムを提供する。
【解決手段】計測画像取得手段11は魚を含む流体が通過する通過領域における計測対象領域について、経時的にn枚の計測画像を取得し、魚位置情報取得手段131はn枚の計測画像について、魚の位置情報を取得し、魚予測位置情報取得手段132はn枚の計測画像のうち、m−1枚目以前の計測画像から少なくとも1つの選択画像を選択し、選択画像における魚の位置情報に基づき、m枚目の計測画像における魚の位置であると仮定したm枚目の計測画像における魚の予測位置情報を取得し、同一魚判定手段133は、これらの情報に基づき、魚の位置情報が前記魚の予測位置情報と一致する場合、m枚目の計測画像における魚が選択画像における魚と同じ魚であると判定する。
【選択図】図1

Description

本発明は、同一魚判定装置、魚計数装置、魚計数用携帯端末、同一魚判定方法、魚計数方法、魚数予測装置、魚数予測方法、同一魚判定システム、魚計数システムおよび魚数予測システムに関する。
魚の養殖等において、魚を移し替える際に移し替えた魚の数をカウントする必要がある。前記魚のカウントは、目視および手動により行われていたが、手間がかかるという問題があった。
この問題に対し、特許文献1では、計数部を有する傾斜流路の上側から前記魚を含む液体を流し、前記計数部を通過する前記魚をカウントする計数装置が開示されている。しかしながら、特許文献1の計数装置は、高価でありコストがかかるという問題があった。
国際公開第2013/080351号
そこで、本発明は、簡易な同一魚判定装置、魚計数装置、魚計数用携帯端末、同一魚判定方法、魚計数方法、魚数予測装置、魚数予測方法、同一魚判定システム、魚計数システムおよび魚数予測システムを提供する。
本発明の同一魚判定装置は、計測画像取得手段、魚位置情報取得手段、魚予測位置情報取得手段、および同一魚判定手段を含み、
前記計測画像取得手段は、
魚を含む流体が通過する通過領域における計測対象領域について、経時的にn枚の計測画像を取得し、
前記魚位置情報取得手段は、
前記n枚の計測画像について、前記魚の位置情報を取得し、
前記魚予測位置情報取得手段は、
前記n枚の計測画像のうちm−1枚目以前の計測画像から、少なくとも1つの選択画像を選択し、前記選択画像における魚の位置情報に基づき、m枚目の計測画像における魚の位置であると仮定したm枚目の計測画像における魚の予測位置情報(PI)を取得し、
前記同一魚判定手段は、
m枚目の計測画像における魚の位置情報(I)および対応する前記魚の予測位置情報(PI)に基づき、
前記魚の位置情報(I)が前記魚の予測位置情報(PI)と一致する場合、前記m枚目の計測画像における魚が、前記選択画像における魚と同じ魚であると判定し、
前記魚の位置情報(I)が前記魚の予測位置情報(PI)と一致しない場合、前記m枚目の計測画像における魚が、前記選択画像における魚と異なる魚であると判定することを特徴とする。
本発明の魚計数装置は、計測画像取得手段、魚位置情報取得手段、魚予測位置情報取得手段、および同一魚判定手段を含む前記本発明の同一魚判定装置、ならびに魚計数手段を含み、
前記魚計数手段は、
前記同一魚判定装置で判定された同じ魚の位置情報に基づき、前記魚数を計数することを特徴とする。
本発明の魚計数用携帯端末は、同一魚判定装置および魚計数手段を含む前記本発明の魚計数装置、ならびに表示手段を含み、
前記表示手段が、前記魚計数装置により計数された魚数を表示することを特徴とする。
本発明の同一魚判定方法は、計測画像取得工程、魚位置情報取得工程、魚予測位置情報取得工程、および同一魚判定工程を含み、
前記計測画像取得工程は、
魚を含む流体が通過する通過領域における計測対象領域について、経時的にn枚の計測画像を取得し、
前記魚位置情報取得工程は、
前記n枚の計測画像について、前記魚の位置情報を取得し、
前記魚予測位置情報取得工程は、
前記n枚の計測画像のうちm−1枚目以前の計測画像から、少なくとも1つの選択画像を選択し、前記選択画像における魚の位置情報に基づき、m枚目の計測画像における魚の位置であると仮定したm枚目の計測画像における魚の予測位置情報(PI)を取得し、
前記同一魚判定工程は、
m枚目の計測画像における魚の位置情報(I)および対応する前記魚の予測位置情報(PI)に基づき、
前記魚の位置情報(I)が前記魚の予測位置情報(PI)と一致する場合、前記m枚目の計測画像における魚が、前記選択画像における魚と同じ魚であると判定し、
前記魚の位置情報(I)が前記魚の予測位置情報(PI)と一致しない場合、前記m枚目の計測画像における魚が、前記選択画像における魚と異なる魚であると判定することを特徴とする。
本発明の魚計数方法は、計測画像取得工程、魚位置情報取得工程、魚予測位置情報取得工程、および同一魚判定工程を含む前記本発明の同一魚判定方法、ならびに魚計数工程を含み、
前記魚計数工程は、
前記同一魚判定方法で判定された同じ魚の位置情報に基づき、前記魚数を計数することを特徴とする。
本発明の魚数予測装置は、同一魚判定装置および魚計数手段を含む前記本発明の魚計数装置、ならびに魚数予測手段を含み、
前記魚数予測手段は、
前記魚計数装置により、予め設定した時間内のk枚の計数画像から計数された魚数と、前記予め設定した時間と、前記魚を含む流体が前記通過領域を通過した総時間とに基づき、前記通過領域を通過した魚数を予測することを特徴とする。
本発明の魚数予測方法は、同一魚判定方法および魚計数工程を含む前記本発明の魚計数方法、ならびに魚数予測工程を含み、
前記魚数予測工程は、
前記魚計数装置により、予め設定した時間内のk枚の計数画像から計数された魚数と、前記予め設定した時間と、前記魚を含む流体が前記通過領域を通過した総時間とに基づき、前記通過領域を通過した魚数を予測することを特徴とする。
本発明のプログラムは、前記本発明の同一魚判定方法、前記本発明の魚計数方法、または前記本発明の魚数予測方法をコンピュータ上で実行可能なことを特徴とする。
本発明のコンピュータ読み取り可能な記録媒体は、前記本発明のプログラムを記録していることを特徴とする。
本発明の同一魚判定システムは、端末とサーバとを含み、
前記端末と前記サーバとは、システム外の通信回線網を介して、接続可能であり、
前記端末は、計測画像取得手段および出力手段を含み、
前記計測画像取得手段は、
魚を含む流体が通過する通過領域における計測対象領域について、経時的にn枚の計測画像を取得し、
前記出力手段は、
同じ魚かの判定を出力し、
前記サーバは、魚位置情報取得手段、魚予測位置情報取得手段、および同一魚判定手段を含み、
前記魚位置情報取得手段は、
前記n枚の計測画像について、前記魚の位置情報を取得し、
前記魚予測位置情報取得手段は、
前記n枚の計測画像のうちm−1枚目以前の計測画像から、少なくとも1つの選択画像を選択し、前記選択画像における魚の位置情報に基づき、m枚目の計測画像における魚の位置であると仮定したm枚目の計測画像における魚の予測位置情報(PI)を取得し、
前記同一魚判定手段は、
m枚目の計測画像における魚の位置情報(I)および対応する前記魚の予測位置情報(PI)に基づき、
前記魚の位置情報(I)が前記魚の予測位置情報(PI)と一致する場合、前記m枚目の計測画像における魚が、前記選択画像における魚と同じ魚であると判定し、
前記魚の位置情報(I)が前記魚の予測位置情報(PI)と一致しない場合、前記m枚目の計測画像における魚が、前記選択画像における魚と異なる魚であると判定することを特徴とする。
本発明の魚計数システムは、端末とサーバとを含み、
前記端末と前記サーバとは、システム外の通信回線網を介して、接続可能であり、
前記端末は、計測画像取得手段および出力手段を含み、
前記計測画像取得手段は、
魚を含む流体が通過する通過領域における計測対象領域について、経時的にn枚の計測画像を取得し、
前記出力手段は、
計数された魚数を出力し、
前記サーバは、魚位置情報取得手段、魚予測位置情報取得手段、同一魚判定手段、および魚計数手段を含み、
前記魚位置情報取得手段は、
前記n枚の計測画像について、前記魚の位置情報を取得し、
前記魚予測位置情報取得手段は、
前記n枚の計測画像のうちm−1枚目以前の計測画像から、少なくとも1つの選択画像を選択し、前記選択画像における魚の位置情報に基づき、m枚目の計測画像における魚の位置であると仮定したm枚目の計測画像における魚の予測位置情報(PI)を取得し、
前記同一魚判定手段は、
m枚目の計測画像における魚の位置情報(I)および対応する前記魚の予測位置情報(PI)に基づき、
前記魚の位置情報(I)が前記魚の予測位置情報(PI)と一致する場合、前記m枚目の計測画像における魚が、前記選択画像における魚と同じ魚であると判定し、
前記魚の位置情報(I)が前記魚の予測位置情報(PI)と一致しない場合、前記m枚目の計測画像における魚が、前記選択画像における魚と異なる魚であると判定し、
前記魚計数手段は、
前記同一魚判定手段で判定された同じ魚の位置情報に基づき、前記魚数を計数することを特徴とする。
本発明の魚数予測システムは、端末とサーバとを含み、
前記端末と前記サーバとは、システム外の通信回線網を介して、接続可能であり、
前記端末は、計測画像取得手段および出力手段を含み、
前記計測画像取得手段は、
魚を含む流体が通過する通過領域における計測対象領域について、予め設定した時間内、経時的にk枚の計測画像を取得し、
前記出力手段は、
予測された魚数を出力し、
前記サーバは、魚位置情報取得手段、魚予測位置情報取得手段、同一魚判定手段、魚計数手段、および魚数予測手段を含み、
前記魚位置情報取得手段は、
前記k枚の計測画像について、前記魚の位置情報を取得し、
前記魚予測位置情報取得手段は、
前記k枚の計測画像のうちm−1枚目以前の計測画像から、少なくとも1つの選択画像を選択し、前記選択画像における魚の位置情報に基づき、m枚目の計測画像における魚の位置であると仮定したm枚目の計測画像における魚の予測位置情報(PI)を取得し、
前記同一魚判定手段は、
m枚目の計測画像における魚の位置情報(I)および対応する前記魚の予測位置情報(PI)に基づき、
前記魚の位置情報(I)が前記魚の予測位置情報(PI)と一致する場合、前記m枚目の計測画像における魚が、前記選択画像における魚と同じ魚であると判定し、
前記魚の位置情報(I)が前記魚の予測位置情報(PI)と一致しない場合、前記m枚目の計測画像における魚が、前記選択画像における魚と異なる魚であると判定し、
前記魚計数手段は、
前記同一魚判定手段で判定された同じ魚の位置情報に基づき、前記魚数を計数し、
前記魚数予測手段は、
前記魚計数手段により、予め設定した時間内の前記k枚の計数画像から計数された魚数と、前記予め設定した時間と、前記魚を含む流体が前記通過領域を通過した総時間とに基づき、前記通過領域を通過した魚数を予測することを特徴とする。
本発明によれば、簡易に同じ魚を判定できる。このため、本発明によれば、例えば、前記計測画像中に複数の魚が存在する場合においても同じ魚を判定できるため、重複カウントを抑制でき効率良く魚を計数できる。
図1は、本発明の同一魚判定装置の一例(実施形態1)を示すブロック図である。 図2は、本発明の同一魚判定方法およびプログラムの一例(実施形態1)を示すフローチャートである。 図3は、本発明の同一魚判定方法およびプログラムの一例(実施形態1)を示すフローチャートである。 図4は、本発明の魚計数装置の一例(実施形態2)を示すブロック図である。 図5は、本発明の魚計数方法およびプログラムの一例(実施形態2)を示すフローチャートである。 図6Aは、本発明の魚計数方法およびプログラムの一例(実施形態2)を示すフローチャートである。 図6Bは、本発明の魚計数方法およびプログラムの一例(実施形態2)を示すフローチャートである。 図7は、本発明の魚計数方法およびプログラムの一例(実施形態3)を示すフローチャートである。 図8Aは、本発明の魚計数方法およびプログラムの一例(実施形態3)を示すフローチャートである。 図8Bは、本発明の魚計数方法およびプログラムの一例(実施形態3)を示すフローチャートである。 図8Cは、本発明の魚計数方法およびプログラムの一例(実施形態3)を示すフローチャートである。 図8Dは、本発明の魚計数方法およびプログラムの一例(実施形態3)を示すフローチャートである。 図8Eは、本発明の魚計数方法およびプログラムの一例(実施形態3)を示すフローチャートである。 図8Fは、本発明の魚計数方法およびプログラムの一例(実施形態3)を示すフローチャートである。 図9は、本発明の魚数予測装置の一例(実施形態5)を示すブロック図である。 図10は、本発明の魚数予測方法およびプログラムの一例(実施形態5)を示すフローチャートである。 図11は、本発明の魚計数装置の操作画面の一例(実施形態6)を示す模式図である。 図12は、本発明の魚計数装置の操作フローの一例(実施形態6)を示すフローチャートである。 図13は、本発明の同一魚判定システムの一例(実施形態8)を示すブロック図である。
本発明において、「魚」は、魚介類を意味する。前記魚介類は、例えば、魚類、甲殻類等があげられる。前記魚類は、特に制限されず、例えば、ボラ、イワシ、ウナギ、マグロ、スマ、ブリ、フグ、ヒラメ、タイ、カンパチ、アジ、サバ等があげられる。前記甲殻類は、例えば、エビ等があげられる。本発明において、前記魚は、例えば、1種類の魚であってもよいし、2種類以上の魚であってもよい。
つぎに、本発明の実施形態について説明する。なお、本発明は、下記の実施形態によって何ら限定および制限されない。なお、以下の図1から図13において、同一部分には、同一符号を付している。また、各実施形態の説明は、特に言及がない限り、互いの説明を援用できる。さらに、各実施形態の構成は、特に言及がない限り、組合せ可能である。
[実施形態1]
実施形態1は、本発明の同一魚判定装置および同一魚判定方法に関する。
本実施形態の同一魚判定装置および同一魚判定方法によれば、例えば、簡易に同じ魚を判定できる。
図1に、本実施形態における同一魚判定装置のブロック図を示す。図1に示すように、本実施形態の同一魚判定装置10は、計測画像取得手段11、計測画像記憶部121、魚位置情報記憶部122、魚予測位置情報記憶部123、および同一魚記憶部124、魚位置情報取得手段131、魚予測位置情報取得手段132、および同一魚判定手段133、ならびに出力手段14を含む。計測画像記憶部121、魚位置情報記憶部122、魚予測位置情報記憶部123、および同一魚記憶部124は、例えば、図1に示すように、ハードウェアであるデータ記憶手段12に組み込まれてもよい。また、魚位置情報取得手段131、魚予測位置情報取得手段132、および同一魚判定手段133は、例えば、図1に示すように、ハードウェアであるデータ処理手段(データ処理装置)13に組み込まれてもよく、ソフトウェアまたは前記ソフトウェアが組み込まれたハードウェアでもよい。データ処理手段13は、CPU等を備えてもよい。なお、計測画像記憶部121、魚位置情報記憶部122、魚予測位置情報記憶部123、および同一魚記憶部124、ならびに出力手段14は、任意の構成であり、あってもよいし、なくてもよいし、いずれか1つを含んでもよいし、複数を含んでもよい。
計測画像記憶部121は、計測画像取得手段11および魚位置情報取得手段131と、魚位置情報記憶部122は、魚位置情報取得手段131、魚予測位置情報取得手段132、および同一魚判定手段133と、魚予測位置情報記憶部123は、魚予測位置情報取得手段132および同一魚判定手段133と、同一魚記憶部124は、同一魚判定手段133および出力手段14と、それぞれ電気的に接続されてよい。同一魚判定装置10は、例えば、計測画像をデータ記憶手段12に記憶させ、記憶させた計測画像をデータ処理手段13に出力してデータ処理を行ってもよいし、前記計測画像をデータ処理手段13に入力してデータ処理を行ってもよい。
計測画像取得手段11は、魚を含む流体が通過する通過領域における計測対象領域について、経時的にn枚の計測画像を取得する。計測画像取得手段11は、特に制限されず、例えば、前記計測画像を撮像する撮像手段、撮像した前記計測画像を記憶するデータ記憶手段等があげられる。前記撮像手段は、例えば、スチルカメラ、ビデオカメラ、カメラ付の携帯電話、カメラ付のスマートフォン、カメラ付のタブレット端末等のカメラ付の携帯端末、ウェブカメラ付きのコンピュータ、カメラ付きのヘッドマウントディスプレイ等があげられる。前記データ記憶手段は、例えば、ランダムアクセスメモリ(RAM)、読み出し専用メモリ(ROM)、フラッシュメモリー、ハードディスク(HD)、光ディスク、フロッピー(登録商標)ディスク(FD)等があげられる。前記データ記憶手段は、装置内蔵型であってもよいし、外部記憶装置のような外付け型であってもよい。
前記計測対象領域は、例えば、魚を含む流体が通過する通過領域のうち、全体でもよいし、部分でもよい。そして、前記計測対象領域についての経時的なn枚の計測画像とは、例えば、同じ領域の画像(つまり、一箇所の画像)でもよいし、前記計測対象領域における複数の領域の画像(つまり、複数箇所の画像)でもよい。後者の場合、具体例として、前記計測対象領域において、部分的に重複する複数の領域の画像があげられる。
前記計測画像は、例えば、前記計測対象領域のみの画像でもよいし、前記計測対象領域を含む画像でもよい。後者は、例えば、前記計測対象領域とその他の領域とを含む画像である。前記その他の領域は、例えば、前記魚を含む流体が通過する前記通過領域以外の領域があげられる。前記計測画像は、例えば、前記魚を含む流体が前記通過領域を通過する際に、前記撮像手段により撮像することで取得することができる。このため、前記計測画像は、例えば、前記魚を含む画像および前記魚を含まない画像の一方を含んでもよいし、両者を含んでもよい。前記流体は、特に制限されず、前記魚の種類に応じて、適宜決定できる。前記流体は、例えば、水、淡水、海水、人工海水等があげられる。前記計測画像は、前記計測画像における魚の検出の精度を向上できるため、単色の背景上を、魚を含む流体が通過する通過領域における計測対象領域について、撮像された計測画像であることが好ましい。前記単色は、例えば、白色等があげられる。
前記魚が前記計測対象領域を通過する際に、前記計測画像を取得する頻度は、特に制限されず、その下限は、例えば、3FPS(Flames Per Second)であり、好ましくは、12FPSであり、より好ましくは、20FPSであり、その上限は、特に制限されない。
前記「n」は、2以上の正の整数であればよく、その上限は、特に制限されない。前記「n枚」は、例えば、2枚以上であり、好ましくは、3枚以上であり、より好ましくは、5枚以上である。
魚位置情報取得手段131は、前記n枚の計測画像について、前記魚の位置情報を取得する。前記魚の位置情報は、例えば、前記計測画像に座標平面を設定した場合、前記座標平面上の座標、領域等があげられる。前記魚の位置情報は、例えば、前記座標および前記領域の一方を取得してもよいし、両者を取得してもよい。前記魚の位置情報が座標である場合、前記魚の位置情報は、例えば、前記魚の1つの体の構造の位置、前記魚の2つ以上の体の構造の位置の平均の位置、前記魚が占める領域の重心の位置、明度等の魚の特徴量が最大になる(画素の)位置等があげられる。前記体の構造は、特に制限されず、例えば、目、あご、背びれ、腹びれ、尾びれ、胸びれ、尻びれ等のひれ等があげられる。前記魚の位置情報が領域である場合、前記魚の位置情報は、例えば、前記魚の輪郭およびその内側の領域等があげられる。
魚予測位置情報取得手段132は、前記n枚の計測画像のうちm−1枚目以前の計測画像から、少なくとも1つの選択画像を選択する。そして、魚予測位置情報取得手段132は、前記選択画像における魚の位置情報に基づき、m枚目の計測画像における魚の位置であると仮定したm枚目の計測画像における魚の予測位置情報(PI)を取得する。前記「m」の範囲は、例えば、1〜nの範囲の任意の正の整数である。前記選択画像は、例えば、1枚でもよいし、複数枚もよいし、予測精度が向上することから、全てが好ましい。魚予測位置情報取得手段132は、例えば、前記選択画像における魚の位置情報と、前記魚の予測位置情報(PI)とを関連づけたテーブル(予測テーブル)に基づき、前記魚の予測位置情報(PI)を読み出して、取得してもよいし、前記選択画像における魚の位置情報に基づき、前記魚の予測位置情報(PI)を算出し、取得してもよい。前記魚の予測位置情報(PI)は、例えば、前記座標平面における座標でもよいし、前記領域でもよいし、両者でもよい。また、前記座標の場合、前記魚の予測位置情報(PI)は、例えば、前記座標と前記座標から所定距離内の領域としてもよい。前記所定距離は、例えば、前記魚の種類に応じて適宜設定できる。
同一魚判定手段133は、m枚目の計測画像における魚の位置情報(I)および対応する前記魚の予測位置情報(PI)に基づき、同じ魚か否かを判定する。同一魚判定手段133は、前記魚の位置情報(I)が前記魚の予測位置情報(PI)と一致する場合、前記m枚目の計測画像における魚が、前記選択画像における魚と同じ魚であると判定する。また、同一魚判定手段133は、前記魚の位置情報(I)が前記魚の予測位置情報(PI)と一致しない場合、前記m枚目の計測画像における魚が、前記選択画像における魚と異なる魚であると判定する。
出力手段14は、例えば、同じ魚かの判定を出力する。出力手段14は、例えば、映像により出力するモニター(例えば、液晶ディスプレイ(LCD)、ブラウン管(CRT)ディスプレイ等の各種画像表示装置等)、印刷により出力するプリンター、音声により出力するスピーカー等があげられる。
つぎに、図2および図3に、本実施形態における同一魚判定方法のフローチャートを示す。本実施形態の同一魚判定方法は、例えば、図1の同一魚判定装置を用いて、つぎのように実施する。図2に示すように、本実施形態の同一魚判定方法は、A1ステップ(計測画像取得)、A2ステップ(魚位置情報取得)、A3ステップ(魚予測位置情報取得)、およびA4ステップ(同一魚判定)を含む。
(A1)計測画像取得
A1ステップでは、魚を含む流体が通過する通過領域における計測対象領域について、経時的にn枚の計測画像を取得する。前記撮像手段を用いて前記計測画像を取得する場合、前記魚を含む流体が通過する前記通過領域を撮像し、前記計測画像として取得する。前記データ記憶手段を用いて前記計測画像を取得する場合、データ記憶手段(図示せず)に記憶された前記計測画像を読み出し、取得する。そして、取得した前記計測画像を、計測画像記憶部121に記憶させる。
(A2)魚位置情報取得
A2ステップでは、前記n枚の計測画像について、前記魚の位置情報を取得する。前記魚の位置情報の取得順序は、特に制限されず、前記計測画像の取得順序に従って取得してもよいし、ランダムに計測画像を取得してもよい。前記計測画像において、前記魚は、例えば、色に基づく識別、輪郭の抽出、予め保存した前記魚の画像と前記測定画像とを比較し、類似の領域を検索するテンプレートマッチング等により検出できる。そして、前記魚の位置情報は、例えば、前記計測画像に座標平面を設定し、前記座標平面上の座標、領域等として取得する。また、前記計測画像に複数の魚が存在する場合、それぞれの魚の位置情報を取得する。そして、取得した前記魚の位置情報を、魚位置情報記憶部122に記憶させる。
(A3)魚予測位置情報取得
つぎに、前記n枚の計測画像のうちm−1枚目以前の計測画像から、少なくとも1つの選択画像を選択する(A31)。そして、前記選択画像における魚の位置情報に基づき、m枚目の計測画像における魚の位置であると仮定したm枚目の計測画像における魚の予測位置情報(PI)を取得する(A32)。前記魚の予測位置情報(PI)の取得は、例えば、前記n枚の計測画像の取得順序に従って取得してもよいし、ランダムに前記m枚目の計測画像を決定し、取得してもよい。前記予測テーブルを用いて前記魚の予測位置情報(PI)を取得する場合、A32ステップでは、前記魚の予測位置情報(PI)を読み出して、取得する。他方、前記魚の予測位置情報(PI)を算出する場合、A32ステップでは、例えば、前記計測画像に設定された座標平面における前記選択画像における魚の座標に基づき、カルマンフィルタ、粒子フィルタ、KLT(Kanade Lucas Tomasi)トラッカー等の公知の予測アルゴリズムにより、前記魚の予測位置情報(PI)を算出し、取得する。また、前記魚の予測位置情報(PI)は、例えば、前記選択画像における魚の位置情報と、前記流体の流れ方向とに基づき、前記計測画像に設定された座標平面において、前記選択画像における魚の座標から前記流体の流れの方向に一定の距離が離れた座標、領域等として算出してもよい。また、前記計測画像の取得順序にしたがって、A2〜A4ステップを実施する場合、A31ステップに代えて、A4ステップの後に、A31’ステップとして、1〜m−1枚目の計測画像に基づき、m枚目の計測画像における魚の予測位置情報(PI)を取得し、魚予測位置情報記憶部123に記憶させてもよい。この場合、A32ステップでは、魚予測位置情報記憶部123に記憶した魚の予測位置情報(PI)を取得してもよい。そして、取得した前記魚の予測位置情報(PI)を魚予測位置情報記憶部123に記憶させる。なお、前記選択画像に複数の魚が存在する場合、A3ステップでは、それぞれの魚について、前記魚の予測位置情報(PI)を取得する。
(A4)同一魚判定
そして、m枚目の計測画像における魚の位置情報(I)のセット(A41)および対応する魚の予測位置情報(PI)のセットを行い(A42)、m枚目の計測画像における魚の位置情報(I)および対応する前記魚の予測位置情報(PI)に基づき、同じ魚か否かを判定する(A43)。前記判定は、例えば、前記計測画像に設定された座標平面における魚の位置情報(I)が、対応する前記魚の予測位置情報(PI)を満たすかにより判定できる。前記魚の位置情報(I)および前記魚の予測位置情報(PI)が座標である場合、両者の座標が一致するかで判定できる。前記魚の位置情報(I)および前記魚の予測位置情報(PI)が領域である場合、両領域が重複するかで判定できる。また、前記魚の位置情報(I)および前記魚の予測位置情報(PI)の一方が座標であり、他方が領域である場合、前記座標が前記領域と重複するかで判定できる。Noの場合、すなわち、前記魚の位置情報(I)が前記魚の予測位置情報(PI)と一致しない場合、前記m枚目の計測画像における魚が、前記選択画像における魚と異なる魚であると判定する(A44)。他方、Yesの場合、すなわち、前記魚の位置情報(I)が前記魚の予測位置情報(PI)と一致する場合、前記m枚目の計測画像における魚が、前記選択画像における魚と同じ魚であると判定する(A45)。前記計測画像に複数の魚が存在する場合、前記魚の位置情報(I)におけるそれぞれの魚の位置情報と、前記魚の予測位置情報(PI)におけるそれぞれの魚の位置情報とに基づいて、全ての組合せについて同じ魚か否かを判定することが好ましい。そして、同じ魚について、前記魚の位置情報(I)を関連づけし、同一魚記憶部124に記憶させる。
その後は、魚の位置情報を未取得の計測画像の有無を確認する(A46)。Yesの場合、すなわち、魚の位置情報を未取得の計測画像がある場合、A2ステップから同様の処理を行う。この際、A31ステップおよびA32ステップでは、未取得の魚の予測位置情報(例えば、魚の予測位置情報(PIm+1))を取得し、A41〜A45ステップで、対応する魚の位置情報(例えば、魚の位置情報(Im+1))と同一か否かを判定する。他方、Noの場合、すなわち、魚の位置情報を未取得の計測画像がない場合、終了する。
本実施形態の同一魚判定装置10において、計測画像取得手段11は、魚位置情報取得手段131と、魚位置情報取得手段131は、魚予測位置情報取得手段132および同一魚判定手段133と、魚予測位置情報取得手段132は、同一魚判定手段133と、同一魚判定手段133は、出力手段14と、それぞれ電気的に接続されていてもよい。この場合、計測画像取得手段11により取得された計測画像について、魚位置情報取得手段131が魚位置情報を取得し、取得された魚位置情報に基づき、魚予測位置情報取得手段132が、前記魚の予測位置情報(I)を取得し、取得された前記魚の位置情報(I)および対応する前記魚の予測位置情報(PI)について、同一魚判定手段133が、判定してもよい。また、前記計測画像、前記魚の位置情報(I)、および前記魚の予測位置情報(PI)を出力手段14に出力する場合、計測画像記憶部121、魚位置情報記憶部122、および魚予測位置情報記憶部123は、出力手段14と、それぞれ電気的に接続されていてもよいし、計測画像取得手段11、魚位置情報取得手段131、および魚予測位置情報取得手段132は、出力手段14と、それぞれ電気的に接続されていてもよい。
本実施形態の同一魚判定装置10は、さらに、入力手段を含んでもよい。本実施形態の同一魚判定手段10が前記入力手段を含む場合、前記入力手段は、計測画像取得手段11、同一魚判定手段132等に接続されてもよい。前記入力手段が計測画像取得手段11に接続されている場合、前記入力手段は、例えば、計測画像取得手段11に、前記計測画像の取得の開始、停止等の情報を入力する。また、前記入力手段が同一魚判定手段133に接続されている場合、前記入力手段は、例えば、同一魚判定手段133に、前記同一の魚か否かの判定の開始、停止等の情報を入力する。
[変形例1]
変形例1は、本発明の同一魚判定装置および同一魚判定方法に関する。変形例1の同一魚判定装置および同一魚判定方法は、例えば、実施形態1の同一魚判定装置および同一魚判定方法の説明を援用できる。
本実施形態の同一魚判定装置および同一魚判定方法によれば、例えば、魚の構造に基づく魚の位置の検出および取得に対して、より迅速に魚の位置を検出できるため、より迅速に魚の位置情報を取得できる。このため、本実施形態の同一魚判定装置および同一魚判定方法によれば、より迅速に同じ魚を判定できる。
変形例1の同一魚判定装置において、前記魚位置情報取得手段は、前記n枚の計測画像において、色条件を満たす領域を前記魚の位置情報として取得することが好ましい。この点を除き、変形例1の同一魚判定装置は、実施形態1の同一魚判定装置と同様の構成を有する。
前記色条件は、例えば、魚であると判断する色の条件であり、判定対象の魚の色に応じて適宜設定できる。前記色条件は、例えば、予め設定してもよいし、使用時に設定してもよいし、使用中に設定してもよい。前記計測画像がRGB表色系で表されている場合、前記色条件は、例えば、R値、G値、およびB値の各色差における基準値として設定できる。具体的には、前記魚位置情報取得手段は、例えば、前記色差の値が、所定の値より低い領域等を前記魚の位置情報として取得する。また、前記計測画像がL*a*b表色系で表されている場合、前記色条件は、例えば、L値として設定できる。具体的には、前記魚のL値が前記魚のいない計測画像のL値より低い場合、前記魚位置情報取得手段は、例えば、前記計測画像の前記L値が所定の値より低い領域、前記計測画像におけるL値の最大値に対して所定割合以下のL値の領域等を前記魚の位置情報として取得する。前記L値の最大値に対する所定割合は、例えば、1以下である。また、前記魚のL値が前記魚のいない計測画像のL値より高い場合、前記魚位置情報取得手段は、例えば、前記計測画像の前記L値が、所定の値より高い領域、前記計測画像におけるL値の最小値に対して所定割合以上のL値の領域等を前記魚の位置情報として取得する。前記L値の最小値に対する所定割合は、例えば、1より大きい値である。なお、前記計測画像における表色系が前記色条件の表色系と異なる場合、前記魚位置情報取得手段は、例えば、前記計測画像の表色系を前記色条件の表色系に変換し、前記色条件を満たす領域を前記魚の位置として取得してもよい。前記変換は、例えば、RGB表色系、HSV表色系、YCrCb色系、L*a*b表色系等の公知の表色系を他の表色系に変換できる変換方法を使用できる。
変形例1の同一魚判定方法において、前記魚位置情報取得工程は、前記n枚の計測画像において、色条件を満たす領域を前記魚の位置として取得することが好ましい。この点を除き、変形例1の同一魚判定方法は、実施形態1の同一魚判定方法と同様の構成を有する。
前記魚位置情報取得工程では、例えば、前記計測画像の色について、前記色条件を満たす領域を検索する。そして、前記計測画像において、前記色条件を満たす領域がある場合、前記領域について、前記座標平面上の座標、領域等を前記魚の位置情報として取得する。他方、前記計測画像において、前記色条件を満たす領域がない場合、前記魚の位置情報は取得しない。なお、前記魚位置情報取得工程は、例えば、前記計測画像の表色系を前記色条件の表色系に変換し、前記色条件を満たす領域を前記魚の位置として取得してもよい。
[変形例2]
変形例2は、本発明の同一魚判定装置および同一魚判定方法に関する。変形例2の同一魚判定装置および同一魚判定方法は、例えば、実施形態1の同一魚判定装置および同一魚判定方法の説明を援用できる。
本実施形態の同一魚判定装置および同一魚判定方法によれば、例えば、魚の構造に基づく魚の位置の検出および取得に対して、より迅速に魚の位置を検出できるため、より迅速に魚の位置情報を取得できる。このため、本実施形態の同一魚判定装置および同一魚判定方法によれば、より迅速に同じ魚を判定できる。
変形例2の同一魚判定装置は、さらに、差分画像作製手段を含み、前記差分画像作製手段は、前記n枚の計測画像について、前記計測画像と基準画像との差分である差分画像を作製し、前記魚位置情報取得手段は、前記差分画像において、色変化条件を満たす領域を前記魚の位置情報として取得することが好ましい。この点を除き、変形例2の同一魚判定装置は、実施形態1の同一魚判定装置と同様の構成を有する。
前記基準画像は、例えば、背景画像、対象の計測画像の1枚前の計測画像等があげられる。前者の場合、前記背景画像は、例えば、前記魚を含まない計測画像等があげられる。後者の場合、前記基準画像は、例えば、m−1枚目の計測画像であり、この場合、前記m枚目の差分画像は、m枚目の計測画像と前記m−1枚目の計測画像との差分画像となり、0枚目の計測画像は、例えば、前記魚を含まない計測画像等となる。前記色変化条件は、例えば、魚であると判断する前記計測画像および前記基準画像間の色変化の条件であり、判定対象の魚の色に応じて適宜設定できる。前記色変化条件は、例えば、予め設定してもよいし、使用時に設定してもよいし、使用中に設定してもよい。前記色変化条件は、例えば、前記色条件と同様に設定できる。
変形例2の同一魚判定方法は、さらに、差分画像作製工程を含み、前記差分画像作製工程は、前記n枚の計測画像について、前記計測画像と基準画像との差分である差分画像を作製し、前記魚位置情報取得工程は、前記差分画像において、色変化条件を満たす領域を前記魚の位置情報として取得することが好ましい。この点を除き、変形例2の同一魚判定方法は、実施形態1の同一魚判定方法と同様の構成を有する。
前記差分画像作製工程では、例えば、前記計測画像と前記基準画像との差分である差分画像を作製する。前記差分画像の作製は、背景差分法、フレーム間差分法等の公知のアルゴリズムが使用できる。具体的に、前記計測画像および前記基準画像が、RGB表色系で表されている場合、前記差分画像は、例えば、前記計測画像のR値、G値、およびB値から、それぞれ、前記基準画像における対応する座標のR値、G値、およびB値を減算することで算出できる。また、前記計測画像および前記基準画像が、L*a*b表色系で表されている場合、前記差分画像は、例えば、前記計測画像のL値、a値、およびb値から、それぞれ、前記基準画像における対応する座標のL値、a値、およびb値を減算することで算出できる。
つぎに、前記魚位置情報取得工程では、例えば、前記差分画像の色、すなわち前記計測画像と前記基準画像との色変化について、前記色変化条件を満たす領域を検索する。そして、前記魚位置情報取得工程では、前記差分画像において、前記色変化条件を満たす領域がある場合、前記領域について、前記座標平面上の座標、領域等を前記魚の位置として取得する。他方、前記差分画像において、前記色変化条件を満たす領域がない場合、前記魚の位置は取得しない。
[変形例3]
変形例3は、本発明の同一魚判定装置および同一魚判定方法に関する。変形例3の同一魚判定装置および同一魚判定方法は、例えば、実施形態1の同一魚判定装置および同一魚判定方法の説明を援用できる。
本実施形態の同一魚判定装置および同一魚判定方法によれば、例えば、魚の構造に基づく魚の位置の検出および取得に対して、より迅速に魚の位置を検出できるため、より迅速に魚の位置情報を取得できる。このため、本実施形態の同一魚判定装置および同一魚判定方法によれば、より迅速に同じ魚を判定できる。
変形例3の同一魚判定装置は、さらに、輪郭抽出手段を含み、前記輪郭抽出手段が、前記n枚の計測画像における輪郭を抽出し、前記魚位置情報取得手段が、前記輪郭に囲まれた領域を前記魚の位置情報として取得することが好ましい。前記魚位置情報取得手段は、前記輪郭に囲まれた領域に変えて、前記輪郭を前記魚の位置情報として取得してもよい。この点を除き、変形例3の同一魚判定装置は、実施形態1の同一魚判定装置と同様の構成を有する。
前記輪郭は、例えば、魚の輪郭等があげられる。
変形例3の同一魚判定方法は、さらに、輪郭抽出工程を含み、前記輪郭抽出工程が、前記n枚の計測画像における輪郭を抽出し、前記魚位置情報取得工程が、前記輪郭に囲まれた領域を前記魚の位置情報として取得することが好ましい。この点を除き、変形例3の同一魚判定方法は、実施形態1の同一魚判定方法と同様の構成を有する。
前記輪郭抽出工程では、前記計測画像から輪郭を抽出する。前記抽出は、例えば、Cannyフィルタ、Sobelフィルタ、Laplacianフィルタ等の公知のエッジ検出方法が使用できる。
つぎに、前記魚位置情報取得工程では、前記輪郭に囲まれた領域がある場合、前記領域について、前記座標平面上の座標、領域等を前記魚の位置として取得する。他方、前記輪郭に囲まれた領域がない場合、前記魚の位置は取得しない。前記魚位置情報取得工程は、前記輪郭に囲まれた領域に変えて、前記輪郭を前記魚の位置情報として取得してもよい。
[変形例4]
変形例4は、本発明の同一魚判定装置および同一魚判定方法に関する。変形例4の同一魚判定装置および同一魚判定方法は、例えば、実施形態1の同一魚判定装置および同一魚判定方法の説明を援用できる。
本実施形態の同一魚判定装置および同一魚判定方法によれば、例えば、前記魚の通過領域を検出でき、前記魚の通過領域以外の領域を含む計測画像におけるノイズを除去できるため、より精度よく魚の位置情報を取得できる。このため、本実施形態の同一魚判定装置および同一魚判定方法によれば、より精度よく同じ魚を判定できる。
変形例4の同一魚判定装置は、さらに、通過領域検出手段を含み、前記通過領域検出手段が、前記n枚の計測画像における前記魚の通過領域を検出することが好ましい。この点を除き、変形例4の同一魚判定装置は、実施形態1の同一魚判定装置と同様の構成を有する。
変形例4の同一魚判定方法は、さらに、通過領域検出工程を含み、前記通過領域検出工程が、前記n枚の計測画像における前記魚の通過領域を検出することが好ましい。この点を除き、変形例4の同一魚判定方法は、実施形態1の同一魚判定方法と同様の構成を有する。
前記魚通過領域検出工程では、前記計測画像から前記魚の通過領域を検出する。前記検出は、例えば、前記通過領域の形状を検出することにより検出できる。前記通過領域の形状が長方形状の場合、前記検出は、例えば、直線の検出である。前記直線の検出は、例えば、ハフ変換とSobelフィルタとの組合せ等が使用できる。前記検出は、例えば、前記計測画像の全体に対して行ってもよいし、その一部に対して行ってもよい。
[変形例5]
変形例5は、本発明の同一魚判定装置および同一魚判定方法に関する。変形例5の同一魚判定装置および同一魚判定方法は、例えば、実施形態1の同一魚判定装置および同一魚判定方法の説明を援用できる。
本実施形態の同一魚判定装置および同一魚判定方法によれば、例えば、各画像のノイズの低減により誤検出を低減でき、これにより魚の検出精度を向上できるため、より精度よく魚の位置情報を取得できる。このため、本実施形態の同一魚判定装置および同一魚判定方法によれば、より精度よく同じ魚を判定できる。
変形例5の同一魚判定装置は、さらに、画像平滑化手段を含み、前記画像平滑化手段が、画像を平滑化した平滑化画像を作製することが好ましい。この点を除き、変形例5の同一魚判定装置は、実施形態1の同一魚判定装置と同様の構成を有する。
前記画像は、例えば、前記計測画像、前記基準画像、前記背景画像、前記差分画像等があげられる。また、前記画像が前記計測画像、前記基準画像、前記背景画像、および前記差分画像の場合、前記平滑化画像は、例えば、それぞれ、平滑化された計測画像、平滑化された基準画像、平滑化された背景画像、および平滑化された差分画像があげられる。前記画像平滑化手段は、例えば、いずれか1種類の画像を平滑化してもよいし、2種類以上の画像を平滑化してもよい。
変形例5の同一魚判定方法は、さらに、画像平滑化工程を含み、前記画像平滑化工程が、画像を平滑化した平滑化画像を作製することが好ましい。この点を除き、変形例5の同一魚判定方法は、実施形態1の同一魚判定方法と同様の構成を有する。
前記画像平滑化工程では、前記画像を平滑化する。前記平滑化は、例えば、ボックスフィルタ、ガウシアンフィルタ、メディアンフィルタ等の公知の平滑化方法が使用できる。前記平滑化は、例えば、前記表色系の各色において、いずれか1色に行ってもよいし、2色以上に行ってもよいし、全色に行ってもよい。
本実施形態の同一魚判定装置および同一魚判定方法は、例えば、それぞれ、実施形態1および変形例1〜4、またはこれらの組合せの同一魚判定装置および同一魚判定方法と組合せてもよい。この場合、実施形態1および変形例1〜4またはこれらの組合せにおける少なくとも1つの手段が、前記手段が使用する画像に代えて、対応する平滑化された画像を使用する。
[変形例6]
変形例6は、本発明の同一魚判定装置および同一魚判定方法に関する。変形例6の同一魚判定装置および同一魚判定方法は、例えば、実施形態1の同一魚判定装置および同一魚判定方法の説明を援用できる。
本実施形態の同一魚判定装置および同一魚判定方法によれば、例えば、誤検出した魚の位置情報を除くことができるため、より精度よく魚の位置情報を取得できる。このため、本実施形態の同一魚判定装置および同一魚判定方法によれば、より精度よく同じ魚を判定できる。
変形例6の同一魚判定装置は、前記魚位置情報取得手段が、さらに、誤検出位置情報除去手段を含み、前記誤検出位置情報除去手段が、誤検出条件を満たす前記魚の位置情報を誤情報として除去し、前記魚位置情報取得手段が、前記誤情報が除去された位置情報を、前記魚の位置情報として取得することが好ましい。この点を除き、変形例6の同一魚判定装置は、実施形態1の同一魚判定装置と同様の構成を有する。
前記誤検出は、例えば、1匹の魚について、複数の魚の位置情報を取得している場合、前記魚でない領域の位置情報を、前記魚の位置情報として取得している場合等があげられる。前記誤検出は、前記計測画像から取得した1種類の魚の位置情報に基づき、検出してもよいし、前記計測画像から取得した複数種類の魚の位置情報に基づき、検出してもよい。後者の場合、前記複数種類の魚の位置情報は、例えば、実施形態1および変形例1〜3を組合せて使用することにより取得できる。
前記誤検出が、1匹の魚について、複数の魚の位置情報を取得している場合、前記誤検出条件は、例えば、前記複数の魚の位置情報における領域の重複割合等があげられる。前記誤検出が、前記魚でない領域の位置情報を、前記魚の位置情報として取得している場合、前記誤検出条件は、前記魚の位置情報における領域の大きさ、前記魚の位置情報における領域の勾配分布ヒストグラムの偏り等があげられる。前記勾配分布のヒストグラムは、例えば、8方向の勾配分布ヒストグラム等があげられる。
変形例6の同一魚判定方法は、前記魚位置情報取得工程が、さらに、誤検出位置情報除去工程を含み、前記誤検出位置情報除去工程が、誤検出条件を満たす前記魚の位置情報を誤情報として除去し、前記魚位置情報取得工程が、前記誤情報が除去された位置情報を、前記魚の位置情報として取得することが好ましい。この点を除き、変形例6の同一魚判定方法は、実施形態1の同一魚判定方法と同様の構成を有する。
前記誤検出位置情報除去工程では、得られた魚の位置情報に基づき、前記誤検出条件を満たす前記魚の位置情報を除去する。前記誤検出が、1匹の魚について、前記複数の魚の位置情報を取得している場合、前記誤検出条件は、例えば、前記複数の魚の位置情報における領域の重複割合であり、前記複数の魚の位置情報における領域の重複割合が、所定の割合を超えている前記複数の魚の位置情報を統合し、1つの魚の位置情報とすることにより、前記誤情報を除去する。前記誤検出が、前記魚でない領域の位置情報を、前記魚の位置情報として取得している場合、前記誤検出条件は、例えば、前記魚の位置情報における領域の大きさであり、前記魚の位置情報における領域の大きさが、所定の大きさより小さい魚の位置情報を除去することにより、前記誤情報を除去する。また、前記誤検出が、前記魚でない領域の位置情報を、前記魚の位置情報として取得している場合、前記誤検出条件は、例えば、前記魚の位置情報における領域の勾配分布ヒストグラムの偏りであり、前記魚の位置情報における領域の勾配分布ヒストグラムの偏りが、所定の偏りより小さい魚の位置情報を除去することにより、前記誤情報を除去する。
[変形例7]
変形例7は、本発明の同一魚判定装置および同一魚判定方法に関する。変形例7の同一魚判定装置および同一魚判定方法は、例えば、実施形態1の同一魚判定装置および同一魚判定方法の説明を援用できる。
本実施形態の同一魚判定装置および同一魚判定方法によれば、例えば、前記選択画像における1匹の魚と前記計測画像における複数の魚について同じ魚であると誤判定した場合に、前記誤判定を検出することができる。このため、本実施形態の同一魚判定装置および同一魚判定方法によれば、より精度よく同じ魚を判定できる。
変形例7の同一魚判定装置は、さらに、誤判定検出手段を含み、前記誤判定検出手段が、誤判定条件を満たす判定を誤判定として検出することが好ましい。
前記誤判定は、例えば、前記計測画像における魚を前記選択画像における異なる魚と同じ魚とする判定があげられる。前記誤判定条件は、例えば、前記選択画像における1匹の魚と前記計測画像における複数の魚が同じ魚とする判定、前記選択画像における複数の魚と前記計測画像における1匹の魚が同じ魚とする判定等があげられる。また、前記誤判定を検出した場合、前記誤判定検出手段は、さらに、前記計測画像における誤判定された魚について、前記魚の位置情報(I)と前記魚の予測位置情報(PI)とに基づき、前記選択画像において、誤って同じとされた魚以外の魚と同じ魚であるか否かを判定する再判定手段を含んでもよい。この場合の判定は、例えば、前記同一魚判定手段と同様に実施できる。
変形例7の同一魚判定方法は、さらに、誤判定検出工程を含み、前記誤判定検出工程が、誤判定条件を満たす判定を誤判定として検出することが好ましい。この点を除き、変形例7の同一魚判定方法は、実施形態1の同一魚判定方法と同様の構成を有する。
前記誤判定検出工程では、例えば、前記同一魚判定工程で得られた判定について、前記誤判定条件を満たす判定を誤判定として検出する。前記誤判定条件が前記選択画像における1匹の魚と前記計測画像における複数の魚が同一とする判定である場合、前記誤判定検出工程は、前記選択画像におけるそれぞれの魚について、前記計測画像における複数の魚と同じ魚であると判定されていないかを検討する。そして、前記選択画像における1つの魚と前記計測画像における複数の魚と同じ魚であると判定されている場合、この判定は誤判定であると検出する。また、前記誤判定が検出された場合、前記誤判定検出工程は、さらに、前記計測画像における誤判定された魚について、前記魚の位置情報(I)と前記魚の予測位置情報(PI)とに基づき、前記選択画像において、前記誤って同じとされた魚以外の魚と同じ魚であるか否かを判定する再判定工程を含んでもよい。この場合の判定は、例えば、前記同一魚判定工程と同様に実施できる。
なお、変形例1〜7は、それぞれを単独で使用してもよいが、より迅速且つ精度よく同じ魚を判定できるため、複数を組合せて使用することが好ましく、さらに迅速且つ精度よく同じ魚を判定できることから、全てを組合せ使用することがさらに好ましい。前記複数の組合せの場合、前記組合せは、特に制限されず、任意の組合せとできる。また、各変形例で取得された魚の位置情報を組合せる場合、各変形例で取得された魚の位置情報について、全てを魚の位置情報として取得してもよいし、各変形例で取得された魚の位置情報の内、重複する魚の位置情報を統合し、魚の位置情報として取得してもよいし、各変形例で取得された魚の位置情報の内、重複する魚の位置情報について、魚の位置情報として取得してもよい。
[実施形態2]
実施形態2は、本発明の魚計数装置および魚計数方法に関する。
本実施形態の魚計数装置および魚計数方法によれば、例えば、同じ魚を精度よく検出できる。このため、本実施形態の魚計数装置および魚計数方法によれば、例えば、より精度よく魚を計数できる。本実施形態の魚計数装置および魚計数方法は、例えば、前記同一魚判定装置および同一魚判定方法等の説明を援用できる。
図4に、本実施形態における魚計数装置のブロック図を示す。図4に示すように、本実施形態の魚計数装置20は、計測画像取得手段11、計測画像記憶部121、魚位置情報記憶部122、魚予測位置情報記憶部123、同一魚記憶部124、および魚数記憶部125、魚位置情報取得手段131、魚予測位置情報取得手段132、同一魚判定手段133、および魚計数手段134、ならびに出力手段14を含む。計測画像記憶部121、魚位置情報記憶部122、魚予測位置情報記憶部123、同一魚記憶部124、および魚数記憶部125は、例えば、図4に示すように、ハードウェアであるデータ記憶手段12に組み込まれてもよい。また、魚位置情報取得手段131、魚予測位置情報取得手段132、同一魚判定手段133、および魚計数手段134は、例えば、図4に示すように、ハードウェアであるデータ処理手段(データ処理装置)13に組み込まれてもよく、ソフトウェアまたは前記ソフトウェアが組み込まれたハードウェアでもよい。データ処理手段13は、CPU等を備えてもよい。なお、計測画像記憶部121、魚位置情報記憶部122、魚予測位置情報記憶部123、同一魚記憶部124、および魚数記憶部125、ならびに出力手段14は、任意の構成であり、あってもよいし、なくてもよいし、いずれか1つを含んでもよいし、複数を含んでもよい。
魚位置情報記憶部122は、さらに、魚計数手段134と、魚数記憶部125は、魚計数手段134および出力手段14と、それぞれ電気的に接続されている。また、同一魚判定手段133は、魚計数手段134と、魚計数手段134は、魚位置情報取得手段131および出力手段14と、それぞれ電気的に接続されてもよい。魚計数装置20は、例えば、前記計測画像をデータ記憶手段12に記憶させ、記憶させた計測画像をデータ処理手段13に出力してデータ処理を行ってもよいし、前記計測画像をデータ処理手段13に入力してデータ処理を行ってもよい。
本実施形態において、前記魚の位置情報は、例えば、前述のような座標平面上の座標、領域等の情報に加え、同じ魚の情報を含むことが好ましい。前記同じ魚の情報とは、たとえば、前記魚の位置情報(I)を関連づけた情報等があげられる。また、本実施形態において、データ処理手段13は、経時的に取得したn枚の計測画像について、経時的に処理することが好ましい。前記経時的な処理は、例えば、前記計測画像の取得順序による処理等があげられる。
つぎに、図5、6Aおよび6Bのフローチャートを参照し、本実施形態の魚計数方法を説明する。本実施形態の魚計数方法は、例えば、図4の魚数計数装置を用いて、つぎのように実施する。本実施形態の魚計数方法は、A1ステップ(計測画像取得)、A2ステップ(魚位置情報取得)、A3ステップ(魚予測位置情報取得)、A4ステップ(同一魚判定)、およびA5ステップ(魚計数)を含む。図5、6Aおよび6Bにおいて図2と同じステップには、同じ符号を付している。
図6AにおけるA1ステップ、A2ステップ、A3ステップおよびA41〜45ステップは、実施形態1と同様に行うことができ、具体的には、前述した図3のフローチャートに従って行うことができる。
(A5)魚計数
A41〜45ステップ(同一魚判定)で判定された同じ魚の位置情報をセットする(A51)。つぎに、セットした前記同じ魚の位置情報が未計数か否かを判断する(A52)。そして、Noの場合、すなわち、計数済の場合、前記同じ魚の位置情報については、計数しない(A53)。他方、Yesの場合、すなわち、未計数の場合、前記同じ魚の位置情報において、前記計測画像における両端に位置する前記魚間の距離、例えば、前記座標平面における前記同じ魚の両端の位置間の距離を算出する(A54)。そして、前記距離が、長さ条件を満たすか否かを判断する(A55)。Noの場合、すなわち、長さ条件を満たさない場合、前記同じ魚の位置情報については、計数しない(A53)。他方、Yesの場合、すなわち、長さ条件を満たす場合、前記同じ魚の位置情報について、計数する(A56)。そして、計数した同じ魚の位置情報に、計数済との情報を付与する(A57)。
その後は、魚の位置情報を未取得の計測画像の有無を確認する(A58)。Yesの場合、すなわち、魚の位置情報を未取得の計測画像がある場合、A2ステップから同様の処理を行う。この際、A3ステップでは、未取得の魚の予測位置情報(例えば、魚の予測位置情報(PIm+1))を取得し、A4ステップでは、対応する魚の位置情報(例えば、魚の位置情報(Im+1))同一か否かを判定し、A5ステップでは、同じ魚の位置情報について計数する。他方、Noの場合、すなわち、魚の位置情報を未取得の計測画像がない場合、終了する。なお、本実施形態において、魚数は、同じ魚の両端の位置間の距離に基づき、計数したが、本発明はこれに限定されず、例えば、前記同じ魚を含む計測画像の枚数に基づき、計数してもよい。
本実施形態の魚計数装置20は、さらに、入力手段を含んでもよい。本実施形態の魚計数装置20が前記入力手段を含む場合、前記入力手段は、魚計数手段134等に接続されていてもよい。前記入力手段が魚計数手段134に接続されている場合、前記入力手段は、例えば、魚計数手段134に、魚計数の開始、停止等の情報を入力する。
本実施形態の魚計数装置は、さらに、魚移動線算出手段を含み、前記魚移動線算出手段が、前記同一魚判定装置で判定された同じ魚の位置情報に基づき、同じ魚が移動した軌跡である魚の移動線を算出し、前記魚計数手段は、前記魚の移動線に基づき、前記魚を計数してもよい。また、本実施形態の魚数計数方法は、さらに、魚移動線算出工程を含み、前記魚移動線算出工程が、前記同一魚判定方法で判定された同じ魚の位置情報に基づき、同じ魚が移動した軌跡である魚の移動線を算出し、前記魚計数工程は、前記魚の移動線に基づき、前記魚を計数してもよい。前記移動線は、例えば、前記同じ魚の位置情報を結ぶことにより算出できる。また、前記移動線の計数は、例えば、前記移動線の数を数えることにより実施できる。
本実施形態の魚計数装置は、さらに、報知手段を含み、前記報知手段は、前記魚数が、魚数条件を満たす場合、報知してもよい。また、本実施形態の魚計数方法は、さらに、報知工程を含み、前記報知工程は、前記魚数が、魚数条件を満たす場合、報知してもよい。前記魚数条件は、例えば、報知する魚数である。前記魚数条件は、例えば、予め設定した魚数でもよいし、使用時に設定した魚数でもよいし、使用中に設定した魚数でもよい。前記報知は、光による報知、音による報知等があげられる。前者の場合、前記報知手段は、LED(Light Emitting Diode、発光ダイオード)、OLED(Organic Light Emitting Diode、有機発光ダイオード)、レーザーダイオード等があげられる。後者の場合、前記報知手段は、スピーカー、ブザー等があげられる。
[実施形態3]
実施形態3は、本発明の魚計数方法に関する。
実施形態3では、本発明の魚計数方法について、より具体的に説明する。図7、および8A〜8Fに本実施形態の魚計数方法のフローチャートを示す。
本実施形態の魚計数方法は、例えば、図4の魚数計数装置を用いて、つぎのように実施する。本実施形態の魚計数方法は、A1’ステップ(計測画像取得)、A2’ステップ(魚位置情報取得)、A3’ステップ(魚予測位置情報取得)、A4’ステップ(同一魚判定)、およびA5’ステップ(魚計数)を含む。
(A1’)計測画像取得
まず、A1’ステップでは、魚を含む流体が通過する通過領域における計測対象領域について、経時的にn枚の計測画像を取得する。そして、前記計測画像を計測画像記憶部121に記憶する。なお、本実施形態において、前記計測画像は、白色の背景上を、魚を含む流体が通過する通過領域における計測対象領域について、撮像された計測画像あり、また、RGB表色系で表されている。また、前記通過領域は、長方形状である。以下、n枚の計測画像について、魚計数を行う場合におけるm枚目の計測画像の処理を例に挙げて説明するが、他の計測画像についても、同様に実施可能である。
(A2’)魚位置情報取得
計測画像記憶部121からm枚目の計測画像を取得する(A201’)。この際に、例えば、処理の高速化および後述する平滑化のために、前記計測画像を縮小して取得する。そして、前記m枚目の計測画像のRGB表色系をL*a*b表色系に変換し、m枚目の表色系変換計測画像を取得する(A202’)。つぎに、前記m枚目の表色系変換計測画像のセットする(A203’)。そして、前記m枚目の表色系変換計測画像において、色条件を満たす領域があるか否かを判断する(A204’)。前記色条件は、前記m枚目の表色系変換計測画像における画素のL値が、所定のL値より低いことである。Noの場合、すなわち、前記色条件を満たす領域がない場合、第1の魚の位置情報は取得しない(A205’)。他方、Yesの場合、すなわち、前記色条件を満たす領域がある場合、前記色条件を満たす領域を第1の魚の位置情報として取得する(A206’)。つぎに、m枚目の計測画像が、1枚目の計測画像か否かを判断する。Yesの場合、すなわち、mが1の場合、前記第1の魚の位置情報を1枚目の魚の位置情報として取得し、A227’ステップに進む。他方、Noの場合、すなわち、mが1でない場合、A209’ステップに進む。そして、A209’ステップでは、前記m枚目の表色系変換計測画像からm枚目の平滑化計測画像を作製し、取得する。前記平滑化計測画像の作製は、前記m枚目の表色系変換計測画像のL値を、ボックスフィルタで処理することにより実施する。また、さらに、ハフ変換とSobelフィルタとの組合せにより、前記m枚目の表色系変換計測画像から直線である前記通過領域を検出する。前記通過領域の検出は、誤検出を低減させるため、前記表色系変換計測画像の上部1/4および下部1/4に対して行う。また、前記直線の検出は、Sobelフィルタにより算出されたエッジ強度の合計値が最大となるものを検出することにより実施する。そして、前記通過領域を通過領域情報として取得する(A210’)。
つぎに、前記m枚目の平滑化計測画像をセットし(A211’)、さらに、m−1枚目の平滑化計測画像をセットする(A212’)。そして、前記m枚目の平滑化計測画像と前記m−1枚目の平滑化計測画像の差分であるm枚目の差分画像を作製し(A213’)、前記m枚目の差分画像をセットする(A214’)。つぎに、前記m枚目の差分画像において、色変化条件を満たす領域があるか否かを判断する(A215’)。前記色変化条件は、前記m枚目の差分画像における画素のL値が所定のL値より低いことである。Noの場合、すなわち、前記色変化条件を満たす領域がない場合、第2の魚の位置情報は取得しない(A216’)。他方、Yesの場合、すなわち、前記色変化条件を満たす領域がある場合、前記色変化条件を満たす領域を前記第2の魚の位置情報として取得する(A217’)。つぎに、前記m枚目の表色系変換計測画像をセットする(A218’)。そして、Cannyフィルタにより、前記m枚目の表色系変換計測画像から、輪郭を抽出し、前記輪郭を第3の魚の位置情報として取得する(A219’)。
つぎに、前記第1の魚の位置情報、前記通過領域情報、前記第2の魚の位置情報、および前記第3の魚の位置情報をセットする(A220’〜223’)。そして、これらの情報における重複領域および重複領域に囲まれた領域を、前記m枚目の計測画像の魚の位置情報(I)として取得する(A224’)。そして、前記m枚目の計測画像の魚の位置情報(I)について、誤検出条件を満たす魚の位置情報があるか否かを判断する(A225’)。前記誤検出条件は、前述の通りである。Yesの場合、すなわち、前記誤検出条件を満たす魚の位置情報がある場合、前記誤検出条件を満たす前記魚の位置情報を誤情報として除去し、A227’ステップに進む。他方、Noの場合、すなわち、前記誤検出条件を満たす魚の位置情報がない場合、A227’ステップに進む。そして、A227’ステップでは、計測画像、表色系変換計測画像、平滑化計測画像等の画像を計測画像記憶部121に記憶する。なお、前記差分画像に基づく、魚の検出の精度が向上することから、前記各計測画像を記憶する際に、前記各計測画像において、前記魚の位置情報(I)に対応する領域の表色系の情報は記憶しない。
(A3’)魚予測位置情報取得、(A4’)同一魚判定、および(A5’)魚計数
魚予測位置情報記憶部123から魚の予測位置情報(PI)を取得し(A301’)、さらに、前記魚の位置情報(I)および前記魚の予測位置情報(PI)をセットする(A302’およびA303’)。そして、前記魚の位置情報(I)が、前記魚の予測位置情報(PI)と一致するか否かを判断する。Noの場合、すなわち、前記魚の位置情報(I)が前記魚の予測位置情報(PI)と一致しない場合、前記m枚目の計測画像における魚が、魚の予測位置情報(PI)の取得に使用した選択画像における魚と異なる魚であると判定する(A404’)。他方、Yesの場合、すなわち、前記魚の位置情報(I)が前記魚の予測位置情報(PI)と一致する場合、前記m枚目の計測画像における魚が、前記選択画像における魚と同じ魚であると判定する(A405’)。つぎに、同じ魚であるとの判定をセットし(A406’)、誤判定条件を満たす判定があるか否かを判断する(A407’)。Yesの場合、すなわち、誤判定条件を満たす判定がある場合、前記魚の位置情報(I)と前記魚の予測位置情報(PI)とに基づき、前記選択画像において、誤って同じとされた魚以外の魚と同じ魚であるか否かを判定する再判定を、A403’〜405’ステップと同様にして行う(A408’)。つぎに、得られた判定について、A406’およびA407’ステップと同様にして、誤判定か否かを判断する。そして、これらの処理を、前記誤判定条件を満たす判定がなくなるまで、繰り返し行う。他方、Noの場合、A409’ステップに進む。A409’ステップでは、同じ魚について、前記魚の位置情報(I)を関連づけし、同一魚記憶部124に記憶する。
A501’〜507’ステップは、前記実施形態2と同様に行うことができ、具体的には、前述したA51〜57ステップと同様に行う。つぎに、m枚目以前の計測画像、すなわち、1〜m枚目の計測画像を選択画像とし、m+1枚目の計測画像における魚の予測位置情報(PIm+1)を取得する(A302’)。そして、前記魚の予測位置情報(PIm+1)を魚予測位置情報記憶部123に記憶する(A303’)。
その後は、魚の位置情報を未取得の計測画像の有無を確認する(A304’)。Yesの場合、すなわち、魚の位置情報を未取得の計測画像であるm+1枚目の計測画像がある場合、m+1枚目の計測画像の計測画像について、A2’ステップから同様の処理を行う。他方、Noの場合、すなわち、m+1枚目の計測画像がない場合、終了する。
[実施形態4]
実施形態4は、本発明の魚計数用携帯端末に関する。
本実施形態の魚計数用携帯端末によれば、例えば、同じ魚を精度よく検出できる。このため、本実施形態の魚計数用携帯端末によれば、例えば、より精度よく魚を計数できる。本実施形態の魚計数用携帯端末として、例えば、カメラ付の携帯端末等を使用できるため、コストを抑えることができる。本実施形態の魚計数用携帯端末は、例えば、前記同一魚判定装置および同一魚判定方法等の説明を援用できる。
本実施形態の魚計数用携帯端末は、計測画像取得手段、魚位置情報取得手段、魚予測位置情報取得手段、同一魚判定手段、魚計数手段、および表示手段を含む。前記表示手段は、例えば、前記計測画像取得手段、前記魚位置情報取得手段、前記魚予測位置情報取得手段、前記同一魚判定手段、および前記魚計数手段のうちいずれか1つと、電気的に接続されていてもよいし、2つ以上と電気的に接続されていてもよいし、全てと電気的に接続されてもよい。また、前記表示手段は、前記各手段に対応する記憶部と電気的に接続されていてもよい。
前記表示手段は、例えば、前述のモニター等があげられる。前記表示手段は、例えば、前記計測画像取得手段が取得した前記計測画像、前記魚位置情報取得手段が取得した前記魚の位置情報、前記魚予測位置情報取得手段が取得した前記魚の位置情報、前記同一魚判定手段が判定した同じ魚の情報、および前記魚計数手段が計数した魚数等の情報を表示する。また、前記表示手段は、前述の変形例1〜7において取得された情報を表示してもよい。表示する前記情報の数は、特に制限されず、例えば、1つでもよいし、2つ以上でもよいし、全てでもよい。
なお、本実施形態の魚計数用携帯端末は、例えば、前記魚計数手段を含まなくてもよい。この場合、本実施形態の魚計数用携帯端末は、例えば、同一魚判定用携帯端末ということもできる。本実施形態の魚計数用携帯端末は、例えば、後述する魚数予測手段を含んでもよい。この場合、本実施形態の魚計数用携帯端末は、例えば、魚数予測用携帯端末ということもできる。
[実施形態5]
実施形態5は、本発明の魚数予測装置および魚数予測方法に関する。
本実施形態の魚数予測装置および魚数予測方法によれば、例えば、同じ魚を精度よく検出できる。このため、本実施形態の魚数予測装置および魚数予測方法によれば、例えば、より精度よく魚を予測できる。本実施形態の魚数の予測装置および魚数の予測方法では、前記予め設定した時間内の前記k枚の計測画像から魚数を計数し、前記計数された魚数から全体の魚数を予測する。このため、本実施形態の魚数予測装置および魚数予測方法によれば、例えば、データ処理手段を含む装置であれば魚数の予測をすることができるため、簡易に魚数を予測することができる。また、本実施形態の魚数予測装置として、例えば、カメラ付の携帯端末等を使用できるため、コストを抑えることができる。本実施形態の魚数予測装置および魚数予測方法は、例えば、前記同一魚判定装置および同一魚判定方法等の説明を援用できる。
図9に、本実施形態における魚数予測装置のブロック図を示す。図9に示すように、本実施形態の魚数予測装置30は、計測画像取得手段11、計測画像記憶部121、魚位置情報記憶部122、魚予測位置情報記憶部123、同一魚記憶部124、魚数記憶部125、および予測魚数記憶部126、魚位置情報取得手段131、魚予測位置情報取得手段132、同一魚判定手段133、魚計数手段134、および魚数予測手段135ならびに出力手段14を含む。計測画像記憶部121、魚位置情報記憶部122、魚予測位置情報記憶部123、同一魚記憶部124、魚数記憶部125、および予測魚数記憶部126は、例えば、図9に示すように、ハードウェアであるデータ記憶手段12に組み込まれてもよい。また、魚位置情報取得手段131、魚予測位置情報取得手段132、同一魚判定手段133、魚計数手段134、および魚数予測手段135は、例えば、図9に示すように、ハードウェアであるデータ処理手段(データ処理装置)13に組み込まれてもよく、ソフトウェアまたは前記ソフトウェアが組み込まれたハードウェアでもよい。データ処理手段13は、CPU等を備えてもよい。なお、計測画像記憶部121、魚位置情報記憶部122、魚予測位置情報記憶部123、同一魚記憶部124、魚数記憶部125、および予測魚数記憶部126、ならびに出力手段14は、任意の構成であり、あってもよいし、なくてもよいし、いずれか1つを含んでもよいし、複数を含んでもよい。
魚数記憶部125は、さらに、魚数予測手段135と、予測魚数記憶部126は、魚数予測手段135および出力手段14と、それぞれ電気的に接続されている。また、魚計数手段134は、魚数予測手段135と、魚数予測手段135は、出力手段14と、それぞれ電気的に接続されてもよい。魚数予測装置30は、例えば、前記計測画像をデータ記憶手段12に記憶させ、記憶させた計測画像をデータ処理手段13に出力してデータ処理を行ってもよいし、前記計測画像をデータ処理手段13に入力してデータ処理を行ってもよい。
計測画像取得手段11(「予測計測画像取得手段」ともいう。)は、魚を含む流体が通過する通過領域における計測対象領域について、予め設定した時間内のk枚の計測画像を取得する。前記予め設定した時間は、特に制限されず、例えば、前記流体の体積および前記流体中の魚の密度に基づき、適宜決定できる。前記「k」の範囲は、例えば、1〜nの範囲の任意の正の整数であり、好ましくは、nより小さい正の整数である。例えば、この点を除き、計測画像取得手段11は、実施形態1の計測画像取得手段11と同じであり、その説明を援用できる。
魚数予測手段135は、前記魚計数装置、すなわち魚計数手段134等により、前記予め設定した時間内の前記k枚の計数画像から計数された魚数と、前記予め設定した時間と、前記魚を含む流体が前記通過領域を通過した総時間とに基づき、前記通過領域を通過した魚数を予測する。なお、本実施形態において、「m」は、例えば、1〜kの範囲の任意の正の整数であり、好ましくは、kより小さい正の整数である。
つぎに、図10に、本実施形態における魚数予測方法のフローチャートを示す。本実施形態の魚数予測方法は、例えば、図9の魚数予測装置を用いて、つぎのように実施する。図10に示すように、本実施形態の魚計数方法は、A1ステップ(計測画像取得、「予測計測画像取得)ともいう。)、A2ステップ(魚位置情報取得)、A3ステップ(魚予測位置情報取得)、A4ステップ(同一魚判定)、A5ステップ(魚計数)、およびA6ステップ(魚数予測)を含む。本実施形態の魚数予測方法において、A2ステップ、A3ステップ、A4ステップ、およびA5ステップは、実施形態2の魚計数方法における、A2ステップ、A3ステップ、A4ステップ、およびA5ステップと同じであり、その説明を援用できる。
(A1)計測画像取得
A1ステップでは、魚を含む流体が通過する通過領域における計測対象領域について、予め設定した時間内の前記k枚の計測画像を取得する。前記撮像手段を用いて前記計測画像を取得する場合、前記予め設定した時間、前記魚を含む流体が通過する前記通過領域を撮像し、取得する。前記データ記憶手段を用いて前記計測画像を取得する場合、前記データ記憶手段に記憶された前記計測画像のうち、予め設定した時間に対応する前記k枚の計測画像を読み出し、取得する。
つぎに、実施形態2の魚計数方法と同様にして、A2〜A5ステップを実施する。
(A6)魚数予測
そして、A6ステップでは、前記予め設定した時間内の前記k枚の計数画像から計数された魚数(C)と、前記予め設定した時間(S)と、前記魚を含む流体が前記通過領域を通過した総時間(T)とに基づき、前記通過領域を通過した魚数を予測する。前記予測魚数(P)は、例えば、下記式(1)により算出できる。
P=C×(T/S) ・・・(1)
P:予測魚数
C:計数された魚数
S:予め設定した時間
T:魚を含む流体が通過領域を通過した総時間
[実施形態6]
本実施形態は、同一魚判定装置、魚計数装置、魚計数用携帯端末、および魚数予測装置の操作画面(インターフェイス)ならびに操作フローに関する。
まず、魚計数装置および魚計数用携帯端末の操作画面ならびに操作フローについて、図11および12を用いて説明する。なお、前記魚計数用携帯端末の操作画面および操作フローは、前記魚計数装置の操作画面および操作フローの説明を援用できる。
図11に、前記魚計数装置の操作画面の一例を示す。図11に示すように、本実施形態の魚計数装置の操作画面40は、操作モード変更ボタン41、開始停止ボタン42、計測画像43、計測対象領域44、操作モード表示45、および魚数表示46を含む。本実施形態において、計測画像43は、計測対象領域44に、魚47aおよび47bを含む。また、操作画面40は、魚表示48aおよび48b、現在の魚位置情報表示49aおよび49b、過去の魚位置情報表示50aおよび50b、魚の移動線表示51aおよび51b、ならびに予測位置情報表示52を表示する。なお、魚47aは、未計数の魚を示し、魚47bは、計数済の魚を示す。
操作モード変更ボタン41は、前記魚計数装置の操作モードを変更でき、例えば、前記撮像手段から計測画像43を取得するリアルタイムモードと前記データ記憶手段から計測画像43を読み出し、取得する録画モードとを変更できる。
開始停止ボタン42は、操作により魚計数を開始および停止する。また、前記操作モードがリアルタイムモードの場合、開始停止ボタン42を操作することにより、魚数の計数開始時に前記撮像手段の撮像を開始し、魚数の計数停止時に前記撮像手段の撮像を停止してもよい。本実施形態において、開始および停止は、一つの開始停止ボタンにより操作するが、別々のボタンとし、別々に操作できるようにしてもよい。また、開始停止ボタン42は、一時停止機能等を含んでもよい。
操作モード表示45は、前記魚計数装置の操作モードを表示する。
魚数表示46は、前記魚計数装置により計数された魚数を表示する。
魚表示48aおよび48bは、操作画面40に表示中の計測画像中における魚の占める領域を示す表示である。前記魚の位置の表示は、例えば、前記魚を囲う表示枠を設け、表示してもよいし、魚のいる領域を他の色等で表示してもよい。前者の場合、前記表示枠の形状は、例えば、矩形状、円状、方形状等の任意の形状とできる。
現在の魚位置情報表示49aおよび49bは、操作画面40に表示中の計測画像における魚の位置を示す表示である。前記魚の位置は、例えば、前述の前記魚の体の構造の位置の平均の位置、前記魚が占める領域の重心の位置、前記魚表示の中心等があげられる。
過去の魚位置情報表示50aおよび50bは、操作画面40に表示中の計測画像より前に、前記魚計数装置により取得された計測画像における魚の位置を示す表示である。前記魚の位置は、例えば、現在の魚位置情報表示49aおよび49bにおける説明と同様である。
魚の移動線表示51aおよび51bは、それぞれ、魚47aおよび47bが移動した軌跡である。前記移動線は、例えば、前記魚計数装置により取得された魚の位置情報に基づき、同じ魚について、前記現在の魚位置情報表示と、前記過去の魚位置情報表示とを結ぶことにより表示できる。また、前記魚計数装置が魚移動線算出手段を含む場合、前記移動線は、前記魚移動線算出手段が算出した移動線であってもよい。
予測位置情報表示52は、操作画面40に表示中の計測画像のつぎに取得した計測画像における魚の予測位置である。前記魚の予測位置は、前記魚計数装置により取得された魚の予測位置情報に基づき、表示できる。具体的に、操作画面40に表示中の計測画像がm−1枚目の計測画像である場合、前記魚の予測位置は、例えば、m枚目の計測画像における魚の予測位置情報(PI)を表示する。
また、操作画面40における各表示は、例えば、魚表示48aおよび48bのように、未計数の魚と計数済の魚とで同じ表示としてもよいし、魚の移動線表示51aおよび51bのように、未計数の魚と計数済の魚とで異なる表示としてもよい。後者の場合、前記異なる表示は、例えば、異なる色、異なる線種等による表示があげられる。
つぎに、図12を用いて、開始停止ボタン42を操作した時の前記魚数計数装置の操作フローについて説明する。図12に、前記魚数計数装置の操作フローを示すフローチャートの一例を示す。図12に示すように、本実施形態の操作フローは、A7ステップ(カウントリセット)、A8ステップ(魚計数)、およびA9ステップ(停止判断)を含む。
(A7)カウントリセット
開始停止ボタン42が操作され、魚計数の開始操作が行われると、A7ステップでは、魚数表示46を0にセットする。
(A8)魚計数
A8ステップでは、前記魚計数方法により、計測対象領域44を通過する魚を計数する。
(A9)停止判断
A9ステップでは、開始停止ボタン42が操作され、魚計数の停止操作が行われたか否かを判断する。Noの場合、魚計数の停止操作が行われていないと判断し、A8ステップに戻り、魚計数を継続する。他方、Yesの場合、魚計数の停止操作が行われたと判断し、魚計数を停止する。
つぎに、同一魚判定装置の操作画面および操作フローについて説明する。本実施形態の同一魚判定装置の操作画面は、魚数表示46を表示しない以外は、前記魚数計数装置の操作画面40と同様であり、その説明を援用できる。また、本実施形態の同一魚判定装置の操作フローは、A7ステップを実施せず、A8ステップにおいて、前記魚計数方法に代えて、前記同一魚判定方法を実施する以外は、前記魚数計数装置の操作フローと同様であり、その説明を援用できる。
つぎに、魚数予測装置の操作画面および操作フローについて説明する。本実施形態の魚数予測装置の操作画面は、魚数表示46に代えて、予測魚数を表示する以外は、前記魚数計数装置の操作画面40と同様であり、その説明を援用できる。また、本実施形態の魚数予測装置の操作フローは、A8ステップにおいて、前記魚計数方法に代えて、前記魚数予測方法を実施する以外は、前記魚数計数装置の操作フローと同様であり、その説明を援用できる。
[実施形態7]
本実施形態のプログラムは、前述の同一魚判定方法、魚計数方法、または魚数予測方法を、コンピュータ上で実行可能なプログラムである。または、本実施形態のプログラムは、例えば、コンピュータ読み取り可能な記録媒体に記録されてもよい。前記記録媒体としては、特に限定されず、例えば、ランダムアクセスメモリ(RAM)、読み出し専用メモリ(ROM)、ハードディスク(HD)、光ディスク、フロッピー(登録商標)ディスク(FD)等があげられる。
[実施形態8]
実施形態8は、本発明の同一魚判定システムに関する。
本実施形態の同一魚判定システムによれば、例えば、簡易に同じ魚を判定できる。本実施形態の同一魚判定システムによれば、計測画像取得手段および出力手段を現場に設置し、サーバ等は他の場所に設置して、オンラインにより同じ魚を判定できる。そのため、装置の設置に場所を取ることがなく、メンテナンスも容易である。また、各設置場所が離れている場合であっても、一箇所での集中管理や遠隔操作が可能となる。本発明の同一魚判定システムは、例えば、前記同一魚判定装置および同一魚判定方法等の説明を援用できる。
図13に、本発明の同一魚判定装置を用いた同一魚判定システムの一例の構成を示す。図13に示すように、本実施形態の同一魚判定システムは、計測画像取得手段311a、311b、311cと、出力手段331a、331b、331cと、通信インターフェイス350a、350b、350cと、サーバ370とを備える。計測画像取得手段311aおよび出力手段331aは、通信インターフェイス350aに接続されている。計測画像取得手段311a、出力手段331aおよび通信インターフェイス350aは、場所Xに設置されている。計測画像取得手段311bおよび出力手段331bは、通信インターフェイス350bに接続されている。計測画像取得手段311b、出力手段331bおよび通信インターフェイス350bは、場所Yに設置されている。計測画像取得手段311cおよび出力手段331cは、通信インターフェイス350cに接続されている。計測画像取得手段311c、出力手段331cおよび通信インターフェイス350cは、場所Zに設置されている。そして、通信インターフェイス350a、350b、350cと、サーバ370とが、回線網360を介して接続されている。
この同一魚判定システムでは、サーバ370側に、魚位置情報取得手段、魚予測位置情報取得手段、および同一魚判定手段が格納される。例えば、場所Xで計測画像取得手段311aを用いて取得されたn枚の計測画像を、サーバ370に送信し、サーバ370側で、同じ魚か判定する。また、前記同じ魚かの判定を、出力手段331aにより出力する。
なお、本実施形態の同一魚判定システムは、前述の実施形態および変形例の組合せに対応したものであってもよい。また、本実施形態の同一魚判定システムは、例えば、クラウドコンピューティングに対応したものであってもよい。さらに、本実施形態の同一魚判定システムは、通信インターフェイス350a、350b、350cと、サーバ370とが、無線回線を接続されていてもよい。
[実施形態9]
実施形態9は、本発明の魚計数システムに関する。
本実施形態の魚計数システムによれば、例えば、同じ魚を精度よく検出できる。このため、本実施形態の魚計数システムによれば、例えば、より精度よく魚を計数できる。本実施形態の魚計数システムによれば、計測画像取得手段および出力手段を現場に設置し、サーバ等は他の場所に設置して、オンラインにより魚を計数できる。そのため、装置の設置に場所を取ることがなく、メンテナンスも容易である。また、各設置場所が離れている場合であっても、一箇所での集中管理や遠隔操作が可能となる。本発明の魚計数システムは、例えば、前記同一魚判定装置および同一魚判定方法等の説明を援用できる。
本実施形態の魚計数システムは、実施形態9の同一魚判定システムにおいて、サーバ370内に、さらに魚計数手段が格納されている。そして、前記魚計数システムは、場所Xで計測画像取得手段311aを用いて取得されたn枚の計測画像を、サーバ370に送信し、サーバ370側で、魚数を計数する。また、前記魚数を、出力手段331aにより出力する。この点を除き、実施形態9の同一魚判定システムの説明を援用できる。
[実施形態10]
実施形態10は、本発明の魚数予測システムに関する。
本実施形態の魚数予測システムによれば、例えば、同じ魚を精度よく検出できる。このため、本実施形態の魚数予測システムによれば、例えば、より精度よく魚を予測できる。本実施形態の魚数予測システムでは、前記予め設定した時間内の前記k枚の計測画像から魚数を計数し、前記計数された魚数から全体の魚数を予測する。このため、本実施形態の魚数予測システムによれば、例えば、データ処理手段を含むサーバであれば魚数の予測をすることができるため、簡易に魚数を予測することができる。また、本実施形態の魚計数システムによれば、計測画像取得手段および出力手段を現場に設置し、サーバ等は他の場所に設置して、オンラインにより魚を計数できる。そのため、装置の設置に場所を取ることがなく、メンテナンスも容易である。また、各設置場所が離れている場合であっても、一箇所での集中管理や遠隔操作が可能となる。本発明の魚数予測システムは、例えば、前記同一魚判定装置および同一魚判定方法等の説明を援用できる。
本実施形態の魚計数システムは、実施形態9の同一魚判定システムにおいて、サーバ370内に、さらに、魚計数手段および魚数予測手段が格納されている。そして、前記魚計数システムは、場所Xで計測画像取得手段(予測計測画像取得手段)311aを用いて取得された予め設定した時間内のk枚の計測画像を、サーバ370に送信し、サーバ370側で、魚数を予測する。また、前記予測魚数を、出力手段331aにより出力する。この点を除き、実施形態9の同一魚判定システムの説明を援用できる。
以上、実施形態を参照して本発明を説明したが、本発明は、上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解しうる様々な変更をできる。
本発明によれば、簡易に同じ魚を判定できる。このため、本発明によれば、例えば、前記計測画像中に複数の魚が存在する場合においても同じ魚を判定できるため、重複カウントを抑制でき効率良く魚を計数できる。このため、本発明は、養殖分野、漁業分野等において極めて有用である。
10 同一魚判定装置
11 計測画像取得手段
12 データ記憶手段
121 計測画像記憶部
122 魚位置情報記憶部
123 魚予測位置情報記憶部
124 同一魚記憶部
125 魚数記憶部
126 予測魚数記憶部
13 データ処理手段
131 魚位置情報取得手段
132 魚予測位置情報取得手段
133 同一魚判定手段
134 魚計数手段
135 魚数予測手段
14 出力手段
20 魚計数装置
30 魚数予測装置
40 操作画面
41 操作モード変更ボタン
42 開始停止ボタン
43 計測画像
44 計測対象領域
45 操作モード表示
46 魚数表示
47a、47b 魚
48a、48b 魚表示
49a、49b 現在の魚位置情報表示
50a、50b 過去の魚位置情報表示
51a、51b 魚の移動線表示
52 予測位置情報表示
311a、311b、311c 計測画像取得手段
331a、331b、331c 出力手段
350a、350b、350c 通信インターフェイス
360 回線網
370 サーバ

Claims (31)

  1. 計測画像取得手段、魚位置情報取得手段、魚予測位置情報取得手段、および同一魚判定手段を含み、
    前記計測画像取得手段は、
    魚を含む流体が通過する通過領域における計測対象領域について、経時的にn枚の計測画像を取得し、
    前記魚位置情報取得手段は、
    前記n枚の計測画像について、前記魚の位置情報を取得し、
    前記魚予測位置情報取得手段は、
    前記n枚の計測画像のうちm−1枚目以前の計測画像から、少なくとも1つの選択画像を選択し、前記選択画像における魚の位置情報に基づき、m枚目の計測画像における魚の位置であると仮定したm枚目の計測画像における魚の予測位置情報(PI)を取得し、
    前記同一魚判定手段は、
    m枚目の計測画像における魚の位置情報(I)および対応する前記魚の予測位置情報(PI)に基づき、
    前記魚の位置情報(I)が前記魚の予測位置情報(PI)と一致する場合、前記m枚目の計測画像における魚が、前記選択画像における魚と同じ魚であると判定し、
    前記魚の位置情報(I)が前記魚の予測位置情報(PI)と一致しない場合、前記m枚目の計測画像における魚が、前記選択画像における魚と異なる魚であると判定することを特徴とする、同一魚判定装置。
  2. 前記魚位置情報取得手段は、前記n枚の計測画像において、色条件を満たす領域を前記魚の位置情報として取得する、請求項1記載の同一魚判定装置。
  3. 同一魚判定装置が、さらに、差分画像作製手段を含み、
    前記差分画像作製手段は、前記n枚の計測画像について、前記計測画像と基準画像との差分である差分画像を作製し、
    前記魚位置情報取得手段は、
    前記差分画像において、色変化条件を満たす領域を前記魚の位置情報として取得する項1または2記載の同一魚判定装置。
  4. 前記基準画像は、m−1枚目の計測画像であり、
    前記差分画像は、m枚目の計測画像と前記m−1枚目の計測画像との差分であり、
    前記魚位置情報取得手段は、
    前記差分画像において、色変化条件を満たす領域を前記m枚目の計測画像における魚の位置情報(I)として取得する、請求項3記載の同一魚判定装置。
  5. 同一魚判定装置が、さらに、輪郭抽出手段を含み、
    前記輪郭抽出手段が、前記n枚の計測画像における輪郭を抽出し、
    前記魚位置情報取得手段が、
    前記輪郭に囲まれた領域を前記魚の位置として取得する、請求項1から4のいずれか一項に記載の同一魚判定装置。
  6. 前記魚位置情報取得手段が、さらに、誤検出位置情報除去手段を含み、
    前記誤検出位置情報除去手段が、
    誤検出条件を満たす前記魚の位置情報を誤情報として除去し、
    前記魚位置情報取得手段が、
    前記誤情報が除去された位置情報を、前記魚の位置情報として取得する、請求項1から5のいずれか一項に記載の同一魚判定装置。
  7. 前記少なくとも1つの前記選択画像が、複数枚である、請求項1から6のいずれか一項に記載の同一魚判定装置。
  8. 計測画像取得手段、魚位置情報取得手段、魚予測位置情報取得手段、および同一魚判定手段を含む請求項1から7のいずれか一項に記載の同一魚判定装置、ならびに魚計数手段を含み、
    前記魚計数手段は、
    前記同一魚判定装置で判定された同じ魚の位置情報に基づき、前記魚数を計数することを特徴とする、魚計数装置。
  9. 前記魚計数手段は、
    前記同一魚判定装置で判定された同じ魚の位置情報において、前記計測画像における両端に位置する前記魚間の距離が、長さ条件を満たす場合、前記同じ魚を魚として計数する、請求項8記載の魚計数装置。
  10. さらに、報知手段を含み、
    前記報知手段は、
    前記魚数が、魚数条件を満たす場合、報知する、請求項8または9記載の魚計数装置。
  11. 同一魚判定装置および魚計数手段を含む請求項8から10のいずれか一項に記載の魚計数装置、ならびに表示手段を含み、
    前記表示手段が、前記魚計数装置により計数された魚数を表示することを特徴とする、魚計数用携帯端末。
  12. 前記表示手段が、さらに、前記魚計数装置が取得した魚の位置情報に基づき魚の占める領域を表示する、請求項11記載の魚計数用携帯端末。
  13. 前記表示手段が、さらに、前記魚計数装置が算出した魚の移動線を表示する、請求項11または12記載の魚計数用携帯端末。
  14. 前記表示手段が、さらに、前記魚計数装置が取得した魚の予測位置情報を表示する、請求項11から13のいずれか一項に記載の魚計数用携帯端末。
  15. 計測画像取得工程、魚位置情報取得工程、魚予測位置情報取得工程、および同一魚判定工程を含み、
    前記計測画像取得工程は、
    魚を含む流体が通過する通過領域における計測対象領域について、経時的にn枚の計測画像を取得し、
    前記魚位置情報取得工程は、
    前記n枚の計測画像について、前記魚の位置情報を取得し、
    前記魚予測位置情報取得工程は、
    前記n枚の計測画像のうちm−1枚目以前の計測画像から、少なくとも1つの選択画像を選択し、前記選択画像における魚の位置情報に基づき、m枚目の計測画像における魚の位置であると仮定したm枚目の計測画像における魚の予測位置情報(PI)を取得し、
    前記同一魚判定工程は、
    m枚目の計測画像における魚の位置情報(I)および対応する前記魚の予測位置情報(PI)に基づき、
    前記魚の位置情報(I)が前記魚の予測位置情報(PI)と一致する場合、前記m枚目の計測画像における魚が、前記選択画像における魚と同じ魚であると判定し、
    前記魚の位置情報(I)が前記魚の予測位置情報(PI)と一致しない場合、前記m枚目の計測画像における魚が、前記選択画像における魚と異なる魚であると判定することを特徴とする、同一魚判定方法。
  16. 前記魚位置情報取得工程は、前記n枚の計測画像において、色条件を満たす領域を前記魚の位置情報として取得する、請求項15記載の同一魚判定方法。
  17. 同一魚判定方法が、さらに、差分画像作製工程を含み、
    前記差分画像作製工程は、前記n枚の計測画像について、前記計測画像と基準画像との差分である差分画像を作製し、
    前記魚位置情報取得工程は、
    前記差分画像において、色変化条件を満たす領域を前記魚の位置情報として取得する項15または16記載の同一魚判定方法。
  18. 前記基準画像は、m−1枚目の計測画像であり、
    前記差分画像は、m枚目の計測画像と前記m−1枚目の計測画像との差分であり、
    前記魚位置情報取得工程は、
    前記差分画像において、色変化条件を満たす領域を前記m枚目の計測画像における魚の位置情報(I)として取得する、請求項17記載の同一魚判定方法。
  19. 同一魚判定方法が、さらに、輪郭抽出工程を含み、
    前記輪郭抽出工程が、前記n枚の計測画像における輪郭を抽出し、
    前記魚位置情報取得工程が、
    前記輪郭に囲まれた領域を前記魚の位置として取得する、請求項15から18のいずれか一項に記載の同一魚判定方法。
  20. 前記魚位置情報取得工程が、さらに、誤検出位置情報除去工程を含み、
    前記誤検出位置情報除去工程が、
    誤検出条件を満たす前記魚の位置情報を誤情報として除去し、
    前記魚位置情報取得工程が、
    前記誤情報が除去された位置情報を、前記魚の位置情報として取得する、請求項15から19のいずれか一項に記載の同一魚判定方法。
  21. 前記少なくとも1つの前記選択画像が、複数枚である、請求項15から20のいずれか一項に記載の同一魚判定方法。
  22. 計測画像取得工程、魚位置情報取得工程、魚予測位置情報取得工程、および同一魚判定工程を含む請求項15から21のいずれか一項に記載の同一魚判定方法、ならびに魚計数工程を含み、
    前記魚計数工程は、
    前記同一魚判定方法で判定された同じ魚の位置情報に基づき、前記魚数を計数することを特徴とする、魚計数方法。
  23. 前記魚計数工程は、
    前記同一魚判定方法で判定された同じ魚の位置情報において、前記計測画像における両端に位置する前記魚間の距離が、長さ条件を満たす場合、前記同じ魚を魚として計数する、請求項22記載の魚計数方法。
  24. さらに、報知工程を含み、
    前記報知工程は、
    前記魚数が、魚数条件を満たす場合、報知する、請求項22または23記載の魚計数方法。
  25. 同一魚判定装置および魚計数手段を含む請求項8から10のいずれか一項に記載の魚計数装置、ならびに魚数予測手段を含み、
    前記魚数予測手段は、
    前記魚計数装置により、予め設定した時間内のk枚の計数画像から計数された魚数と、前記予め設定した時間と、前記魚を含む流体が前記通過領域を通過した総時間とに基づき、前記通過領域を通過した魚数を予測することを特徴とする、魚数予測装置。
  26. 同一魚判定方法および魚計数工程を含む請求項22から24のいずれか一項に記載の魚計数方法、ならびに魚数予測工程を含み、
    前記魚数予測工程は、
    前記魚計数装置により、予め設定した時間内のk枚の計数画像から計数された魚数と、前記予め設定した時間と、前記魚を含む流体が前記通過領域を通過した総時間とに基づき、前記通過領域を通過した魚数を予測することを特徴とする、魚数予測方法。
  27. 請求項15から21のいずれか一項に記載の同一魚判定方法、請求項22から24のいずれか一項に記載の魚計数方法、または請求項26記載の魚数予測方法をコンピュータ上で実行可能なことを特徴とする、プログラム。
  28. 請求項27記載のプログラムを記録していることを特徴とする、コンピュータ読み取り可能な記録媒体。
  29. 端末とサーバとを含み、
    前記端末と前記サーバとは、システム外の通信回線網を介して、接続可能であり、
    前記端末は、計測画像取得手段および出力手段を含み、
    前記計測画像取得手段は、
    魚を含む流体が通過する通過領域における計測対象領域について、経時的にn枚の計測画像を取得し、
    前記出力手段は、
    同じ魚かの判定を出力し、
    前記サーバは、魚位置情報取得手段、魚予測位置情報取得手段、および同一魚判定手段を含み、
    前記魚位置情報取得手段は、
    前記n枚の計測画像について、前記魚の位置情報を取得し、
    前記魚予測位置情報取得手段は、
    前記n枚の計測画像のうちm−1枚目以前の計測画像から、少なくとも1つの選択画像を選択し、前記選択画像における魚の位置情報に基づき、m枚目の計測画像における魚の位置であると仮定したm枚目の計測画像における魚の予測位置情報(PI)を取得し、
    前記同一魚判定手段は、
    m枚目の計測画像における魚の位置情報(I)および対応する前記魚の予測位置情報(PI)に基づき、
    前記魚の位置情報(I)が前記魚の予測位置情報(PI)と一致する場合、前記m枚目の計測画像における魚が、前記選択画像における魚と同じ魚であると判定し、
    前記魚の位置情報(I)が前記魚の予測位置情報(PI)と一致しない場合、前記m枚目の計測画像における魚が、前記選択画像における魚と異なる魚であると判定することを特徴とする、同一魚判定システム。
  30. 端末とサーバとを含み、
    前記端末と前記サーバとは、システム外の通信回線網を介して、接続可能であり、
    前記端末は、計測画像取得手段および出力手段を含み、
    前記計測画像取得手段は、
    魚を含む流体が通過する通過領域における計測対象領域について、経時的にn枚の計測画像を取得し、
    前記出力手段は、
    計数された魚数を出力し、
    前記サーバは、魚位置情報取得手段、魚予測位置情報取得手段、同一魚判定手段、および魚計数手段を含み、
    前記魚位置情報取得手段は、
    前記n枚の計測画像について、前記魚の位置情報を取得し、
    前記魚予測位置情報取得手段は、
    前記n枚の計測画像のうちm−1枚目以前の計測画像から、少なくとも1つの選択画像を選択し、前記選択画像における魚の位置情報に基づき、m枚目の計測画像における魚の位置であると仮定したm枚目の計測画像における魚の予測位置情報(PI)を取得し、
    前記同一魚判定手段は、
    m枚目の計測画像における魚の位置情報(I)および対応する前記魚の予測位置情報(PI)に基づき、
    前記魚の位置情報(I)が前記魚の予測位置情報(PI)と一致する場合、前記m枚目の計測画像における魚が、前記選択画像における魚と同じ魚であると判定し、
    前記魚の位置情報(I)が前記魚の予測位置情報(PI)と一致しない場合、前記m枚目の計測画像における魚が、前記選択画像における魚と異なる魚であると判定し、
    前記魚計数手段は、
    前記同一魚判定手段で判定された同じ魚の位置情報に基づき、前記魚数を計数することを特徴とする、魚計数システム。
  31. 端末とサーバとを含み、
    前記端末と前記サーバとは、システム外の通信回線網を介して、接続可能であり、
    前記端末は、計測画像取得手段および出力手段を含み、
    前記計測画像取得手段は、
    魚を含む流体が通過する通過領域における計測対象領域について、予め設定した時間内、経時的にk枚の計測画像を取得し、
    前記出力手段は、
    予測された魚数を出力し、
    前記サーバは、魚位置情報取得手段、魚予測位置情報取得手段、同一魚判定手段、魚計数手段、および魚数予測手段を含み、
    前記魚位置情報取得手段は、
    前記k枚の計測画像について、前記魚の位置情報を取得し、
    前記魚予測位置情報取得手段は、
    前記k枚の計測画像のうちm−1枚目以前の計測画像から、少なくとも1つの選択画像を選択し、前記選択画像における魚の位置情報に基づき、m枚目の計測画像における魚の位置であると仮定したm枚目の計測画像における魚の予測位置情報(PI)を取得し、
    前記同一魚判定手段は、
    m枚目の計測画像における魚の位置情報(I)および対応する前記魚の予測位置情報(PI)に基づき、
    前記魚の位置情報(I)が前記魚の予測位置情報(PI)と一致する場合、前記m枚目の計測画像における魚が、前記選択画像における魚と同じ魚であると判定し、
    前記魚の位置情報(I)が前記魚の予測位置情報(PI)と一致しない場合、前記m枚目の計測画像における魚が、前記選択画像における魚と異なる魚であると判定し、
    前記魚計数手段は、
    前記同一魚判定手段で判定された同じ魚の位置情報に基づき、前記魚数を計数し、
    前記魚数予測手段は、
    前記魚計数手段により、予め設定した時間内の前記k枚の計数画像から計数された魚数と、前記予め設定した時間と、前記魚を含む流体が前記通過領域を通過した総時間とに基づき、前記通過領域を通過した魚数を予測することを特徴とする、魚数予測システム。
JP2015046118A 2015-03-09 2015-03-09 同一魚判定装置、魚計数装置、魚計数用携帯端末、同一魚判定方法、魚計数方法、魚数予測装置、魚数予測方法、同一魚判定システム、魚計数システムおよび魚数予測システム Active JP6702535B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2015046118A JP6702535B2 (ja) 2015-03-09 2015-03-09 同一魚判定装置、魚計数装置、魚計数用携帯端末、同一魚判定方法、魚計数方法、魚数予測装置、魚数予測方法、同一魚判定システム、魚計数システムおよび魚数予測システム
US15/534,656 US20180263223A1 (en) 2015-03-09 2015-10-22 Same-fish identification device, fish counting device, portable terminal for counting fish, same-fish identification method, fish counting method, fish count prediction device, fish count prediction method, same-fish identification system, fish counting system, and fish count prediction system
PCT/JP2015/079881 WO2016143187A1 (ja) 2015-03-09 2015-10-22 同一魚判定装置、魚計数装置、魚計数用携帯端末、同一魚判定方法、魚計数方法、魚数予測装置、魚数予測方法、同一魚判定システム、魚計数システムおよび魚数予測システム
CN201580073078.9A CN107205366A (zh) 2015-03-09 2015-10-22 同一条鱼识别设备、鱼计数设备,用于鱼计数的便携式终端、同一条鱼识别方法、鱼计数方法、鱼计数预测设备、鱼计数预测方法、同一条鱼识别系统、鱼计数系统和鱼计数预测系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015046118A JP6702535B2 (ja) 2015-03-09 2015-03-09 同一魚判定装置、魚計数装置、魚計数用携帯端末、同一魚判定方法、魚計数方法、魚数予測装置、魚数予測方法、同一魚判定システム、魚計数システムおよび魚数予測システム

Publications (2)

Publication Number Publication Date
JP2016165238A true JP2016165238A (ja) 2016-09-15
JP6702535B2 JP6702535B2 (ja) 2020-06-03

Family

ID=56880588

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015046118A Active JP6702535B2 (ja) 2015-03-09 2015-03-09 同一魚判定装置、魚計数装置、魚計数用携帯端末、同一魚判定方法、魚計数方法、魚数予測装置、魚数予測方法、同一魚判定システム、魚計数システムおよび魚数予測システム

Country Status (4)

Country Link
US (1) US20180263223A1 (ja)
JP (1) JP6702535B2 (ja)
CN (1) CN107205366A (ja)
WO (1) WO2016143187A1 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018037638A1 (ja) * 2016-08-26 2018-03-01 Necソリューションイノベータ株式会社 生存魚管理システム
CN109509175A (zh) * 2018-10-15 2019-03-22 浙江大学 一种基于机器视觉和深度学习的鱼苗便携式计数器及计数方法
JP2019153077A (ja) * 2018-03-02 2019-09-12 日本電気株式会社 個体計数装置、個体計数方法、個体計数プログラム、及び個体計数システム
JP2020150890A (ja) * 2019-03-22 2020-09-24 日本航空電子工業株式会社 尾数算出方法、尾数算出装置、尾数計測方法、尾数計測システム、尾数算出プログラム
WO2021038753A1 (ja) * 2019-08-28 2021-03-04 ウミトロン ピーティーイー エルティーディー 水棲動物検出装置、情報処理装置、端末装置、水棲動物検出システム、水棲動物検出方法、及び水棲動物検出プログラム
WO2021060078A1 (ja) 2019-09-27 2021-04-01 ヤンマーパワーテクノロジー株式会社 魚計数システム、魚計数方法及びプログラム
JP2021065159A (ja) * 2019-10-24 2021-04-30 中央電子株式会社 水産物識別方法、水産物識別プログラム、及び水産物識別システム
WO2022107561A1 (ja) * 2020-11-20 2022-05-27 ヤンマーホールディングス株式会社 表示装置およびそれを備えた魚数計数システムと、表示制御プログラム

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI637323B (zh) * 2017-11-20 2018-10-01 緯創資通股份有限公司 基於影像的物件追蹤方法及其系統與電腦可讀取儲存媒體
CN109275609B (zh) * 2018-11-14 2021-06-01 常州大学 基于图像处理的常见淡水鱼种类自动识别方法
JP6561194B1 (ja) * 2018-12-27 2019-08-14 Scsk株式会社 追跡システム、及び追跡プログラム
ES2791551A1 (es) * 2019-05-03 2020-11-04 Inst Espanol De Oceanografia Ieo Procedimiento para la identificacion y caracterizacion de peces y sistema de suministro automatico de alimento que hace uso del mismo
WO2021059143A2 (en) 2019-09-27 2021-04-01 Agam Aquaculture Ltd. Fish management system and method
WO2021060077A1 (ja) * 2019-09-27 2021-04-01 ヤンマーパワーテクノロジー株式会社 魚計数システム、魚計数方法及びプログラム
US11089227B1 (en) 2020-02-07 2021-08-10 X Development Llc Camera winch control for dynamic monitoring
CN111387122B (zh) * 2020-03-13 2021-10-01 沈阳工业大学 一种鱼群分流装置
CN113758577B (zh) * 2021-09-09 2022-04-22 易科捷(武汉)生态科技有限公司成都分公司 一种基于大数据的精准型鱼类识别技术系统
CN114049477B (zh) * 2021-11-16 2023-04-07 中国水利水电科学研究院 一种过鱼鱼道系统、鱼类数量和种类的动态识别跟踪方法
CN114403076B (zh) * 2021-12-06 2023-06-02 国罡(无锡)能源服务有限公司 一种基于ai的鱼类标记和组网方法
CN114938790B (zh) * 2022-06-24 2023-06-30 浙江大学 一种便携式鱼苗自动计数装置
CN115984145B (zh) * 2023-02-27 2024-02-02 湖南城市学院 一种精准鱼道过鱼识别方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0728969A (ja) * 1993-07-08 1995-01-31 Kunio Hiuga Ccdカメラによるオプチカルフローを利用した移動物体のカウンタ
JPH087069A (ja) * 1994-06-15 1996-01-12 Hitachi Ltd 画像処理を用いた魚種別魚数計測装置
JPH0844843A (ja) * 1994-07-28 1996-02-16 Kensetsu Gijutsu Kenkyusho:Kk 魚道内魚類流動解析装置
JPH1055425A (ja) * 1996-08-08 1998-02-24 Tokyo Electric Power Co Inc:The 水路流出入物監視装置
JPH11282999A (ja) * 1998-03-30 1999-10-15 East Japan Railway Co 移動物体計測装置
JP2004199623A (ja) * 2002-12-20 2004-07-15 Minolta Co Ltd 移動体の計数方法
JP2005215909A (ja) * 2004-01-29 2005-08-11 Hitachi Ltd 動画像処理技術を使用した市街の交通状況調査システム
JP2005309485A (ja) * 2004-04-16 2005-11-04 Central Res Inst Of Electric Power Ind 水中または水面における移動体の計数システムおよび計数方法
JP2007502110A (ja) * 2003-08-11 2007-02-08 リレルート,クリスチャン 魚の重さを記録し、推定する方法及び装置
JP2013201714A (ja) * 2012-03-26 2013-10-03 Central Research Institute Of Electric Power Industry 移動体の画像判別装置および移動体の画像判別方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7663502B2 (en) * 1992-05-05 2010-02-16 Intelligent Technologies International, Inc. Asset system control arrangement and method
JP2589046B2 (ja) * 1993-11-01 1997-03-12 財団法人ダム水源地環境整備センター 魚数計測方法と装置および移動体計数方法
US6682554B2 (en) * 1998-09-05 2004-01-27 Jomed Gmbh Methods and apparatus for a stent having an expandable web structure
US20100195868A1 (en) * 2007-05-31 2010-08-05 Lu Peter J Target-locking acquisition with real-time confocal (tarc) microscopy
CN101615817B (zh) * 2008-06-26 2012-07-04 中山大洋电机股份有限公司 一种外转子电机
CN103400147B (zh) * 2013-07-25 2016-07-06 中国农业大学 基于图像处理的目标鱼识别方法及系统

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0728969A (ja) * 1993-07-08 1995-01-31 Kunio Hiuga Ccdカメラによるオプチカルフローを利用した移動物体のカウンタ
JPH087069A (ja) * 1994-06-15 1996-01-12 Hitachi Ltd 画像処理を用いた魚種別魚数計測装置
JPH0844843A (ja) * 1994-07-28 1996-02-16 Kensetsu Gijutsu Kenkyusho:Kk 魚道内魚類流動解析装置
JPH1055425A (ja) * 1996-08-08 1998-02-24 Tokyo Electric Power Co Inc:The 水路流出入物監視装置
JPH11282999A (ja) * 1998-03-30 1999-10-15 East Japan Railway Co 移動物体計測装置
JP2004199623A (ja) * 2002-12-20 2004-07-15 Minolta Co Ltd 移動体の計数方法
JP2007502110A (ja) * 2003-08-11 2007-02-08 リレルート,クリスチャン 魚の重さを記録し、推定する方法及び装置
JP2005215909A (ja) * 2004-01-29 2005-08-11 Hitachi Ltd 動画像処理技術を使用した市街の交通状況調査システム
JP2005309485A (ja) * 2004-04-16 2005-11-04 Central Res Inst Of Electric Power Ind 水中または水面における移動体の計数システムおよび計数方法
JP2013201714A (ja) * 2012-03-26 2013-10-03 Central Research Institute Of Electric Power Industry 移動体の画像判別装置および移動体の画像判別方法

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018037638A1 (ja) * 2016-08-26 2018-03-01 Necソリューションイノベータ株式会社 生存魚管理システム
JP7069840B2 (ja) 2018-03-02 2022-05-18 日本電気株式会社 個体計数装置、個体計数方法、個体計数プログラム、及び個体計数システム
JP2019153077A (ja) * 2018-03-02 2019-09-12 日本電気株式会社 個体計数装置、個体計数方法、個体計数プログラム、及び個体計数システム
CN109509175B (zh) * 2018-10-15 2020-09-04 浙江大学 一种基于机器视觉和深度学习的鱼苗便携式计数器及计数方法
CN109509175A (zh) * 2018-10-15 2019-03-22 浙江大学 一种基于机器视觉和深度学习的鱼苗便携式计数器及计数方法
JP2020150890A (ja) * 2019-03-22 2020-09-24 日本航空電子工業株式会社 尾数算出方法、尾数算出装置、尾数計測方法、尾数計測システム、尾数算出プログラム
JP7128764B2 (ja) 2019-03-22 2022-08-31 日本航空電子工業株式会社 尾数算出方法、尾数算出装置、尾数計測方法、尾数計測システム、尾数算出プログラム
WO2021038753A1 (ja) * 2019-08-28 2021-03-04 ウミトロン ピーティーイー エルティーディー 水棲動物検出装置、情報処理装置、端末装置、水棲動物検出システム、水棲動物検出方法、及び水棲動物検出プログラム
WO2021060078A1 (ja) 2019-09-27 2021-04-01 ヤンマーパワーテクノロジー株式会社 魚計数システム、魚計数方法及びプログラム
JP2021052632A (ja) * 2019-09-27 2021-04-08 ヤンマーパワーテクノロジー株式会社 魚計数システム、魚計数方法及びプログラム
JP7237789B2 (ja) 2019-09-27 2023-03-13 ヤンマーパワーテクノロジー株式会社 魚計数システム、魚計数方法及びプログラム
AU2020353503B2 (en) * 2019-09-27 2023-11-16 Yanmar Power Technology Co., Ltd. Fish counting system, fish counting method, and program
JP2021065159A (ja) * 2019-10-24 2021-04-30 中央電子株式会社 水産物識別方法、水産物識別プログラム、及び水産物識別システム
JP7243986B2 (ja) 2019-10-24 2023-03-22 中央電子株式会社 水産物識別方法、水産物識別プログラム、及び水産物識別システム
WO2022107561A1 (ja) * 2020-11-20 2022-05-27 ヤンマーホールディングス株式会社 表示装置およびそれを備えた魚数計数システムと、表示制御プログラム

Also Published As

Publication number Publication date
JP6702535B2 (ja) 2020-06-03
WO2016143187A1 (ja) 2016-09-15
US20180263223A1 (en) 2018-09-20
CN107205366A (zh) 2017-09-26

Similar Documents

Publication Publication Date Title
WO2016143187A1 (ja) 同一魚判定装置、魚計数装置、魚計数用携帯端末、同一魚判定方法、魚計数方法、魚数予測装置、魚数予測方法、同一魚判定システム、魚計数システムおよび魚数予測システム
WO2016056301A1 (ja) 魚計数装置、魚計数方法、魚数の予測装置、魚数の予測方法、魚計数システムおよび魚数予測システム
US10452925B2 (en) Video monitoring method and video monitoring device
US9959618B2 (en) Image processing apparatus, image processing method, and computer-readable recording medium
US11386297B2 (en) Learning data generation device, learning data generation method, and recording medium
US10691947B2 (en) Monitoring device
US10438069B2 (en) Method and apparatus for detecting abnormal situation, and non-transitory computer-readable recording medium
US10506174B2 (en) Information processing apparatus and method for identifying objects and instructing a capturing apparatus, and storage medium for performing the processes
US9600898B2 (en) Method and apparatus for separating foreground image, and computer-readable recording medium
EP3142045B1 (en) Predicting accuracy of object recognition in a stitched image
JP2017520050A5 (ja)
WO2018148628A8 (en) Detection of risky objects in image frames
JP2014106692A5 (ja)
US20190340770A1 (en) Irradiation system, irradiation method, and program storage medium
JP6362085B2 (ja) 画像認識システム、画像認識方法およびプログラム
KR20140095333A (ko) 영상에서 객체 추적 방법 및 장치
WO2018110377A1 (ja) 映像監視装置
KR102150661B1 (ko) 객체를 검출하기 위한 전처리 장치 및 방법
JP2015184944A (ja) 人物検出装置
JP2017073071A (ja) 同一判定プログラム、同一判定装置、および同一判定方法
WO2021125936A1 (en) A rf model based insect identification method
JP2019113976A (ja) 動線分析システム、動線分析システムの制御方法、およびプログラム
KR101280840B1 (ko) 프리젠테이션 시스템의 스크린상에서 레이저 포인트 위치 좌표 인식 방법
JP6348020B2 (ja) 画像処理装置、画像処理方法およびそれを用いた検査方法。
JP2019075029A (ja) 物体分布推定装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180308

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190402

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190529

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20191025

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191105

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200402

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200423

R150 Certificate of patent or registration of utility model

Ref document number: 6702535

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150