JP2020188385A - 撮像システム - Google Patents
撮像システム Download PDFInfo
- Publication number
- JP2020188385A JP2020188385A JP2019092304A JP2019092304A JP2020188385A JP 2020188385 A JP2020188385 A JP 2020188385A JP 2019092304 A JP2019092304 A JP 2019092304A JP 2019092304 A JP2019092304 A JP 2019092304A JP 2020188385 A JP2020188385 A JP 2020188385A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- processing
- imaging
- memory
- processing device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 111
- 238000000034 method Methods 0.000 claims abstract description 27
- 230000015654 memory Effects 0.000 claims description 28
- 230000007547 defect Effects 0.000 claims description 18
- 238000007689 inspection Methods 0.000 description 6
- 230000002950 deficient Effects 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 5
- 238000012544 monitoring process Methods 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/60—Memory management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/06—Recognition of objects for industrial automation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Studio Devices (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
Description
図1(A)は、本実施形態に係る撮像システムの基本的構成を示したものである。本実施形態では、検査システムを対象としている。本撮像システムは、3つのユニットを有する。具体的には、撮像装置121と処理装置131により、第1のユニット181が構成され、撮像装置122と処理装置132により、第2のユニット182が構成され、撮像装置123と処理装置133により、第3のユニット183が構成されている。以下、図3に示す処理フローとともに、図1に示す検査システムを説明する。
図1(B)は、撮像装置121〜123のそれぞれが有する機能をブロックで表示したものである。図1(B)では、撮像装置121を例として示している。撮像装置は、レンズ部191と、撮像素子192と、撮像素子から出力される信号を処理する信号処理部193と、信号処理部により生成された画像データを出力する出力部194を有する。撮像装置121〜123のそれぞれには、撮影トリガ信号の入力部195が設けられており、撮影トリガ信号が入力されると、撮像装置121〜123は撮影を開始する。
センサ100は、例えば、生産ライン上で高速で移動するワークを検知するためのセンサであり、例えば赤外線センサである。センサ100により、撮像装置121に接近したワークが検知されると、センサ100からトリガ生成回路110に対して信号が出力される(図3:ステップ310)。
撮像装置121(第1の撮像装置)から出力された画像データは、第1の処理装置131に入力されてデータの処理がされる。同様に、撮像装置122(第2の撮像装置)から出力された画像データは、第2の処理装置132に入力され、撮像装置123(第3の撮像装置)から出力された画像データは、第3の処理装置133に入力されてデータ処理がされる。
図2(A)は、生産ラインにおける撮像装置121〜123の配置例を示したものである。撮像装置121〜123の撮像可能範囲(視野)240は、それぞれが重複領域を有する。
図4は、処理装置131〜133のGPU150で行われるワークの欠陥判定を行うAIを説明するための図である。
上記第1の実施形態では、ワークの欠陥の有無を判定する撮像システムを説明した。他方、本実施形態では、監視システムに適用可能な撮像システムである。以下、図5および図6を用いて説明する。なお、図5において、図1と同じ符号を示したブロックは同じ機能を果たすブロックである。
図1では、1つの撮像装置に対して1つの処理装置が設けられているが、3つの撮像装置に対して1つまたは2つの処理装置を設ける形態でも構わない。もっとも、1つの撮像装置に対して1つの処理装置が設けた方が、信号処理速度を遅延させることがないため、好ましい。
110 トリガ生成回路
121、122、123 撮像装置
131、132、133 処理装置
140 CPU
150 GPU
Claims (11)
- トリガ生成回路からの第1のトリガ信号を、ソフトウエア処理を介さずに入力可能に構成されている第1の撮像装置と、
前記トリガ生成回路からの第2のトリガ信号を、ソフトウエア処理を介さずに入力可能に構成されている第2の撮像装置と、
前記第1のトリガ信号の入力に基づき前記第1の撮像装置で撮影された第1の画像データと、前記第2のトリガ信号の入力に基づき前記第2の撮像装置で撮影された第2の画像データとを保持するメモリと、
前記メモリに保持された前記第1の画像データおよび前記第2の画像データを処理する処理装置と、を有し、
前記第1のトリガ信号と前記第2のトリガ信号は、前記第1の撮像装置および前記第2の撮像装置で同時刻に撮影を開始するために生成された信号であり、
前記処理装置によって、前記第1の画像データおよび前記第2の画像データに含まれている対象の認識処理を行うことを特徴とする撮像システム。 - 前記処理装置は、第1の処理装置と第2の処理装置を有し、
前記第1の処理装置は、前記第1の画像データが保持された前記メモリにアクセスして、前記第1の画像データに含まれる対象の認識処理を行い、
前記第2の処理装置は、前記第2の画像データが保持された前記メモリにアクセスして、前記第2の画像データに含まれる対象の認識処理を行うことを特徴とする請求項1に記載の撮像システム。 - 前記メモリは、第1メモリと第2メモリを有し、
前記前記第1の画像データが保持された前記メモリは、前記第1の処理装置が有する前記第1メモリであり、
前記前記第2の画像データが保持された前記メモリは、前記第2の処理装置が有する前記第2メモリであることを特徴とする請求項2に記載の撮像システム。 - 前記第1の処理装置は、第1のGPUを有し、
前記第2の処理装置は、第2のGPUを有し、
前記第1のGPUにより、前記第1の画像データに含まれる対象の認識処理を行い、
前記第2のGPUにより、前記第2の画像データに含まれる対象の認識処理を行うことを特徴とする請求項2または3に記載の撮像システム。 - 前記第2の処理装置は、前記認識処理の結果を前記第1の処理装置に出力し、
前記第1の処理装置は、前記第1の処理装置による前記認識処理の結果の情報と、前記第2の処理装置による前記認識処理の結果の情報を統合した統合情報を生成し、
前記第1の処理装置は、前記統合情報を出力することを特徴とする請求項2から4のいずれか1項に記載の撮像システム。 - 前記第1の処理装置は、CPUを有し、
前記統合情報の生成は、前記CPUにより行われることを特徴とする請求項5に記載の撮像システム。 - 前記第1の撮像装置の撮像可能範囲と、前記第2の撮像装置の撮像可能範囲が重複するように、前記第1の撮像装置と前記第2の撮像装置が設けられていることを特徴とする請求項1から6のいずれか1項に記載の撮像システム。
- 前記第1の画像データと前記第2の画像データは同時刻に撮影された画像データであることを特徴とする請求項1から7のいずれか1項に記載の撮像システム。
- 前記認識処理は、前記対象に欠陥が含まれるか否かを判定する処理であることを特徴とする請求項1から8のいずれか1項に記載の撮像システム。
- 前記認識処理は、前記対象に不審者が含まれるか否かを判定する処理であることを特徴とする請求項1から8のいずれか1項に記載の撮像システム。
- 前記認識処理は、前記第1の画像データに含まれる前記対象の数と、前記第2の画像データに含まれる前記対象の数をカウントすることを特徴とする請求項1から8のいずれか1項に記載の撮像システム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019092304A JP7374611B2 (ja) | 2019-05-15 | 2019-05-15 | 撮像システム |
PCT/JP2020/018773 WO2020230750A1 (ja) | 2019-05-15 | 2020-05-11 | 撮像システム |
US17/524,370 US20220067917A1 (en) | 2019-05-15 | 2021-11-11 | Imaging system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019092304A JP7374611B2 (ja) | 2019-05-15 | 2019-05-15 | 撮像システム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2020188385A true JP2020188385A (ja) | 2020-11-19 |
JP2020188385A5 JP2020188385A5 (ja) | 2022-05-11 |
JP7374611B2 JP7374611B2 (ja) | 2023-11-07 |
Family
ID=73222144
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019092304A Active JP7374611B2 (ja) | 2019-05-15 | 2019-05-15 | 撮像システム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20220067917A1 (ja) |
JP (1) | JP7374611B2 (ja) |
WO (1) | WO2020230750A1 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022077555A (ja) * | 2020-11-12 | 2022-05-24 | サミー株式会社 | ぱちんこ遊技機 |
JP2022077562A (ja) * | 2020-11-12 | 2022-05-24 | サミー株式会社 | ぱちんこ遊技機 |
JP2022077561A (ja) * | 2020-11-12 | 2022-05-24 | サミー株式会社 | ぱちんこ遊技機 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08315112A (ja) * | 1995-05-16 | 1996-11-29 | Hitachi Ltd | 画像取込装置 |
JPH11146390A (ja) * | 1997-11-11 | 1999-05-28 | Fuji Electric Co Ltd | 画像処理装置 |
JP2004266458A (ja) * | 2003-02-28 | 2004-09-24 | Shimadzu Corp | 撮影装置、および、同期撮影タイミング制御器 |
JP2006203448A (ja) * | 2005-01-19 | 2006-08-03 | Hitachi Ltd | 車載ステレオカメラ装置 |
JP2010081229A (ja) * | 2008-09-25 | 2010-04-08 | Omron Corp | 画像合成方法および画像処理システム |
WO2018163644A1 (ja) * | 2017-03-07 | 2018-09-13 | ソニー株式会社 | 情報処理装置、支援システム及び情報処理方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FI20031657A (fi) * | 2003-11-14 | 2005-05-15 | Nokia Corp | Langaton monikamerajärjestelmä |
US20080080748A1 (en) * | 2006-09-28 | 2008-04-03 | Kabushiki Kaisha Toshiba | Person recognition apparatus and person recognition method |
KR102641894B1 (ko) * | 2017-02-03 | 2024-02-29 | 삼성전자주식회사 | 이미지를 촬영하는 센서 및 그 제어 방법 |
WO2019075276A1 (en) * | 2017-10-11 | 2019-04-18 | Aquifi, Inc. | SYSTEMS AND METHODS FOR IDENTIFYING OBJECT |
US11481915B2 (en) * | 2018-05-04 | 2022-10-25 | Packsize Llc | Systems and methods for three-dimensional data acquisition and processing under timing constraints |
US11560153B2 (en) * | 2019-03-07 | 2023-01-24 | 6 River Systems, Llc | Systems and methods for collision avoidance by autonomous vehicles |
-
2019
- 2019-05-15 JP JP2019092304A patent/JP7374611B2/ja active Active
-
2020
- 2020-05-11 WO PCT/JP2020/018773 patent/WO2020230750A1/ja active Application Filing
-
2021
- 2021-11-11 US US17/524,370 patent/US20220067917A1/en active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08315112A (ja) * | 1995-05-16 | 1996-11-29 | Hitachi Ltd | 画像取込装置 |
JPH11146390A (ja) * | 1997-11-11 | 1999-05-28 | Fuji Electric Co Ltd | 画像処理装置 |
JP2004266458A (ja) * | 2003-02-28 | 2004-09-24 | Shimadzu Corp | 撮影装置、および、同期撮影タイミング制御器 |
JP2006203448A (ja) * | 2005-01-19 | 2006-08-03 | Hitachi Ltd | 車載ステレオカメラ装置 |
JP2010081229A (ja) * | 2008-09-25 | 2010-04-08 | Omron Corp | 画像合成方法および画像処理システム |
WO2018163644A1 (ja) * | 2017-03-07 | 2018-09-13 | ソニー株式会社 | 情報処理装置、支援システム及び情報処理方法 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022077555A (ja) * | 2020-11-12 | 2022-05-24 | サミー株式会社 | ぱちんこ遊技機 |
JP2022077562A (ja) * | 2020-11-12 | 2022-05-24 | サミー株式会社 | ぱちんこ遊技機 |
JP2022077561A (ja) * | 2020-11-12 | 2022-05-24 | サミー株式会社 | ぱちんこ遊技機 |
Also Published As
Publication number | Publication date |
---|---|
US20220067917A1 (en) | 2022-03-03 |
WO2020230750A1 (ja) | 2020-11-19 |
JP7374611B2 (ja) | 2023-11-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2020230750A1 (ja) | 撮像システム | |
JP5316563B2 (ja) | 画像処理装置および画像処理システム | |
WO2020240284A3 (en) | Vehicle environment modeling with cameras | |
JP2014002744A (ja) | イベントベースイメージ処理装置及びその装置を用いた方法 | |
US20160366397A1 (en) | Embedded system, fast structured light based 3d camera system and method for obtaining 3d images using the same | |
JP2013038563A5 (ja) | ||
JP6245886B2 (ja) | 画像撮像方法及び画像撮像装置 | |
JP2016163075A (ja) | 映像処理装置、映像処理方法、およびプログラム | |
JP2015159419A (ja) | 監視カメラシステム及び監視カメラシステムの制御方法 | |
JP2004227160A (ja) | 侵入物体検出装置 | |
US20150304629A1 (en) | System and method for stereophotogrammetry | |
JP2015216482A (ja) | 撮像制御方法、および撮像装置 | |
CN105245770A (zh) | 相机控制设备 | |
WO2020241540A1 (ja) | システムの制御方法、及びシステム | |
JP2006224291A (ja) | ロボットシステム | |
JP7384158B2 (ja) | 画像処理装置、移動装置、および方法、並びにプログラム | |
KR101610512B1 (ko) | 스테레오 카메라 및 그 작동 방법 | |
JP6790861B2 (ja) | 検査システム、コントローラ、検査方法、および検査プログラム | |
WO2023102102A1 (en) | Systems and methods for temporal autocalibration in a camera system | |
Palaguta et al. | Development and exploration of a general-purpose binocular vision system | |
Ong et al. | An FPGA implementation of intelligent visual based fall detection | |
WO2020149147A1 (ja) | 情報処理装置、情報処理方法、及び、記録媒体 | |
JP2018107699A (ja) | 画像処理装置及び画像処理方法 | |
JP2005309782A (ja) | 画像処理装置 | |
JP6190656B2 (ja) | 画像処理システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220427 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220427 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230411 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230607 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230926 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231025 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7374611 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |