JP2020188385A - 撮像システム - Google Patents

撮像システム Download PDF

Info

Publication number
JP2020188385A
JP2020188385A JP2019092304A JP2019092304A JP2020188385A JP 2020188385 A JP2020188385 A JP 2020188385A JP 2019092304 A JP2019092304 A JP 2019092304A JP 2019092304 A JP2019092304 A JP 2019092304A JP 2020188385 A JP2020188385 A JP 2020188385A
Authority
JP
Japan
Prior art keywords
image data
processing
imaging
memory
processing device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019092304A
Other languages
English (en)
Other versions
JP2020188385A5 (ja
JP7374611B2 (ja
Inventor
武 大屋
Takeshi Oya
武 大屋
悟 新谷
Satoru Shintani
悟 新谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2019092304A priority Critical patent/JP7374611B2/ja
Priority to PCT/JP2020/018773 priority patent/WO2020230750A1/ja
Publication of JP2020188385A publication Critical patent/JP2020188385A/ja
Priority to US17/524,370 priority patent/US20220067917A1/en
Publication of JP2020188385A5 publication Critical patent/JP2020188385A5/ja
Application granted granted Critical
Publication of JP7374611B2 publication Critical patent/JP7374611B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/20Processor architectures; Processor configuration, e.g. pipelining
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/60Memory management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30164Workpiece; Machine component
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06Recognition of objects for industrial automation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

【課題】 トリガ信号の受け取りから各撮像装置の撮影開始までの時刻の遅延を低減した撮像システムを提供することができる。【解決手段】 第1の撮像装置と第2の撮像装置は、トリガ生成回路からの信号を直接入力可能に構成されている。第1トリガ信号に基づき第1の撮像装置で撮影された第1の画像データと、第2トリガ信号に基づき第2の撮像装置で撮影された第2の画像データを処理する処理装置を有する。第1トリガ信号と第2トリガ信号は同時刻に撮影を開始するために生成された信号である。処理装置によって、第1の画像データおよび第2の画像データに含まれている対象の認識処理を行う。【選択図】 図1

Description

本発明は、複数の撮像装置を用いて、外部トリガ信号により対象の認識処理を行う撮像システムに関するものである。
特許文献1には、1つの被写体に対して、同時刻に、異なる角度から複数の撮像装置で撮影することが記載されている。具体的には、第1の撮像装置を有するユーザが指示を与えると、他のユーザが有する第2の撮像装置および第3の撮像装置に、第1の撮像装置から無線でトリガ・メッセージ(トリガ信号)が与えられる。トリガ信号が第2および第3の撮像装置に与えられると、第2および第3の撮像装置が同時刻に撮影を開始することが記載されている。
特開2010−183609号公報
ところで、工場内で生産される製品(ワーク)の欠陥の有無を判定するために、人間による目視の欠陥判定ではなく、撮像装置により取得された画像データから、機械が欠陥を認識するシステムがある。工場内の生産ラインを流れているワークは、高速に移動しているため、ワークが撮像されない範囲を防止するために、複数の撮像装置を用いて画像データを取得する場合がある。
また、監視用システムにおいても、不審者侵入、地震・爆発などのイベントに基づいた不審者の認識や、イベント時の状況の認識(例えば、地震時に催事場にいた人物特定や人数カウントなど)を行うシステムがある。このような監視システムでは、イベントに起因して、複数の観点や、異なる場所を同時に撮影するために、複数の撮像装置を用いて画像データを取得する場合がある。
このような、複数の撮像装置を備えた、欠陥判定システムや監視撮像システムにおいて、特許文献1のように、複数の撮像装置に無線でトリガ信号を与えて、複数の撮像装置で同時刻に撮影を開始する撮像システムを適用することが考えられる。
しかしながら、特許文献1に記載の撮像システムは、第2と第3の撮像装置にトリガ信号が与えられてから、第2と第3の撮像装置のCPU等によるソフトウエア的な処理を介して、第2と第3の撮像装置で撮影が開始される。このため、トリガ信号が与えられても、第2と第3の撮像装置のCPU等で他の処理を行っており、第2と第3の撮像装置のCPU等の負荷が異なる場合には、第2と第3の撮像装置でシャッタタイミングがずれる可能性がある。
そこで、本発明は、特許文献1よりも、複数の撮像装置でシャッタタイミングを同期させることが可能な撮像システムを提供することを目的とする。
本発明に係る撮像システムは、トリガ生成回路からの第1のトリガ信号を、ソフトウエア処理を介さずに入力可能に構成されている第1の撮像装置と、前記トリガ生成回路からの第2のトリガ信号を、ソフトウエア処理を介さずに入力可能に構成されている第2の撮像装置と、前記第1のトリガ信号の入力に基づき前記第1の撮像装置で撮影された第1の画像データと、前記第2のトリガ信号の入力に基づき前記第2の撮像装置で撮影された第2の画像データとを保持するメモリと、前記メモリに保持された前記第1の画像データおよび前記第2の画像データを処理する処理装置と、を有し、前記第1のトリガ信号と前記第2のトリガ信号は、前記第1の撮像装置および前記第2の撮像装置で同時刻に撮影を開始するために生成された信号であり、前記処理装置によって、前記第1の画像データおよび前記第2の画像データに含まれている対象の認識処理を行うことを特徴とする。
本発明によれば、特許文献1よりも、複数の撮像装置でシャッタタイミングを同期させることが可能な撮像システムを提供することができる。
検査システムの概要を示す図である。 撮像装置の配置例と、撮像装置で取得される画像データの表示例を示す図である。 検査システムの処理フローを示す図である。 検査システムで利用する学習モデルについて説明する図である。 監視システムの概要を示す図である。 監視システムの処理フローを示す図である。
(第1の実施形態)
図1(A)は、本実施形態に係る撮像システムの基本的構成を示したものである。本実施形態では、検査システムを対象としている。本撮像システムは、3つのユニットを有する。具体的には、撮像装置121と処理装置131により、第1のユニット181が構成され、撮像装置122と処理装置132により、第2のユニット182が構成され、撮像装置123と処理装置133により、第3のユニット183が構成されている。以下、図3に示す処理フローとともに、図1に示す検査システムを説明する。
(撮像装置)
図1(B)は、撮像装置121〜123のそれぞれが有する機能をブロックで表示したものである。図1(B)では、撮像装置121を例として示している。撮像装置は、レンズ部191と、撮像素子192と、撮像素子から出力される信号を処理する信号処理部193と、信号処理部により生成された画像データを出力する出力部194を有する。撮像装置121〜123のそれぞれには、撮影トリガ信号の入力部195が設けられており、撮影トリガ信号が入力されると、撮像装置121〜123は撮影を開始する。
レンズ部191は、撮像装置121〜123から取り外し可能に設けられており、撮像対象の大きさや、撮影シーンに応じて、適切なレンズ部を選択することができる。
撮像素子192は、光電変換部がアレイ状に配置された素子であって、例えば、CMOSセンサである。撮像素子は、各行で露光期間の開始と終了が異なるローリングシャッタ形式の撮像素子でもよいし、全行一括で露光期間の開始と終了が同時であるグローバル電子シャッタ形式の撮像素子でもよい。本実施形態では、生産ラインで製造される製品(ワーク)の欠品検査に用いることを想定している。そのため、ワークが高速で移動していることから、より精度の高い撮影を行うために、グローバル電子シャッタ形式の撮像素子を用いることが好ましい。
信号処理部193は、撮像素子から出力される信号から画像データを生成する。
出力部194は、信号処理部で生成された画像データを出力する。
(センサとトリガ生成回路)
センサ100は、例えば、生産ライン上で高速で移動するワークを検知するためのセンサであり、例えば赤外線センサである。センサ100により、撮像装置121に接近したワークが検知されると、センサ100からトリガ生成回路110に対して信号が出力される(図3:ステップ310)。
トリガ生成回路110は、例えばFPGAやASICなどのロジック回路から構成されている。トリガ生成回路110は、センサ100から入力された信号に対してハードウエア処理がなされ、撮像装置121〜123に対して、同時刻に撮影トリガの信号が与えられる(図3:ステップ320)。撮像装置121〜123に対する撮影トリガの信号を、それぞれ、第1のトリガ信号、第2のトリガ信号、第3のトリガ信号という。
これにより、撮像装置121〜123において、第1から第3のトリガ信号が同時刻に伝送され、同時刻にワークの撮影が行われる(図3:ステップ330)。
トリガ生成回路110から、各撮像装置121〜123の撮影トリガ信号の入力部195までの撮影トリガ信号の伝送は、有線で行うことが好ましい。また、トリガ生成回路110から、各撮像装置121〜123の撮影トリガ信号の入力部195までの距離は、略等しくすることが好ましい。
ここで、「同時刻」とは、ロジック回路のクロックスキュー程度の遅延を許容する意味である。例えば、1us以内の遅延であれば、「同時刻」といえる。
例えば、トリガ生成回路110は、センサ100からの入力信号を分配することにより、トリガ生成回路110からの出力信号を生成している。トリガ生成回路110は、ロジック回路により構成されており、ハードウエア処理により並列処理がなされるため、逐次処理を行うソフトウエア処理と比較して、無駄な遅延が生じさせることがない。換言すれば、撮像装置121〜123は、トリガ生成回路110からの信号を直接入力可能、すなわち、ソフトウエア処理を介さずに入力可能に構成されているため、無駄な遅延を生じさせることがない。
(処理装置)
撮像装置121(第1の撮像装置)から出力された画像データは、第1の処理装置131に入力されてデータの処理がされる。同様に、撮像装置122(第2の撮像装置)から出力された画像データは、第2の処理装置132に入力され、撮像装置123(第3の撮像装置)から出力された画像データは、第3の処理装置133に入力されてデータ処理がされる。
各処理装置131〜133では、各画像データの撮像対象について、認識処理が行われる。ここで認識処理とは、撮像対象としてのワークが欠陥を有するかどうかを判定する処理のことである。
各撮像装置から各処理装置への画像データの伝送は、有線で行うことが好ましい。
撮像装置121〜123のそれぞれは、CPU140と、GPU(Graphics Processing Unit)150を有する。CPU140とGPUのそれぞれは、メモリを有しており、これらのメモリには、各撮像装置から出力された画像データが保持される(図3:ステップ340)。
上記のとおり、トリガ生成回路110により、撮像装置121〜123には、同時刻に撮影トリガ信号が入力されるため、撮像装置121〜123のGPU150とCPU140のメモリには、同時刻の画像データが保持されることになる。
GPU150は、メモリに保持された画像データにアクセスし、並列的に画像データを処理する。GPU150は、学習済のモデルを用いて、ワークに欠陥があるか否かを判断する。GPU150は、CPU140よりも定型的な膨大な計算処理を行うのに適しており、GPU150は、ワークの画像データから欠陥の有無を判定する処理を速く行うことができる。
処理装置131は、撮像装置121により取得された画像データに基づき、画像データの領域に欠陥が有るか否かを判定する(図3:ステップ350)。同様に、処理装置132は撮像装置122により取得された画像領域内の欠陥有無を判定し、処理装置133は撮像装置123により取得された画像領域内の欠陥有無を判定する(図3:ステップ350)。処理装置132と133により行われた判定結果は、処理装置131に出力される。
処理装置131は、処理装置131による判定結果と、処理装置132による判定結果と、処理装置133による判定結果とを、統合した統合情報を生成する。統合情報とは、最終的にワークに欠陥があるか否かを判定した情報である(図3:ステップ360)。
このように、図1に示した構成では、第1のユニット181がマスターユニットになっており、第2のユニット182および第3のユニット183がスレーブユニットになっている。
処理装置131による判定結果の統合処理は、GPU150ではなく、CPU140が行う。画像データに基づく欠陥の有無の判定は、高度かつ高速な行列処理等が必要となるため、GPU150による処理が望ましい。他方、判定結果の統合は、高度な行列処理等が必要ないため、GPU150の負荷を減らすために、CPU140によって処理が行われる。この際に、CPU140は、処理装置131のCPU140が有するメモリに保持された処理装置131〜133の判定結果にアクセスして、情報の処理を行う。
また、処理装置132および133から、処理装置131へ判定結果を出力する際には、高速の信号伝送は要求されていない。そのため、Ethernetなどの汎用規格の有線や無線などを使って、信号転送を行うことができる。
さらに、処理装置は、画像データにぶれ等があり、撮像装置の撮影条件が十分でなかった場合、撮像装置に対して、露光条件、シャッタースピード条件などを変更する命令をすることができる。この場合、処理装置から撮像装置に対して、設定・制御に関する信号が入力される。
処理装置131は、最終判定結果をPLC(Programmable Logic Controller)160に出力される(図3:ステップ370)。ワークに欠陥がありという最終判定結果の場合、PLC160は、ロボット170に動作制御用の信号を入力する(図3:ステップ370)。ロボット170は、ワークの移動動作を切り替え、欠陥があると判定されたワークを生産ラインから移動させる(図3:ステップ370)。
(撮像装置の配置例)
図2(A)は、生産ラインにおける撮像装置121〜123の配置例を示したものである。撮像装置121〜123の撮像可能範囲(視野)240は、それぞれが重複領域を有する。
図2(B)は、撮像装置121〜123で取得される画像データの表示例210〜230を示すものである。撮像装置121と122の視野240は重複しているため、撮像装置121で取得された画像データの表示例210と、撮像装置122で取得された画像データの表示例220には、ワーク200の同じ領域が表示されている。同様に、撮像装置122と123の視野240は重複しているため、撮像装置122で取得された画像データの表示例210と、撮像装置123で取得された画像データの表示例220には、ワーク200の同じ領域が表示されている。
複数の撮像装置を設けることにより、1つの撮像装置の視野に収まらない大きさのワークであっても、欠陥の有無を高精度に判定できる。また、各撮像装置の視野を重複させる構成により、撮影されないワークの部分の発生を抑制させることができる。
(学習モデル)
図4は、処理装置131〜133のGPU150で行われるワークの欠陥判定を行うAIを説明するための図である。
図4(A)は、学習フェーズの概念図である。学習モデル420は、欠陥判定のアルゴリズムを有する。学習モデル420に対して、教師データとして、L枚の良品画像411、M枚の第1の欠陥画像412、N枚の第2の欠陥画像413、などを入力する。AIにより、学習モデル420のアルゴリズムを、より精度の高いアルゴリズムとなるように学習させたものが学習済モデル430である。
機械学習の具体的なアルゴリズムとしては、最近傍法、ナイーブベイズ法、決定木、サポートベクターマシンなどを利用してもよい。またニューラルネットワークを利用して、学習するための特徴量、結合重みづけ係数を自ら生成する深層学習(ディープラーニング)であってもよい。たとえば、深層学習のモデルとして、CNNモデル(Convolutional Neural Network Model)を用いてもよい。
図4(B)は、推定フェーズの概念図である。学習フェーズにより構築した学習済モデル430に対して、ワーク画像440を入力すると、欠陥有無の判定結果450が出力される。この学習済モデル430を用いた処理はGPU150によって実行される。
(第2の実施形態)
上記第1の実施形態では、ワークの欠陥の有無を判定する撮像システムを説明した。他方、本実施形態では、監視システムに適用可能な撮像システムである。以下、図5および図6を用いて説明する。なお、図5において、図1と同じ符号を示したブロックは同じ機能を果たすブロックである。
トリガ生成回路110は、例えばFPGAやASICなどのロジック回路から構成されている。トリガ生成回路110は、撮像装置121〜123に対して、同時刻に撮影トリガの信号が与える(図6:ステップ620)。これにより、撮像装置121〜123において、同時刻に被写体の撮影が行われる(図6:ステップ630)。
本実施形態において、撮影トリガ信号は、例えば、近くのエリアにおいて、不審物が発見されたという外部トリガが入力された場合や、不審者が確認されたという外部トリガ入力された場合に生成される。
トリガ生成回路110から、各撮像装置121〜123の撮影トリガ信号の入力部195までの撮影トリガ信号の伝送は、有線で行うことが好ましい。また、トリガ生成回路110から、各撮像装置121〜123の撮影トリガ信号の入力部195までの距離は、略等しくすることが好ましい。
トリガ生成回路110は、ロジック回路により構成されており、ハードウエア処理により並列処理がなされるため、逐次処理を行うソフトウエア処理と比較して、無駄な遅延が生じさせることがない。すなわち、撮像装置121〜123は、ソフトウエア処理を介さず、トリガ生成回路110からの信号を直接入力可能に構成されているため、無駄な遅延を生じさせることがない。
第1の撮像装置121から出力された画像データは、第1の処理装置131に入力されてデータの処理がされる。同様に、第2の撮像装置122から出力された画像データは、第2の処理装置132に入力され、第3の撮像装置123から出力された画像データは、第3の処理装置133に入力されてデータ処理がされる。
各処理装置131〜133では、各画像データの撮像対象について、認識処理が行われる。ここで認識処理とは、撮像対象としての複数の人物に、不審者が含まれているかどうかを判定する処理のことである。
各撮像装置から各処理装置への画像データの伝送は、有線で行うことが好ましい。
撮像装置121〜123のそれぞれは、CPU140と、GPU150を有する。CPU140とGPUのそれぞれは、メモリを有しており、これらのメモリには、各撮像装置から出力された画像データが保持される(図6:ステップ640)。
上記のとおり、トリガ生成回路110により、撮像装置121〜123には、同時刻に撮影トリガ信号が入力されるため、撮像装置121〜123のGPU150とCPU140のメモリには、同時刻の画像データが保持されることになる。
GPU150は、メモリに保持された画像データにアクセスし、並列的に画像データを処理する。GPU150は、学習済のモデルを用いて、対象としての複数の人物に不審者が含まれているか否かを判断する。学習済モデルに関しては、例えば、教師データとして、不審者に関する情報を有するデータを用いて、機械学習を行う。あるいは、図4および図4の説明事項で述べたように、深層学習を用いてもよい。
GPU150は、CPU140よりも定型的な膨大な計算処理を行うのに適しており、GPU150は、複数の人物を含む画像データから、不審者の有無を判定する処理を速く行うことができる。
処理装置131は、撮像装置121により取得された画像データに基づき、画像データの領域に不審者がいるか否かを判定する(図5:ステップ650)。同様に、処理装置132は撮像装置122により取得された画像領域内の不審者の有無を判定し、処理装置133は撮像装置123により取得された画像領域内の不審者の有無を判定する(図5:ステップ650)。処理装置132と133により行われた判定結果は、処理装置131に出力される。
処理装置131は、処理装置131による判定結果と、処理装置132による判定結果と、処理装置133による判定結果とを、統合した統合情報を生成する。統合情報とは、最終的に不審者がいるか否かを判定した情報である(図6:ステップ660)。
処理装置131による判定結果の統合処理は、GPU150ではなく、CPU140が行う。画像データに基づく不審者の有無の判定は、高度かつ高速な行列処理等が必要となるため、GPU150による処理が望ましい。他方、判定結果の統合は、高度な行列処理等が必要ないため、GPU150の負荷を減らすために、CPU140によって処理が行われる。この際に、CPU140は、処理装置131のCPU140が有するメモリに保持された処理装置131〜133の判定結果にアクセスして、情報の処理を行う。
処理装置131は、最終判定結果を表示部560に出力する(図6:ステップ670)。
なお、上記では、不審者の有無を判定したが、各撮像装置で撮影された画像データに含まれる物体は人物の数をカウントする認識処理を行ってもよい。つまり、認識処理は、第1の画像データに含まれる対象の数と、第2の画像データに含まれる対象の数をカウントしてもよい。 (その他の形態)
図1では、1つの撮像装置に対して1つの処理装置が設けられているが、3つの撮像装置に対して1つまたは2つの処理装置を設ける形態でも構わない。もっとも、1つの撮像装置に対して1つの処理装置が設けた方が、信号処理速度を遅延させることがないため、好ましい。
また、図1では、GPU150とCPU140のそれぞれにメモリを設ける例を開示したが、GPU150内のメモリだけを設けて、CPU140がこのメモリにアクセスする構成にしてもよい。また、GPU150とCPU140以外の場所にメモリを設けて、GPU150とCPU140がこのメモリにアクセルするように構成してもよい。
さらに、図1では、処理装置132および133にCPUを設けた例を示したが、処理装置132および133にCPUを設けなくてもよい。この場合、処理装置131に設けられたCPUが処理を行う。
加えて、処理装置は、画像データ中のワークのエッジ処理等の一般的な画像処理を行うルールベースのアルゴリズム備え、このアルゴリズムを実行するように構成してもよい。
加えて、以上説明した実施形態等は相互に組み合わせることが可能である。
100 センサ
110 トリガ生成回路
121、122、123 撮像装置
131、132、133 処理装置
140 CPU
150 GPU

Claims (11)

  1. トリガ生成回路からの第1のトリガ信号を、ソフトウエア処理を介さずに入力可能に構成されている第1の撮像装置と、
    前記トリガ生成回路からの第2のトリガ信号を、ソフトウエア処理を介さずに入力可能に構成されている第2の撮像装置と、
    前記第1のトリガ信号の入力に基づき前記第1の撮像装置で撮影された第1の画像データと、前記第2のトリガ信号の入力に基づき前記第2の撮像装置で撮影された第2の画像データとを保持するメモリと、
    前記メモリに保持された前記第1の画像データおよび前記第2の画像データを処理する処理装置と、を有し、
    前記第1のトリガ信号と前記第2のトリガ信号は、前記第1の撮像装置および前記第2の撮像装置で同時刻に撮影を開始するために生成された信号であり、
    前記処理装置によって、前記第1の画像データおよび前記第2の画像データに含まれている対象の認識処理を行うことを特徴とする撮像システム。
  2. 前記処理装置は、第1の処理装置と第2の処理装置を有し、
    前記第1の処理装置は、前記第1の画像データが保持された前記メモリにアクセスして、前記第1の画像データに含まれる対象の認識処理を行い、
    前記第2の処理装置は、前記第2の画像データが保持された前記メモリにアクセスして、前記第2の画像データに含まれる対象の認識処理を行うことを特徴とする請求項1に記載の撮像システム。
  3. 前記メモリは、第1メモリと第2メモリを有し、
    前記前記第1の画像データが保持された前記メモリは、前記第1の処理装置が有する前記第1メモリであり、
    前記前記第2の画像データが保持された前記メモリは、前記第2の処理装置が有する前記第2メモリであることを特徴とする請求項2に記載の撮像システム。
  4. 前記第1の処理装置は、第1のGPUを有し、
    前記第2の処理装置は、第2のGPUを有し、
    前記第1のGPUにより、前記第1の画像データに含まれる対象の認識処理を行い、
    前記第2のGPUにより、前記第2の画像データに含まれる対象の認識処理を行うことを特徴とする請求項2または3に記載の撮像システム。
  5. 前記第2の処理装置は、前記認識処理の結果を前記第1の処理装置に出力し、
    前記第1の処理装置は、前記第1の処理装置による前記認識処理の結果の情報と、前記第2の処理装置による前記認識処理の結果の情報を統合した統合情報を生成し、
    前記第1の処理装置は、前記統合情報を出力することを特徴とする請求項2から4のいずれか1項に記載の撮像システム。
  6. 前記第1の処理装置は、CPUを有し、
    前記統合情報の生成は、前記CPUにより行われることを特徴とする請求項5に記載の撮像システム。
  7. 前記第1の撮像装置の撮像可能範囲と、前記第2の撮像装置の撮像可能範囲が重複するように、前記第1の撮像装置と前記第2の撮像装置が設けられていることを特徴とする請求項1から6のいずれか1項に記載の撮像システム。
  8. 前記第1の画像データと前記第2の画像データは同時刻に撮影された画像データであることを特徴とする請求項1から7のいずれか1項に記載の撮像システム。
  9. 前記認識処理は、前記対象に欠陥が含まれるか否かを判定する処理であることを特徴とする請求項1から8のいずれか1項に記載の撮像システム。
  10. 前記認識処理は、前記対象に不審者が含まれるか否かを判定する処理であることを特徴とする請求項1から8のいずれか1項に記載の撮像システム。
  11. 前記認識処理は、前記第1の画像データに含まれる前記対象の数と、前記第2の画像データに含まれる前記対象の数をカウントすることを特徴とする請求項1から8のいずれか1項に記載の撮像システム。
JP2019092304A 2019-05-15 2019-05-15 撮像システム Active JP7374611B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019092304A JP7374611B2 (ja) 2019-05-15 2019-05-15 撮像システム
PCT/JP2020/018773 WO2020230750A1 (ja) 2019-05-15 2020-05-11 撮像システム
US17/524,370 US20220067917A1 (en) 2019-05-15 2021-11-11 Imaging system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019092304A JP7374611B2 (ja) 2019-05-15 2019-05-15 撮像システム

Publications (3)

Publication Number Publication Date
JP2020188385A true JP2020188385A (ja) 2020-11-19
JP2020188385A5 JP2020188385A5 (ja) 2022-05-11
JP7374611B2 JP7374611B2 (ja) 2023-11-07

Family

ID=73222144

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019092304A Active JP7374611B2 (ja) 2019-05-15 2019-05-15 撮像システム

Country Status (3)

Country Link
US (1) US20220067917A1 (ja)
JP (1) JP7374611B2 (ja)
WO (1) WO2020230750A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022077555A (ja) * 2020-11-12 2022-05-24 サミー株式会社 ぱちんこ遊技機
JP2022077562A (ja) * 2020-11-12 2022-05-24 サミー株式会社 ぱちんこ遊技機
JP2022077561A (ja) * 2020-11-12 2022-05-24 サミー株式会社 ぱちんこ遊技機

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08315112A (ja) * 1995-05-16 1996-11-29 Hitachi Ltd 画像取込装置
JPH11146390A (ja) * 1997-11-11 1999-05-28 Fuji Electric Co Ltd 画像処理装置
JP2004266458A (ja) * 2003-02-28 2004-09-24 Shimadzu Corp 撮影装置、および、同期撮影タイミング制御器
JP2006203448A (ja) * 2005-01-19 2006-08-03 Hitachi Ltd 車載ステレオカメラ装置
JP2010081229A (ja) * 2008-09-25 2010-04-08 Omron Corp 画像合成方法および画像処理システム
WO2018163644A1 (ja) * 2017-03-07 2018-09-13 ソニー株式会社 情報処理装置、支援システム及び情報処理方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FI20031657A (fi) * 2003-11-14 2005-05-15 Nokia Corp Langaton monikamerajärjestelmä
US20080080748A1 (en) * 2006-09-28 2008-04-03 Kabushiki Kaisha Toshiba Person recognition apparatus and person recognition method
KR102641894B1 (ko) * 2017-02-03 2024-02-29 삼성전자주식회사 이미지를 촬영하는 센서 및 그 제어 방법
WO2019075276A1 (en) * 2017-10-11 2019-04-18 Aquifi, Inc. SYSTEMS AND METHODS FOR IDENTIFYING OBJECT
US11481915B2 (en) * 2018-05-04 2022-10-25 Packsize Llc Systems and methods for three-dimensional data acquisition and processing under timing constraints
US11560153B2 (en) * 2019-03-07 2023-01-24 6 River Systems, Llc Systems and methods for collision avoidance by autonomous vehicles

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08315112A (ja) * 1995-05-16 1996-11-29 Hitachi Ltd 画像取込装置
JPH11146390A (ja) * 1997-11-11 1999-05-28 Fuji Electric Co Ltd 画像処理装置
JP2004266458A (ja) * 2003-02-28 2004-09-24 Shimadzu Corp 撮影装置、および、同期撮影タイミング制御器
JP2006203448A (ja) * 2005-01-19 2006-08-03 Hitachi Ltd 車載ステレオカメラ装置
JP2010081229A (ja) * 2008-09-25 2010-04-08 Omron Corp 画像合成方法および画像処理システム
WO2018163644A1 (ja) * 2017-03-07 2018-09-13 ソニー株式会社 情報処理装置、支援システム及び情報処理方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022077555A (ja) * 2020-11-12 2022-05-24 サミー株式会社 ぱちんこ遊技機
JP2022077562A (ja) * 2020-11-12 2022-05-24 サミー株式会社 ぱちんこ遊技機
JP2022077561A (ja) * 2020-11-12 2022-05-24 サミー株式会社 ぱちんこ遊技機

Also Published As

Publication number Publication date
US20220067917A1 (en) 2022-03-03
WO2020230750A1 (ja) 2020-11-19
JP7374611B2 (ja) 2023-11-07

Similar Documents

Publication Publication Date Title
WO2020230750A1 (ja) 撮像システム
JP5316563B2 (ja) 画像処理装置および画像処理システム
WO2020240284A3 (en) Vehicle environment modeling with cameras
JP2014002744A (ja) イベントベースイメージ処理装置及びその装置を用いた方法
US20160366397A1 (en) Embedded system, fast structured light based 3d camera system and method for obtaining 3d images using the same
JP2013038563A5 (ja)
JP6245886B2 (ja) 画像撮像方法及び画像撮像装置
JP2016163075A (ja) 映像処理装置、映像処理方法、およびプログラム
JP2015159419A (ja) 監視カメラシステム及び監視カメラシステムの制御方法
JP2004227160A (ja) 侵入物体検出装置
US20150304629A1 (en) System and method for stereophotogrammetry
JP2015216482A (ja) 撮像制御方法、および撮像装置
CN105245770A (zh) 相机控制设备
WO2020241540A1 (ja) システムの制御方法、及びシステム
JP2006224291A (ja) ロボットシステム
JP7384158B2 (ja) 画像処理装置、移動装置、および方法、並びにプログラム
KR101610512B1 (ko) 스테레오 카메라 및 그 작동 방법
JP6790861B2 (ja) 検査システム、コントローラ、検査方法、および検査プログラム
WO2023102102A1 (en) Systems and methods for temporal autocalibration in a camera system
Palaguta et al. Development and exploration of a general-purpose binocular vision system
Ong et al. An FPGA implementation of intelligent visual based fall detection
WO2020149147A1 (ja) 情報処理装置、情報処理方法、及び、記録媒体
JP2018107699A (ja) 画像処理装置及び画像処理方法
JP2005309782A (ja) 画像処理装置
JP6190656B2 (ja) 画像処理システム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220427

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220427

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230411

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230607

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230926

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231025

R151 Written notification of patent or utility model registration

Ref document number: 7374611

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151