JP2021506017A - 物体検出器及び物体検出方法 - Google Patents

物体検出器及び物体検出方法 Download PDF

Info

Publication number
JP2021506017A
JP2021506017A JP2020531178A JP2020531178A JP2021506017A JP 2021506017 A JP2021506017 A JP 2021506017A JP 2020531178 A JP2020531178 A JP 2020531178A JP 2020531178 A JP2020531178 A JP 2020531178A JP 2021506017 A JP2021506017 A JP 2021506017A
Authority
JP
Japan
Prior art keywords
video frame
subnetwork
feature map
neural network
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020531178A
Other languages
English (en)
Other versions
JP7200247B2 (ja
Inventor
ジョーンズ、マイケル
ブロード、アレクサンダー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of JP2021506017A publication Critical patent/JP2021506017A/ja
Application granted granted Critical
Publication of JP7200247B2 publication Critical patent/JP7200247B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133Distances to prototypes
    • G06F18/24143Distances to neighbourhood prototypes, e.g. restricted Coulomb energy networks [RCEN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/047Probabilistic or stochastic networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20076Probabilistic image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/12Bounding box

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

物体検出器は、ビデオフレームシーケンスを受け取る入力インターフェースと、ビデオフレーム内の物体を検出するようにトレーニングされたニューラルネットワークを記憶するメモリと、ニューラルネットワークを用いて各ビデオフレームを順次処理して、ビデオフレームシーケンス内の物体を検出するプロセッサと、物体検出情報を出力する出力インターフェースとを備える。ニューラルネットワークは、第1のサブネットワークと、第2のサブネットワークと、第3のサブネットワークとを備える。第1のサブネットワークは、ビデオフレームを入力として受信してビデオフレームの特徴マップを出力する。第2のサブネットワークは、特徴マップを入力として取り込んで時間的特徴マップを出力する回帰型ニューラルネットワークである。第3のサブネットワークは、時間的特徴マップを入力として取り込んで物体検出情報を出力する。

Description

本発明は、包括的には、コンピュータビジョンに関し、より詳細には、ビデオシーケンス内の物体を検出することに関する。
物体検出は、コンピュータビジョンにおける最も根本的な問題のうちの1つである。これは、その本来的な複雑さと、その用途が広範囲に及ぶ可能性があることとに部分的に起因している。物体検出の目標のうちの1つは、各検出の信頼値を用いて入力画像内のバウンディングボックスの形で既定の物体クラスのインスタンスを検出及び位置特定することである。物体検出問題は、走査ウィンドウ技法によって物体分類問題に変換することができる。しかしながら、走査ウィンドウ技法は、様々なロケーション、スケール、及び縦横比の全ての可能性のある画像領域について分類ステップを実行するので、非効率的である。
領域ベース畳み込みニューラルネットワーク(R−CNN:region-based convolution neural network)が、2段階手法を実行するのに用いられる。2段階手法では、提案ジェネレータを用いて一組の物体提案が関心領域(ROI:regions of interest)として生成され、深層ニューラルネットワークを用いてROI内の物体の存在及びクラスが判断される。しかしながら、R−CNNの検出精度は、幾つかの場合には不十分である。
シングルショット物体検出器は、物体検出に用いられる別のニューラルネットワークアーキテクチャである。この種のネットワークには、領域提案段階はない。代わりに、入力画像は、多くの異なる重複領域に自動的に分割され、多くの畳み込み層及びプーリング層が、各領域の確率を直接出力する。1つ以上のバウンディングボックスも領域ごとに出力される。これらのバウンディングボックスは、クラスのいずれもが高確率を有しない場合には無視される。このタイプのニューラルネットワークは、領域提案型アーキテクチャよりも高速である傾向を有する。しかしながら、それらの精度は、幾つかの場合には同じく不十分である。
この問題は、マルチクラス検出においてより一層明白になる。用語「マルチクラス」とは、物体検出器が、単一の検出器を用いて複数の異なる物体クラスを検出することができることを指す。この研究の大部分は、単一画像を入力として用いることに集中してきた。畳み込みニューラルネットワーク(CNN:Convolutional neural networks)が、近年の進歩において支配的である。
しかしながら、多くのアプリケーションにとって、物体検出器への通常の入力はビデオである。標準的に行われているのは、ビデオシーケンスを一時に1フレームずつ単純に処理し、各フレームを他のフレームとは独立に取り扱うことである。複数のフレームを用いて物体検出精度の改善を試みる手法がこれまでにあったが、これらの手法は、処理前フェーズ又は処理後フェーズにおいて複数のフレームを用いるものである。これについては、例えば、特許文献1に記載された方法を参照されたい。この方法は、ビデオシーケンスを用いてフレーム間で物体を追跡し、物体検出を援助するものである。
したがって、複数のビデオフレームを入力として取り込むマルチクラス検出器が必要とされている。
米国特許第7391907号
幾つかの実施の形態の目的は、複数のビデオフレームを入力として取り込み、ビデオフレームシーケンス内の物体を検出及び/又は分類するマルチクラス物体検出器を提供することである。幾つかの実施の形態のもう1つの目的は、複数のビデオフレーム内の1つ又は複数の物体の位置特定及び分類を同時に行うことができるそのようなマルチクラス検出器を提供することである。
幾つかの実施の形態は、マルチクラス検出器がボックスレベル技法を用いて、複数の連続したフレームに適用される物体検出器の最終のバウンディングボックス出力を処理することができるという認識に基づいている。しかしながら、ボックスレベル技法は、物体の位置特定を援助するが、物体の分類を援助しない。そのために、幾つかの実施の形態は、マルチクラス物体検出器が、複数のフレームからの画像特徴を考慮する特徴レベル技法を用いて、物体の位置特定及び分類を同時に行うことが望ましいという認識に基づいている。
しかしながら、複数のフレームをともに利用して、物体の位置特定及び分類を同時に行うことは困難である。例えば、1つの手法は、複数のフレームを畳み込みニューラルネットワークへの入力として直接用いるものである。しかしながら、幾つかの実施の形態は、この手法がうまく機能しないことを認識している。ネットワークが、複数のフレームにわたる生のピクセル情報を関係付ける方法を学習することは非常に難しい。
一方、幾つかの実施の形態は、少数の畳み込みネットワーク層が入力ビデオフレームを処理した後に、その結果として得られた特徴マップが、フレーム間を関連付けるのにより容易であるより高レベルの画像情報(物体の部分等)を表すという理解に基づいている。この見識によって、畳み込みニューラルネットワーク層の第1段階の後に、回帰型ニューラルネットワーク層をネットワークに加えるというアイデアが得られた。なぜならば、これによって、回帰型ユニットが、現在のフレーム及び前フレームからのより高レベルの情報(特徴マップ)を処理することが可能になるからである。このアーキテクチャによって、単一フレーム物体検出ネットワークを上回る大きな精度利得が得られた。
そのために、幾つかの実施の形態は、回帰型マルチフレームシングルショット検出器(回帰型Mf−SSD:Recurrent Multi-frame Single-Shot Detector)ニューラルネットワークアーキテクチャを提供する。このアーキテクチャは、複数の連続したフレームを用いて、現行の物体検出器の速度を犠牲にすることなく精度を改善する。回帰型Mf−SSDネットワークは、マルチフレームビデオシーケンスを入力として取り込み、入力データの変化をハンドリングするように適合されている。回帰型Mf−SSDは、特徴抽出器の直後にデータ融合層を用いて、入力画像シーケンスからの情報を統合する。データ融合層は回帰層である。データ融合層の出力は、その後、検出ヘッドに供給される。検出ヘッドは、直近のタイムスタンプを有する画像の最終のバウンディングボックス及びクラスを生成する。
例えば、回帰型Mf−SSDは、第1のサブネットワークと、第2のサブネットワークと、第3のサブネットワークとを備えるニューラルネットワークとして実施することができる。第1のサブネットワークは、ビデオフレームを入力として受信し、このビデオフレームの特徴マップを出力する。第2のサブネットワークは、特徴マップを入力として取り込み、時間的特徴マップを出力し、第3のサブネットワークは、時間的特徴マップを入力として取り込み、物体検出情報を出力する。
様々な実施の形態では、第2のサブネットワークは、多くのドメインに時間的情報を組み込む機能を有する回帰型ニューラルネットワークである。回帰型ニューラルネットワークの例としては、LSTMユニット及びGRUユニットがある。第2のサブネットワークによって形成される回帰型ニューラルネットワークは、入力された特徴マップを、ビデオフレームシーケンス内の前ビデオフレームについて生成された時間的特徴マップと再帰的に組み合わせる。そのようにして、検出ヘッド、すなわち、直近のタイムスタンプを有する画像の最終のバウンディングボックス及びクラスを生成する第3のサブネットワークは、現在のフレーム及び前フレームからのより高レベルの情報(特徴マップ)を用いることができる。
様々な実施の形態では、第1のサブネットワーク及び/又は第3のサブネットワークは、畳み込み層及びプーリング層の組み合わせによって形成される畳み込みネットワークである。加えて又は代替的に、幾つかの実施の形態では、回帰型Mf−SSDは、全結合回帰型ユニットの代わりに畳み込み回帰型ユニットを用いて、物体検出アーキテクチャの完全畳み込み構造を維持する。幾つかの実施の形態は、畳み込み回帰型ユニットが標準的な畳み込み層の利点(すなわち、接続のスパース性、空間情報に対する適性)を標準的な回帰層の利点(すなわち、時間的特徴の学習)と組み合わせるという認識に基づいている。
したがって、1つの実施の形態は、
ビデオフレームシーケンスを受け取る入力インターフェースと、
ビデオフレーム内の物体を検出するようにトレーニングされたニューラルネットワークを記憶するメモリであって、ニューラルネットワークは、第1のサブネットワークと、第2のサブネットワークと、第3のサブネットワークとを備え、第1のサブネットワークは、ビデオフレームを入力として受信してビデオフレームの特徴マップを出力し、第2のサブネットワークは、特徴マップを入力として取り込んで時間的特徴マップを出力する回帰型ニューラルネットワークであり、第3のサブネットワークは、時間的特徴マップを入力として取り込んで物体検出情報を出力する、メモリと、
ニューラルネットワークを用いて各ビデオフレームを順次処理して、ビデオフレームシーケンス内の物体を検出するプロセッサと、
物体検出情報を出力する出力インターフェースと、
を備える、物体検出器を開示する。
別の実施の形態は、ビデオフレームシーケンス内の少なくとも1つの物体を検出する方法であって、方法は、方法を実施する記憶された命令と結合されたプロセッサを用い、命令は、プロセッサによって実行されると、方法の少なくとも幾つかのステップを実行し、方法は、
ビデオフレームシーケンスを受け取ることと、
第1のサブネットワークと、第2のサブネットワークと、第3のサブネットワークとを備えるニューラルネットワークであって、第1のサブネットワークは、ビデオフレームを入力として受信してビデオフレームの特徴マップを出力し、第2のサブネットワークは、特徴マップを入力として取り込んで時間的特徴マップを出力する回帰型ニューラルネットワークであり、第3のサブネットワークは、時間的特徴マップを入力として取り込んで物体検出情報を出力する、ニューラルネットワークを用いて各ビデオフレームを順次処理し、ビデオフレームシーケンス内の物体を検出することと、
物体検出情報を出力することと、
を含む、方法を開示する。
別の実施の形態は、方法を実行するプロセッサによって実行可能なプログラムが具現化された非一時的コンピュータ可読記憶媒体を開示し、方法は、
ビデオフレームシーケンスを受け取ることと、
第1のサブネットワークと、第2のサブネットワークと、第3のサブネットワークとを備えるニューラルネットワークであって、第1のサブネットワークは、ビデオフレームを入力として受信してビデオフレームの特徴マップを出力し、第2のサブネットワークは、特徴マップを入力として取り込んで時間的特徴マップを出力する回帰型ニューラルネットワークであり、第3のサブネットワークは、時間的特徴マップを入力として取り込んで物体検出情報を出力する、ニューラルネットワークを用いて各ビデオフレームを順次処理し、ビデオフレームシーケンス内の物体を検出することと、
物体検出情報を出力することと、
を含む。
幾つかの実施形態によるビデオ内の物体を検出する画像処理システム100のブロック図である。 幾つかの実施形態によるビデオフレーム内の物体を検出する方法のフローチャートである。 幾つかの実施形態による第1のサブネットワークの代表的な畳み込みニューラルネットワーク(CNN)アーキテクチャの図である。 1つの実施形態によって用いられる畳み込み演算の概略図である。 1つの実施形態によって用いられるプーリング演算の概略図である。 幾つかの実施形態による、回帰型ネットワークである第2のサブネットワークの図である。 1つの実施形態によって用いられる、ゲート付き回帰型ユニットと呼ばれる1つのタイプの回帰型ユニット内部の詳細の模式図である。 幾つかの実施形態による第3のサブネットワークに用いられる代表的なCNNの図である。 幾つかの実施形態によるビデオフレームシーケンスを処理する第1のサブネットワークと、第2のサブネットワークと、第3のサブネットワークとを備えるシステムのブロック図である。 1つの実施形態によるマルチフレームシングルショットニューラルネットワークを動作させるプロセッサを備える車両の概略図である。
図1は、幾つかの実施形態によるビデオ内の物体を検出する画像処理システム100のブロック図を示している。画像処理システム100は、記憶された命令を実行するように構成されたプロセッサ120と、このプロセッサによって実行可能な命令を記憶するメモリ140とを備える。プロセッサ120は、シングルコアプロセッサ、マルチコアプロセッサ、コンピューティングクラスター、又は任意の数の他の構成とすることができる。メモリ140は、ランダムアクセスメモリ(RAM:random access memory)、リードオンリーメモリ(ROM:read only memory)、フラッシュメモリ、又は他の任意の適したメモリシステムを含むことができる。プロセッサ120は、バス106を通じて1つ以上の入力デバイス及び出力デバイスに接続される。
これらの命令は、ビデオシーケンス内の物体を検出する方法を実施する。様々な実施形態では、物体検出は、各ビデオフレーム内の物体のロケーション及びサイズを示す一組のバウンディングボックスを、各出力バウンディングボックスが各特定の物体クラスを含む尤度を示すバウンディングボックスごとの確率のベクトルとともに生成する。
画像処理システム100は、3つのサブネットワークを備えるニューラルネットワークを用いてビデオ内の物体を検出するように構成されている。そのようなニューラルネットワークは、本明細書では、マルチフレームシングルショットニューラルネットワークと呼ばれる。そのために、画像処理システム100は、ビデオフレーム134と、マルチフレームシングルショット検出器ネットワークを構成する3つのサブネットワーク131、132、133とを記憶するように適合された記憶デバイス130も備えることができる。記憶デバイス130は、ハードドライブ、光ドライブ、サムドライブ、ドライブのアレイ、又はそれらの任意の組み合わせを用いて実施することができる。
幾つかの実施態様では、画像処理システム100内のヒューマンマシンインターフェース110が、システムをキーボード111及びポインティングデバイス112に接続する。ポインティングデバイス112は、とりわけ、マウス、トラックボール、タッチパッド、ジョイスティック、ポインティングスティック、スタイラス、又はタッチ画面を含むことができる。画像処理システム100は、画像処理システム100をディスプレイデバイス565に接続するように適合されたディスプレイインターフェース160にバス106を通じて連結することができる。ディスプレイデバイス565は、とりわけ、コンピュータモニタ、カメラ、テレビ、プロジェクタ、又はモバイルデバイスを含むことができる。
画像処理システム100は、システムを撮像デバイス175に接続するように適合された撮像インターフェース170にも接続することができる。1つの実施形態では、物体検出器の処理対象のビデオフレームは、撮像デバイスから受信される。撮像デバイス175は、ビデオカメラ、コンピュータ、モバイルデバイス、ウェブカム、又はそれらの任意の組み合わせを含むことができる。
ネットワークインターフェースコントローラ150は、画像処理システム100を、バス106を通じてネットワーク190に接続するように適合されている。ネットワーク190を通じて、ビデオフレーム134又はサブネットワーク131、132、133を、記憶及び/又は更なる処理のためにダウンロードしてコンピュータの記憶システム130内に記憶することができる。
幾つかの実施形態では、画像処理システム100は、物体検出の結果に基づいて動作することができるアプリケーションデバイス585に画像処理システム100を接続するように適合されたアプリケーションインターフェース180にバス106を通じて接続される。例えば、デバイス585は、検出された物体のロケーションを用いて自動車の操縦方法を決定するカーナビゲーションシステムである。
図2は、幾つかの実施形態によるビデオフレーム内の物体を検出する方法のフローチャートを示している。ステップS1において、入力ビデオシーケンスの各フレーム210が、3つのサブネットワークを備えるビデオ物体検出ネットワークに順次供給される。そのようにして、ステップS2、S3、及びS4等の図2の方法の幾つかのステップは、フレームごとに反復して実行される。ステップS2において、第1のサブネットワーク131が現在のビデオフレームに適用され、ビデオフレームの特徴を表す一組の特徴マップ220を計算する。幾つかの実施態様では、特徴マップは、浮動小数点数の2Dアレイである。画像は、通常、整数[0,...,255]によって表される1バイト値を含むが、この特徴マップは、このことを除いてモノクロ画像と同様である。これらの特徴マップは、ステップS3において第2のサブネットワークへの入力として用いられる。
第2のサブネットワーク132は回帰ネットワークであり、ステップS2において計算された特徴マップ220と、ステップS3の前回の反復において計算された時間的特徴マップ235とを用いて、新たな一組の時間的特徴マップ230を計算する。特徴マップ230は、多くのフレームにわたって計算された特徴を表すので、時間的特徴マップと呼ばれる。ステップS4は、時間的特徴マップ230を取り込み、第3のサブネットワーク133を適用する。第3のサブネットワークは、現在のビデオフレーム内の各検出物体の空間ロケーション及び可能性のある物体クラスを符号化した一組のバウンディングボックス及びクラス確率を出力する。
図3Aは、幾つかの実施形態による第1のサブネットワークの代表的な畳み込みニューラルネットワーク(CNN)アーキテクチャの図を示している。第1のサブネットワーク131は、ビデオフレーム310を入力として取り込み、複数の畳み込み350を用いて一組の特徴マップ320を生成する。次に、プーリング演算360が用いられて、特徴マップの近傍が整理統合され、より小さな特徴マップ322が作成される。畳み込み層及びプーリング層322、324、326は、任意の回数繰り返すことができる。畳み込み層は、対応するプーリング層がなくても実施することができる。通常、畳み込み層は、シグモイド関数又は正規化線形関数等の非線形活性化関数も含む。最終の一組の特徴マップ326は、CNNによって特徴マップ210として出力される。
図3Bは、1つの実施形態によって用いられる畳み込み演算の概略図を示している。畳み込みは、畳み込みカーネル330及び一組の画像又は特徴マップ333を入力として取り込み、一組の画像又は特徴マップ333の各領域内のピクセルに畳み込みカーネル330の要素を乗算する数学演算である。畳み込みニューラルネットワークに用いられる畳み込みカーネル330は、浮動小数点数のk×k×Mテンソルである。ここで、kは、カーネルのサイズ(通常、3、5又は7等の小さな整数)であり、Mは、画像におけるチャネル数(カラー画像の場合には3)又は特徴マップ数である。一組の画像/特徴マップ333と畳み込みカーネル330との乗算は、畳み込みカーネルの各要素と、画像/特徴マップの領域内の対応するピクセルとの積の和である。畳み込みカーネル330は、固定のステップサイズ(通常は1)を用いて一組の画像/特徴マップ333の各領域にわたって走査され、各領域の浮動小数点数が生成される。その結果が、浮動小数点数の2D特徴マップ335である。畳み込みカーネルの値は、通常、ニューラルネットワークトレーニング段階において学習される。
図3Cは、1つの実施形態によって用いられるプーリング演算の概略図を示している。プーリング演算は、特徴マップ393を入力として取り込み、高さ及び幅が入力特徴マップに対してn分の1に削減された新たな特徴マップ395を出力する。ここで、nは整数(通常は2)である。プーリング演算は、入力特徴マップ393を走査し、特徴マップの各n×n領域390について、その領域内の全てのピクセルにプーリング演算を適用する。通常のプーリング演算は、max(領域内の全てのピクセルにわたる最大値を出力する)又はaverage(領域内の全てのピクセルにわたる平均値を出力する)である。例えば、2×2プーリング演算は、入力特徴マップの各2×2領域の単一の浮動小数点数を出力し、したがって、入力特徴マップと比較して2分の1のサイズ(高さ及び幅の双方が2分の1のサイズ)の出力特徴マップを作成する。そのようなプーリング演算は、特徴マップ内の近傍の特徴を集約し、入力画像内の小さな並進の影響を受けにくい畳み込みニューラルネットワークを作製するのに有用である。
図4Aは、幾つかの実施形態による、回帰ネットワークである第2のサブネットワークの図を示している。回帰ネットワークは、他の入力に加えて、回帰ネットワークの前回の出力を入力として受信するネットワークである。回帰ネットワークは、1つ以上の回帰型ユニット400を備える。各回帰型ユニットは、2つの入力テンソル410及び420を有する。外部入力テンソル410は、第1のサブネットワークの出力等の或る外部入力源からの特徴ベクトル、特徴マップ又は一組の特徴マップである。回帰入力テンソル420は、前時間ステップ450において1つ又は複数の回帰型ユニット400から出力された時間的特徴マップである。回帰型ユニット400の出力は時間的特徴マップ230である。回帰型ユニット内部440は、出力される時間的特徴マップ230を計算する、入力410及び420と起こり得る隠れ状態との関数である。回帰型ユニットの例として、長短期(long short-term)メモリユニット、ゲート付き回帰型ユニット及び畳み込みゲート付き回帰型ユニットがある。
図4Bは、1つの実施形態によって用いられる、ゲート付き回帰型ユニット441と呼ばれる1つのタイプの回帰型ユニット内部440の詳細の模式図である。出力hは、前時間ステップt−1におけるこの回帰型ユニットの出力と、現在の入力xとの関数である。これらの式から直観的に分かる基本的事項は、新たな出力(現在の入力の関数でもある)に対する前回の出力の寄与度を決定するゲーティング係数(gating factors)を計算するのに、現在の入力と前時間ステップからの出力とが用いられるということである。ゲート付き回帰型ユニット441において、表記「・」は行列ベクトル乗算を示し、[x,y]はベクトルの連結を示し、σ()は要素単位のシグモイド関数を示し、*はアダマール積を示す。異なる実施形態によって用いられる回帰型ユニット内部の他の様々な実現候補、例えば、長短期メモリユニットがある。
図5は、幾つかの実施形態による第3のサブネットワークに用いられる代表的なCNNの図を示している。この第3のサブネットワークは、第2のサブネットワークによって出力される一組の時間的特徴マップ230を入力として取り込む。この後に、一連の畳み込み550、570(非線形活性化関数を伴うことがある)と、プーリング層560、580とが続く。この後に、フレーム内の検出物体のロケーション及びタイプを示す一組のバウンディングボックス及び物体クラス確率を表す特徴ベクトル590を出力する最終の全結合層又は畳み込み層が続く。
図6は、幾つかの実施形態による、ビデオフレームシーケンス640を処理する第1のサブネットワーク610と、第2のサブネットワーク620と、第3のサブネットワーク630とを備えるシステムのブロック図を示している。第1のサブネットワーク610は、畳み込みニューラルネットワークを用いて、単一のビデオフレームから一組の特徴マップを計算する。これらの特徴マップは、前時間ステップにおいて計算された時間的特徴マップとともに第2のサブネットワーク620に渡される。幾つかの実施態様では、最初のビデオフレームの場合、前回の時間的特徴マップは全て0に設定される。第2のサブネットワーク620は、一組の回帰型ユニットを用いて、新たな一組の時間的特徴マップを計算する。この新たな一組の時間的特徴マップは、第3のサブネットワーク630に渡される。第3のサブネットワーク630は、畳み込みニューラルネットワークを用いて、現在のフレームに検出された全ての物体のロケーション及びクラスを示す一組のバウンディングボックス及びクラス確率650を計算する。
3つのサブネットワークを有するニューラルネットワークは、多くのパラメーターを含むことができる。これらのパラメーターは、グラウンドトゥルースの物体バウンディングボックス及びクラスが分かっている多くの例示のビデオからトレーニングフェーズ中に最適化される。このトレーニングフェーズは、確率的勾配降下法等のネットワークの重みを最適化するアルゴリズムを用いる。
図7は、1つの実施形態によるマルチフレームシングルショットニューラルネットワーク705を動作させるプロセッサ702を備える車両701の概略図を示している。この実施形態は、車両701が使用しているビデオシーケンスを利用して、車両の周囲状況を評価する。車両701は、ビデオシーケンスを取得する少なくとも1つのセンサ720を備える。
車両は、物体検出器を動作させるプロセッサ702も備える。例えば、ニューラルネットワーク705は、画像シーケンス725内の物体726を検出し、一組の物体バウンディングボックス及び物体クラス740を出力することができる。プロセッサ702は、物体検出器705を利用する他のアプリケーション750を実行するように構成することができる。アプリケーション750の例として、車両701を移動させる制御アプリケーション及び/又は様々なコンピュータビジョンアプリケーションがある。
換言すれば、1つの実施形態は、同時の較正及び融合を用いて、双方のセンサを強化する、すなわち、LIDAR(ライダー)出力の解像度を高め、高解像度奥行き情報をカメラ出力に組み込む。融合の結果は、ディスプレイ740上にレンダリングすることもできるし、異なるアプリケーション750、例えば、物体追跡アプリケーションにサブミットすることもできる。
本発明の上記で説明した実施形態は、多数の方法のうちの任意のもので実施することができる。例えば、実施形態は、ハードウェア、ソフトウェア又はそれらの組み合わせを用いて実施することができる。ソフトウェアで実施される場合、ソフトウェアコードは、単一のコンピュータに設けられるのか又は複数のコンピュータ間に分散されるのかにかかわらず、任意の適したプロセッサ又はプロセッサの集合体において実行することができる。そのようなプロセッサは、1つ以上のプロセッサを集積回路部品に有する集積回路として実装することができる。プロセッサは、任意の適したフォーマットの回路類を用いて実装することができる。
また、本発明の実施形態は、例が提供された方法として実施することができる。この方法の一部として実行される動作は、任意の適切な方法で順序付けすることができる。したがって、動作が示したものと異なる順序で実行される実施形態を構築することができ、これには、例示の実施形態では一連の動作として示されたにもかかわらず、いくつかの動作を同時に実行することを含めることもできる。
請求項の要素を修飾する、特許請求の範囲における「第1」、「第2」等の序数の使用は、それ自体で、1つの請求項の要素の別の請求項の要素に対する優先順位も、優位性も、順序も暗示するものでもなければ、方法の動作が実行される時間的な順序も暗示するものでもなく、請求項の要素を区別するために、単に、或る特定の名称を有する1つの請求項の要素を、同じ(序数の用語の使用を除く)名称を有する別の要素と区別するラベルとして用いられているにすぎない。

Claims (15)

  1. ビデオフレームシーケンスを受け取る入力インターフェースと、
    ビデオフレーム内の物体を検出するようにトレーニングされたニューラルネットワークを記憶するメモリであって、前記ニューラルネットワークは、第1のサブネットワークと、第2のサブネットワークと、第3のサブネットワークとを備え、前記第1のサブネットワークは、ビデオフレームを入力として受信して前記ビデオフレームの特徴マップを出力し、前記第2のサブネットワークは、前記特徴マップを入力として取り込んで時間的特徴マップを出力する回帰型ニューラルネットワークであり、前記第3のサブネットワークは、前記時間的特徴マップを入力として取り込んで物体検出情報を出力する、メモリと、
    前記ニューラルネットワークを用いて各ビデオフレームを順次処理して、前記ビデオフレームシーケンス内の物体を検出するプロセッサと、
    前記物体検出情報を出力する出力インターフェースと、
    を備える、物体検出器。
  2. 前記第1のサブネットワーク及び前記第3のサブネットワークは、畳み込みニューラルネットワークである、請求項1に記載の物体検出器。
  3. 前記第2のサブネットワークは、ゲート付き回帰型ユニットを含む、請求項1に記載の物体検出器。
  4. 前記第2のサブネットワークは、長短期メモリユニットを含む、請求項1に記載の物体検出器。
  5. 前記第2のサブネットワークは、畳み込み回帰型ユニットを含む、請求項1に記載の物体検出器。
  6. 前記第2のサブネットワークによって形成される前記回帰型ニューラルネットワークは、前記特徴マップを、前記ビデオフレームシーケンス内の前ビデオフレームについて生成された前記時間的特徴マップと再帰的に組み合わせる、請求項1に記載の物体検出器。
  7. 前記第1のサブネットワーク及び前記第3のサブネットワークのうちの一方又はそれらの組み合わせは、畳み込み層及びプーリング層の組み合わせによって形成される畳み込みネットワークである、請求項1に記載の物体検出器。
  8. 前記第1のサブネットワークは、前記第1のサブネットワークの最後の畳み込み層の畳み込みごとに1つの特徴マップが存在するような一組の特徴マップを出力する、請求項7に記載の物体検出器。
  9. 前記第2のサブネットワークは、前記一組の特徴マップの一組の時間的特徴マップを求め、前記第3のサブネットワークは、前記一組の時間的特徴マップから、前記ビデオフレーム内の物体の位置を画定する一組の1つ以上のバウンディングボックスと、各物体のクラス確率とを求める、請求項8に記載の物体検出器。
  10. 前記ニューラルネットワークは、前記ビデオフレームシーケンス内の異なるクラスの複数の物体を検出するようにトレーニングされ、前記物体検出器がマルチクラス検出器となるようにする、請求項1に記載の物体検出器。
  11. 前記出力インターフェースは、検出された物体のロケーションと、前記検出された物体のクラスとをディスプレイデバイス上にレンダリングするか、又は、前記検出された物体のロケーションと、前記検出された物体のクラスとをネットワークを介して送信する、請求項1に記載の物体検出器。
  12. 前記プロセッサは、検出された物体のロケーションと、前記検出された物体が一組のクラスからの各クラスに属する尤度を定義する一組の確率とを求める、請求項1に記載の物体検出器。
  13. ビデオフレームシーケンス内の少なくとも1つの物体を検出する方法であって、前記方法は、前記方法を実施する記憶された命令と結合されたプロセッサを用い、前記命令は、前記プロセッサによって実行されると、前記方法の少なくとも幾つかのステップを実行し、前記方法は、
    ビデオフレームシーケンスを受け取ることと、
    第1のサブネットワークと、第2のサブネットワークと、第3のサブネットワークとを備えるニューラルネットワークであって、前記第1のサブネットワークは、ビデオフレームを入力として受信して前記ビデオフレームの特徴マップを出力し、前記第2のサブネットワークは、前記特徴マップを入力として取り込んで時間的特徴マップを出力する回帰型ニューラルネットワークであり、前記第3のサブネットワークは、前記時間的特徴マップを入力として取り込んで物体検出情報を出力する、ニューラルネットワークを用いて各ビデオフレームを順次処理し、前記ビデオフレームシーケンス内の物体を検出することと、
    前記物体検出情報を出力することと、
    を含む、方法。
  14. 前記物体検出情報は、前記ビデオフレームシーケンス内の複数の物体の異なるロケーション及び異なるクラスを含む、請求項13に記載の方法。
  15. 方法を実行するプロセッサによって実行可能なプログラムが具現化された非一時的コンピュータ可読記憶媒体であって、前記方法は、
    ビデオフレームシーケンスを受け取ることと、
    第1のサブネットワークと、第2のサブネットワークと、第3のサブネットワークとを備えるニューラルネットワークであって、前記第1のサブネットワークは、ビデオフレームを入力として受信して前記ビデオフレームの特徴マップを出力し、前記第2のサブネットワークは、前記特徴マップを入力として取り込んで時間的特徴マップを出力する回帰型ニューラルネットワークであり、前記第3のサブネットワークは、前記時間的特徴マップを入力として取り込んで物体検出情報を出力する、ニューラルネットワークを用いて各ビデオフレームを順次処理し、前記ビデオフレームシーケンス内の物体を検出することと、
    前記物体検出情報を出力することと、
    を含む、非一時的コンピュータ可読記憶媒体。
JP2020531178A 2018-02-06 2018-07-30 物体検出器及び物体検出方法 Active JP7200247B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/889,308 2018-02-06
US15/889,308 US11164003B2 (en) 2018-02-06 2018-02-06 System and method for detecting objects in video sequences
PCT/JP2018/029319 WO2019155658A1 (en) 2018-02-06 2018-07-30 Object detector and method for detecting

Publications (2)

Publication Number Publication Date
JP2021506017A true JP2021506017A (ja) 2021-02-18
JP7200247B2 JP7200247B2 (ja) 2023-01-06

Family

ID=63517964

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020531178A Active JP7200247B2 (ja) 2018-02-06 2018-07-30 物体検出器及び物体検出方法

Country Status (3)

Country Link
US (1) US11164003B2 (ja)
JP (1) JP7200247B2 (ja)
WO (1) WO2019155658A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021064021A (ja) * 2019-10-10 2021-04-22 株式会社日立製作所 時空間事象予測装置、時空間事象予測方法及び時空間事象予測システム

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10733756B2 (en) * 2017-08-31 2020-08-04 Nec Corporation Online flow guided memory networks for object detection in video
US11282389B2 (en) * 2018-02-20 2022-03-22 Nortek Security & Control Llc Pedestrian detection for vehicle driving assistance
US10922573B2 (en) 2018-10-22 2021-02-16 Future Health Works Ltd. Computer based object detection within a video or image
CN110210474B (zh) * 2019-04-30 2021-06-01 北京市商汤科技开发有限公司 目标检测方法及装置、设备及存储介质
US20210383103A1 (en) * 2019-09-19 2021-12-09 Arctan Analytics Pte. Ltd. System and method for assessing customer satisfaction from a physical gesture of a customer
KR20210061839A (ko) * 2019-11-20 2021-05-28 삼성전자주식회사 전자 장치 및 그 제어 방법
JP7490359B2 (ja) * 2019-12-24 2024-05-27 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
CN111241985B (zh) 2020-01-08 2022-09-09 腾讯科技(深圳)有限公司 一种视频内容识别方法、装置、存储介质、以及电子设备
KR102159052B1 (ko) * 2020-05-12 2020-09-23 주식회사 폴라리스쓰리디 영상 분류 방법 및 장치
US11379995B2 (en) * 2020-07-15 2022-07-05 Jingdong Digits Technology Holding Co., Ltd. System and method for 3D object detection and tracking with monocular surveillance cameras
CN111860504A (zh) * 2020-07-20 2020-10-30 青岛科技大学 基于深度学习的视觉多目标跟踪方法及装置
KR20220013231A (ko) * 2020-07-24 2022-02-04 삼성전자주식회사 영상 내에서 객체를 추론하는 전자 장치 및 추론 방법
CA3225826A1 (en) * 2021-07-27 2023-02-02 Caroline ROUGIER Two-dimensional pose estimations
CN114463689B (zh) * 2022-04-13 2022-07-26 北京达佳互联信息技术有限公司 目标识别网络的训练方法、装置、电子设备及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018021576A1 (en) * 2016-07-25 2018-02-01 Mitsubishi Electric Corporation Method for detecting object in image and objection detection system

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7391907B1 (en) 2004-10-01 2008-06-24 Objectvideo, Inc. Spurious object detection in a video surveillance system
US8345984B2 (en) * 2010-01-28 2013-01-01 Nec Laboratories America, Inc. 3D convolutional neural networks for automatic human action recognition
US20170116498A1 (en) * 2013-12-04 2017-04-27 J Tech Solutions, Inc. Computer device and method executed by the computer device
US10289912B1 (en) * 2015-04-29 2019-05-14 Google Llc Classifying videos using neural networks
JP6662902B2 (ja) * 2015-06-05 2020-03-11 グーグル エルエルシー 空間的変換モジュール
JP6450053B2 (ja) * 2015-08-15 2019-01-09 セールスフォース ドット コム インコーポレイティッド 3dバッチ正規化を伴う三次元(3d)畳み込み
US9754351B2 (en) 2015-11-05 2017-09-05 Facebook, Inc. Systems and methods for processing content using convolutional neural networks
US9830709B2 (en) 2016-03-11 2017-11-28 Qualcomm Incorporated Video analysis with convolutional attention recurrent neural networks
US11055537B2 (en) 2016-04-26 2021-07-06 Disney Enterprises, Inc. Systems and methods for determining actions depicted in media contents based on attention weights of media content frames
US9760806B1 (en) 2016-05-11 2017-09-12 TCL Research America Inc. Method and system for vision-centric deep-learning-based road situation analysis
WO2017222970A1 (en) * 2016-06-20 2017-12-28 Butterfly Network, Inc. Automated image acquisition for assisting a user to operate an ultrasound device
US20180211403A1 (en) * 2017-01-20 2018-07-26 Ford Global Technologies, Llc Recurrent Deep Convolutional Neural Network For Object Detection
US10818014B2 (en) * 2018-07-27 2020-10-27 Adobe Inc. Image object segmentation based on temporal information
US10713491B2 (en) * 2018-07-27 2020-07-14 Google Llc Object detection using spatio-temporal feature maps

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018021576A1 (en) * 2016-07-25 2018-02-01 Mitsubishi Electric Corporation Method for detecting object in image and objection detection system

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SEPEHR VALIPOUR, MENNATULLAH SIAM, MARTIN JAGERSAND, NILANJAN RAY: "Recurrent Fully Convolutional Networks for Video Segmentation", 2017 IEEE WINTER CONFERENCE ON APPLICATIONS OF COMPUTER VISION, JPN6021039962, 31 March 2017 (2017-03-31), pages 29 - 36, XP033096782, ISSN: 0004613703, DOI: 10.1109/WACV.2017.11 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021064021A (ja) * 2019-10-10 2021-04-22 株式会社日立製作所 時空間事象予測装置、時空間事象予測方法及び時空間事象予測システム
JP7202995B2 (ja) 2019-10-10 2023-01-12 株式会社日立製作所 時空間事象予測装置、時空間事象予測方法及び時空間事象予測システム

Also Published As

Publication number Publication date
US11164003B2 (en) 2021-11-02
US20190244028A1 (en) 2019-08-08
JP7200247B2 (ja) 2023-01-06
WO2019155658A1 (en) 2019-08-15

Similar Documents

Publication Publication Date Title
JP7200247B2 (ja) 物体検出器及び物体検出方法
EP3673417B1 (en) System and method for distributive training and weight distribution in a neural network
US10275691B2 (en) Adaptive real-time detection and examination network (ARDEN)
CN109478239B (zh) 检测图像中的对象的方法和对象检测系统
US9626766B2 (en) Depth sensing using an RGB camera
US11157764B2 (en) Semantic image segmentation using gated dense pyramid blocks
US11704563B2 (en) Classifying time series image data
JP7334141B2 (ja) マルチモーダル密対応関係画像処理システム、レーダー撮像システム、方法およびブログラム
CN108764244B (zh) 基于卷积神经网络和条件随机场的潜在目标区域检测方法
US20220277580A1 (en) Hand posture estimation method and apparatus, and computer storage medium
CN108537820B (zh) 动态预测方法、系统及所适用的设备
Huang et al. S3: Learnable sparse signal superdensity for guided depth estimation
Bose et al. In-situ recognition of hand gesture via Enhanced Xception based single-stage deep convolutional neural network
Khellal et al. Pedestrian classification and detection in far infrared images
Özer et al. SiameseFuse: A computationally efficient and a not-so-deep network to fuse visible and infrared images
US11704894B2 (en) Semantic image segmentation using gated dense pyramid blocks
Bianco et al. Multiscale fully convolutional network for image saliency
Anupama et al. SIDA-GAN: a lightweight generative adversarial network for single image depth approximation
Shi et al. Combined channel and spatial attention for YOLOv5 during target detection
Mohanty et al. An adaptive background modeling for foreground detection using spatio-temporal features
Sanches et al. Recommendations for evaluating the performance of background subtraction algorithms for surveillance systems
Chen et al. Moving object detection via RPCA framework using non-convex low-rank approximation and total variational regularization
JP2022190958A (ja) ショット境界検出装置、ショット境界学習装置及びそれらのプログラム
US20230196752A1 (en) Information processing apparatus, information processing method, and non-transitory computer-readable storage medium
Gullapally et al. Dynamic object localization using hand-held cameras

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200605

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210714

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210727

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211012

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220222

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220324

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20220324

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20220405

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20220412

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20220610

C211 Notice of termination of reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C211

Effective date: 20220621

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20220726

C13 Notice of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: C13

Effective date: 20220920

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221102

C302 Record of communication

Free format text: JAPANESE INTERMEDIATE CODE: C302

Effective date: 20221118

C23 Notice of termination of proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C23

Effective date: 20221122

C03 Trial/appeal decision taken

Free format text: JAPANESE INTERMEDIATE CODE: C03

Effective date: 20221220

C30A Notification sent

Free format text: JAPANESE INTERMEDIATE CODE: C3012

Effective date: 20221220

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221221

R150 Certificate of patent or registration of utility model

Ref document number: 7200247

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150