JP2019169843A - 映像記録装置、映像記録方法およびプログラム - Google Patents

映像記録装置、映像記録方法およびプログラム Download PDF

Info

Publication number
JP2019169843A
JP2019169843A JP2018056092A JP2018056092A JP2019169843A JP 2019169843 A JP2019169843 A JP 2019169843A JP 2018056092 A JP2018056092 A JP 2018056092A JP 2018056092 A JP2018056092 A JP 2018056092A JP 2019169843 A JP2019169843 A JP 2019169843A
Authority
JP
Japan
Prior art keywords
video
detected
unit
feature amount
corrected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018056092A
Other languages
English (en)
Other versions
JP7118679B2 (ja
JP2019169843A5 (ja
Inventor
佐藤 博
Hiroshi Sato
博 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2018056092A priority Critical patent/JP7118679B2/ja
Priority to US16/353,910 priority patent/US10846548B2/en
Publication of JP2019169843A publication Critical patent/JP2019169843A/ja
Publication of JP2019169843A5 publication Critical patent/JP2019169843A5/ja
Application granted granted Critical
Publication of JP7118679B2 publication Critical patent/JP7118679B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • H04N5/911Television signal processing therefor for the suppression of noise
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/98Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/993Evaluation of the quality of the acquired pattern
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/46Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Television Signal Processing For Recording (AREA)
  • Collating Specific Patterns (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

【課題】長時間の映像を記録し、オブジェクトの認識精度を低下させないようにすることである。【解決手段】映像記録装置は、入力映像からオブジェクトを検出するオブジェクト検出手段と、前記入力映像から、前記オブジェクト検出手段により検出されたオブジェクトの特徴量を抽出する特徴量抽出手段と、前記入力映像を補正する補正手段と、前記オブジェクト検出手段によりオブジェクトが検出された場合、前記補正手段により補正された映像と、前記特徴量抽出手段により抽出された特徴量とを対応付けて記録する記録手段とを有する。【選択図】図4

Description

本発明は、映像記録装置、映像記録方法およびプログラムに関する。
監視カメラ映像記録装置は、監視カメラで撮影した映像を、認識技術により解析を行いながら、記録する。そのような監視カメラ映像記録装置には、以下の課題がある。すなわち、映像中の人物の検出や、その人物が予め登録した人物に一致するか判定するなど、映像認識技術としての精度を重視すると、被写体の詳細情報を得るために高解像度の映像や、フレームレートを上げるなど、必要となるデータ量が増える傾向がある。一方、記録装置としては、なるべく長期間の映像を保持し、データ量を増やさないようにするため、解像度や画質を落としたり、フレームレートを下げたりして記録するなど、上記の認識精度向上のための対策とは逆の施策がされる場合がある。記録時間を減らさずに、映像解析の認識精度を向上させるには、上記のような矛盾を解決する必要がある。
特許文献1では、映像の色相情報を基に、映像の補正を行うことで、被写体の映り込みを除去し、正常な映像解析を行うこと、もしくは、被写体の色情報を、映像の映り込みを考慮した色情報に変換することで、正常な映像解析を行う。
特開2010−39067号公報
しかしながら、特許文献1では、映像を認識しやすくするように画像を補正しているが、補正した画像をそのまま記録している。解析の精度を向上させることはできても、映像の録画に関しては考慮がなく、記録性のために、画質に影響があった場合の対策がない。例えば、録画の容量を削減するために、動きのあったフレームだけ記録するようにするために、動体検知を援用する場合、動体検知がノイズに反応しないように、ノイズリダクションが行われる。ノイズリダクションは、時間方向や空間方向に平滑化を行うアルゴリズムが一般的であり、映像の詳細情報が失われる傾向がある。これは映像解析にとって致命的であり、特に、顔認証に代表される、映像中の人物と、予め登録された人物との比較を行うような認識技術を用いる場合、その精度を著しく低下させる原因になる。このように、映像を補正して、認識精度を向上させる対策以外に、録画のために映像情報を劣化させるような補正に対しても、認識精度を低下させないための対策が必要となる。
本発明の目的は、長時間の映像を記録し、オブジェクトの認識精度を低下させないようにすることである。
本発明の映像記録装置は、入力映像からオブジェクトを検出するオブジェクト検出手段と、前記入力映像から、前記オブジェクト検出手段により検出されたオブジェクトの特徴量を抽出する特徴量抽出手段と、前記入力映像を補正する補正手段と、前記オブジェクト検出手段によりオブジェクトが検出された場合、前記補正手段により補正された映像と、前記特徴量抽出手段により抽出された特徴量とを対応付けて記録する記録手段とを有する。
本発明によれば、長時間の映像を記録し、オブジェクトの認識精度を低下させないようにすることができる。
映像記録装置を含む監視カメラシステムのブロック図である。 映像記録装置の一構成例を示すブロック図である。 オブジェクト認識部の一構成例を示すブロック図である。 映像記録装置の処理の一例を示すフローチャートである。 オブジェクト認識部の一構成例を示すブロック図である。 映像記録装置の処理の一例を示すフローチャートである。
(第1の実施形態)
以下、図面を参照して本発明の実施形態を詳細に説明する。第1の実施形態では、監視カメラに映った人物が、事前に登録してある人物の中のどの人物に該当するか、顔の情報を使って判定する顔認証を主な解析内容として、映像の記録性と、認識精度を両立する方法を説明する。
図1は、本発明の第1の実施形態による監視カメラシステム100の一構成例を示すブロック図である。監視カメラシステム100は、監視カメラ101、映像記録装置102、および映像出力装置103を有する。監視カメラ101は、例えばネットワークカメラであり、ネットワーク104を介して、映像記録装置102および映像出力装置103に接続される。監視カメラ101は、映像を撮影し、撮影した映像を映像記録装置102および映像出力装置103に送信する。なお、監視カメラ101は、1個に限定されず、複数であってもよい。映像記録装置102は、監視カメラ101から受信した映像を、ハードディスクやフラッシュメモリなどに記録する。映像記録装置102の構成や内部で行われる処理の詳細については後述する。映像出力装置103は、映像記録装置102に記録された映像や、監視カメラ101から受信した映像を表示する。映像出力装置103は、例えば、パーソナルコンピュータ(PC)、表示用モニタ、操作を行うキーボード、およびマウスなどを有し、受信した映像を、GUIを備えたソフトウェアにより表示する。
図2は、映像記録装置102の一構成例を示すブロック図である。映像記録装置102は、映像取得部110、映像補正部111、オブジェクト認識部112、および映像記録部113を有する。映像取得部110は、監視カメラ101が送信した映像を取得する。映像取得部110は、動画コーデックのデコードを行ってもよい。映像補正部111は、映像取得部110により取得された映像に対して、目的に応じた補正を行う。例えば、映像補正部111は、映像中のノイズを取り除くノイズリダクション処理や、明るさや色の補正を行う。オブジェクト認識部112は、映像取得部110により取得された映像からオブジェクトの認識を行う。より具体的には、オブジェクト認識部112は、映像中の動きのあった部分を検出する動体検出、人物および顔の位置の検出、予め登録された顔と一致するかを確認するなどの処理を行う。映像記録部113は、映像取得部110により取得された映像をハードディスクドライブ(HDD)や、ソリッドステートドライブ(SSD)などに、録画時刻などの情報とともに記録する。また、映像記録部113は、動画コーデックによる圧縮を行う。また、映像記録部113は、HDDまたはSSDから映像を読み出し、その映像を映像出力装置103に送信する。映像補正部111、オブジェクト認識部112、映像記録部113で行われる一連の処理の内容については、後で詳しく説明する。
図3は、オブジェクト認識部112の一構成例を示すブロック図である。オブジェクト認識部112は、動体検出部201、オブジェクト検出部202、オブジェクト特徴量抽出部203、およびオブジェクト照合部204を有する。動体検出部201は、映像中の動体(動きがあった部分)の検出を行う。この検出は、背景差分などの技術を使って実現することができる。オブジェクト検出部202は、映像中の人体や顔の位置を検出する。なお、オブジェクト検出部202は、車や動物などの人以外の物体を検出してもよい。これらの検出は、例えばDeep Learning(以下、DLと表記する)の技術を用いることで実現することができる。オブジェクト検出部202は、より詳細な情報、例えば顔の向きや、年齢・性別などの属性情報を検出するようにしてもよい。これらの検出もDLによって実現することができる。オブジェクト特徴量抽出部203は、オブジェクト検出部202により検出されたオブジェクトの個体の違い、例えば、人物であれば、AさんやBさんなど、個体としての違いを判別するための特徴量を抽出する処理を行う。この抽出は、例えば、LBP(Local Binary Pattern)特徴量などを用いることができる。また、この抽出は、HOG(Histogram of Oriented Gradient)特徴量やSIFT(Scale−Invariant Feature Transform)特徴量、これらを混合した特徴量を用いてもよい。その他、この抽出は、ニューラルネットワークで特徴量を抽出してもよい。オブジェクト特徴量抽出部203は、抽出した特徴量をPCA(Principal Component Analysis)等の手法を用いて次元圧縮してもよい。また、オブジェクト特徴量抽出部203は、前述のようにDL技術を適用することも可能である。オブジェクト照合部204は、オブジェクト特徴量抽出部203により抽出された特徴量同士を比較して、それらのオブジェクトが同一であるか否かの判定を行う。例えば、オブジェクト照合部204は、特徴量を数値列(特徴ベクトル)として扱い、その距離を計測することによって判定する。具体的には、オブジェクト照合部204は、その距離が予め定めた値より小さければ同一であると判定し、大きければ違うと判定すればよい。また、オブジェクト照合部204は、特徴ベクトルを、機械学習の技術、例えばサポートベクタマシンに投入することにより、同一か否か判定することも可能である。
図4は、映像記録装置102の映像記録方法の一例を示すフローチャートである。まず、ステップS101では、映像取得部110は、監視カメラ101により撮影された映像を入力し、その入力映像を取得する。次に、ステップS102では、オブジェクト検出部202は、映像取得部110により取得された入力映像に対して、対象となるオブジェクトの検出を行う。ここで、オブジェクトは、例えば人物の顔である。次に、ステップS103では、オブジェクト検出部202は、対象となるオブジェクトが検出された場合(S103でYesの場合)、ステップS104に進み、対象となるオブジェクトが検出されなかった場合(S103でNoの場合)、ステップS106に進む。
ステップS104では、オブジェクト特徴量抽出部203は、映像取得部110により取得された入力映像から、オブジェクト検出部202により検出されたオブジェクトの個体を判別するための特徴量を抽出する。次に、ステップS105では、映像補正部111は、映像取得部110により取得された入力映像を補正し、ステップS109に進む。この補正は、例えば、ノイズリダクション処理である。ノイズリダクションを行う意味や効果については後で説明する。次に、ステップS109では、映像記録部113は、ステップS105で補正された映像と、ステップS104で抽出された特徴量とを対応付けて記録する。その後、映像記録装置102は、ステップS101に戻り、次のフレームの映像の処理を繰り返す。映像記録部113の記録後、オブジェクト照合部204は、映像記録部113に記録された特徴量同士を比較して、それらのオブジェクトが同一であるか否かの判定を行うことができる。
ステップS106では、映像補正部111は、映像取得部110により取得された入力映像の補正を行う。補正は、例えばノイズリダクション処理である。次に、ステップS107では、動体検出部201は、映像補正部111により補正された映像に対して動体(動きのある部分)の検出を行う。次に、ステップS108では、動体検出部201は、動体が検出された場合(S108でYesの場合)、ステップS109に進み、動体が検出されなかった場合(S108でNoの場合)、ステップS109の記録を行わずに、ステップS101に戻る。ステップS109では、映像記録部113は、映像補正部111により補正された映像を記録する。その後、映像記録装置102は、ステップS101に戻り、次のフレームの映像の処理を繰り返す。なお、ステップS109では、映像記録部113は、映像を、動画としての圧縮コーデックにより符号化された状態で記録する。符号化は、例えばH264,MotionJPEGなどである。
次に、ステップS105およびS106で行うノイズリダクション処理について説明する。ステップS105およびS106の処理は、処理の内容が同じであるが、目的が一部異なる。まず、ステップS105について説明する。ステップS105のノイズリダクション処理は、ステップS109での録画処理において、データ量を削減するために行う意味がある。夜間など暗い場所で撮影した場合に特に顕著になるが、映像中にノイズが多いと、無駄な情報量が増え、結果的に録画時間に影響を及ぼす。ノイズを減らすために、シャッタースピードを遅くすると、被写体ぶれが大きくなってしまい、記録映像としての価値だけでなく、認識精度にも悪影響を与えるので望ましくない。ノイズリダクション処理により、ノイズが減り、フレーム間の差が小さくなって、H264などの圧縮処理にも有利に働く。
次に、ステップS106について説明する。ステップS106のノイズリダクション処理は、ステップS109の録画処理でのデータ量削減に寄与するのみでなく、ステップS107の動体検出処理の精度を向上させるために行う。一般的に、動体検出処理は、フレーム間の差分を計測し、その差分の大小をもって動きがあったか否かを判定する。その際、映像中にノイズが多いと、差分として検出されてしまい、動体検出が反応する。そのため、記録されるフレームが多くなってしまい、結果的に録画時間に悪影響を与える。これを最小化するために、ステップS106では、映像補正部111はノイズリダクション処理を行うのである。
一方、ステップS103で対象オブジェクトが検出された場合、ステップS105の前に、ステップS104で、オブジェクト特徴量抽出部203は、特徴量を抽出する。ステップS104の前に、映像補正部111が映像補正(ノイズリダクション処理)を行うと、映像のディテールが失われ、個体を識別するための特徴量抽出に適さない映像になる可能性が高まることによる。一般的に、ノイズリダクション処理は、空間方向または時間方向に平滑化を行うため、動きのある被写体の場合、周囲の画素と平均化された、すなわちボケの強い映像になりがちで、個体の違いを識別するための映像としては適さない場合がある。この問題を回避するために、ステップS104の特徴量抽出をステップS105のノイズリダクション処理の前に行う。このようにすることで、映像記録装置102は、対象オブジェクトの認識精度を維持できるようにしつつ、映像記録部113への負担を増加させないようにすることができる。
ステップS109では、映像記録部113は、ステップS105で補正された映像と、ステップS104で抽出された特徴量とを対応付けて記録する。対応付けは、時刻(フレーム番号)と顔の検出位置とで行うとよい。一般的に、オブジェクト特徴量抽出部203が抽出する特徴データ量は、元の顔映像のデータ量より小さい傾向がある。特に、DL技術を用いた特徴量は、よりデータ量が小さい。このため、映像に特徴量を対応付けて記録する方が、映像補正を行わない映像を記録するよりデータ量を抑えることができる。
以上のように、映像記録部113が記録する映像記録時間を重視するためのノイズリダクション処理等の映像補正が、対象オブジェクトの認識精度に悪影響を及ぼすことを未然に防ぐことが可能になる。
なお、ステップS104を省略してもよい。その場合、オブジェクト特徴量抽出部203は、特徴量抽出を行わない。ステップS103において、オブジェクト検出部202は、オブジェクトが検出された場合には、ステップS105に進む。ステップS105では、映像補正部111は、ステップS101で取得された入力映像に対して補正する。次に、ステップS109では、映像記録部113は、ステップS102で検出されたオブジェクトの位置と大きさに基づき、ステップS101で取得された入力映像の中の対象オブジェクトを切り出し、その切り出したオブジェクトの映像を所定の大きさに正規化する。そして、映像記録部113は、その正規化された対象オブジェクトの映像と、ステップS105で補正された映像とを対応付けて記録する。対象オブジェクトの映像は、抽出される特徴量よりデータ量が大きくなる可能性があるが、以下のような利点がある。すなわち、特徴量抽出処理が新しいアルゴリズムになって処理の内容が変わった場合にも、対応可能になる点である。ステップS104で特徴量を抽出した場合、その後は、元の映像情報を保持しないので、特徴量抽出が変更になっても、やり直すことができず、オブジェクト照合部204で比較を行うためには、比較可能な特徴量となるように変更前の処理を行う必要がある。一方、対象オブジェクトの映像を切り出すことにより、ステップS109の録画後により精度の向上した特徴量抽出処理が実装された場合にも、対応可能になる。対象オブジェクトの映像を記録すると言っても、元々の高解像度な映像を残すのではなく、オブジェクトの領域だけを所定のサイズに正規化したものだけを記録するので、データ量は比較的小さくすることができる。
(第2の実施形態)
第1の実施形態では、映像記録装置102は、ステップS103でオブジェクトが検出されるたびに、ステップS104で特徴量抽出を行い、ステップS109で記録用の映像と特徴量とを対応付けて記録する例を示した。それに対して、本発明の第2の実施形態では、以下の点が異なる。すなわち、映像記録装置102は、全フレームで、検出されたオブジェクトに対して特徴量抽出するのではなく、予め定めた基準により、特徴量抽出が必要な場合のみ、特徴量抽出を行い、映像を特徴量と対応付けて記録する。
以下、具体的に説明する。なお、重複を避けるため、以下の説明において、第2の実施形態が第1の実施形態と同じ部分は、説明を省略する。第2の実施形態の構成は、第1の実施形態の構成と同じであるので、説明を省略する。第2の実施形態が第1の実施形態と異なる点は、オブジェクト認識部112の構成およびその処理である。以下、第2の実施形態が第1の実施形態と異なる点を中心に説明を行う。
図5は、本実施形態によるオブジェクト認識部112の一構成例を示すブロック図である。オブジェクト認識部112は、動体検出部201、オブジェクト検出部202、オブジェクト特徴量抽出部203、オブジェクト照合部204、およびオブジェクト特徴量抽出判定部205を有する。図5のオブジェクト認識部112は、図3のオブジェクト認識部112に対して、オブジェクト特徴量抽出判定部205が追加されている。このオブジェクト特徴量抽出判定部225で行われる処理については、後で詳しく説明する。
図6は、本実施形態による映像記録装置102の映像記録方法の一例を示すフローチャートである。図6は、図4に対して、ステップS201およびS202を追加したものである。以下、図6が図4と異なる点を中心に説明する。
まず、ステップS101では、映像取得部110は、監視カメラ101により撮影された映像を入力し、その入力映像を取得する。次に、ステップS102では、オブジェクト検出部202は、映像取得部110により取得された入力映像に対して、対象となるオブジェクトの検出を行う。次に、ステップS103では、オブジェクト検出部202は、対象となるオブジェクトが検出された場合(S103でYesの場合)、ステップS201に進み、対象となるオブジェクトが検出されなかった場合(S103でNoの場合)、ステップS106に進む。
ステップS201では、オブジェクト特徴量抽出判定部205は、特徴量を抽出する必要があるか否かを判定する。次に、ステップS202では、オブジェクト特徴量抽出判定部205は、特徴量を抽出する必要がある場合(S202でYesの場合)、ステップS104に進み、特徴量を抽出する必要がない場合(S202でNoの場合)、ステップS105に進む。
ステップS104では、オブジェクト特徴量抽出部203は、オブジェクトの個体を判別するための特徴量を抽出し、ステップS105に進む。ステップS105では、映像補正部111は、映像取得部110により取得された入力映像の補正を行い、ステップS109に進む。その他の処理は、第1の実施形態と同じである。
次に、ステップS201について説明する。ステップS201では、オブジェクト特徴量抽出判定部205は、対象となるオブジェクトの映像の補正後に特徴量を抽出した場合に、対象となるオブジェクトを正しく認識できないか否かを判定する。ステップS202において、オブジェクト特徴量抽出判定部205は、補正後の映像から特徴量を抽出すると正しく認識されないと判定した場合、ステップS104に進む。ステップS104では、オブジェクト特徴量抽出部203は、オブジェクトの特徴量を抽出し、ステップS105では、映像補正部111は、映像の補正を行う。その後、ステップS109では、映像記録部113は、ステップS105で補正された映像と、ステップS104で抽出された特徴量とを対応付けて記録する。この場合の処理は、第1の実施形態と同じである。
また、ステップS202において、オブジェクト特徴量抽出判定部205が、補正後の映像から特徴量を抽出しても、正しく認識されると判定した場合、映像記録装置102は、ステップS104の特徴量抽出処理を行わずに、ステップS105の映像補正を行う。ステップS109では、映像記録部113は、ステップS105で補正された映像を記録する。このようにすることで、必要のない特徴量が映像に対応付けられて記録されることを抑止することができる。映像記録部113の記録後、オブジェクト特徴量抽出部203は映像記録部113に記録された映像のオブジェクトの特徴量を抽出し、オブジェクト照合部204はそれらの特徴量同士を比較し、それらのオブジェクトが同一であるか否かの判定を行うことができる。
次に、ステップS201の判定方法の詳細を説明する。ステップS102では、オブジェクト検出部202は、オブジェクトを検出し、検出したオブジェクトの尤度を算出する。ステップS201では、オブジェクト特徴量抽出判定部205は、その検出されたオブジェクトの尤度を基に、特徴量を抽出する必要があるか否かを判定する。検出されたオブジェクトの尤度と、個体識別用の特徴量の関係は、予め所定のデータセットで計測しておくことにより、求めることができる。一般的に、検出されたオブジェクトの尤度は、映像の状態、もしくはオブジェクトの状態に応じて決まる。すなわち、画質が良い場合や、オブジェクトが想定している状態(人物の顔なら、正面を向いている、正面条件が良い、など)になっている場合、検出されたオブジェクトの尤度は、高くなる傾向がある。これは、オブジェクト検出の学習データがそのような状態の映像を多く含むためである。オブジェクト個体識別用の特徴量も、オブジェクトが検出されていることが前提であるので、同様の学習データを多く用いている。すなわち、検出されたオブジェクトの尤度が高ければ、個体識別用の特徴ベクトルにとって、好適な状態と言え、オブジェクト照合部204が正しく照合を行う確率が高まる。オブジェクト特徴量抽出判定部205は、検出されたオブジェクトの尤度が閾値以上である場合、特徴量抽出の必要がないと判定し、ステップS105に進む。この閾値は、前述のように、所定のデータセットで事前に定めておくことができる。
なお、ステップS201では、オブジェクト特徴量抽出判定部205は、ステップS102で得られるオブジェクトの尤度を用いずに、特徴量を抽出する必要があるか否かを判定してもよい。ステップS201では、映像補正部111は、映像取得部110により取得された入力映像を補正し、オブジェクト検出部202は、その補正された映像からオブジェクトを検出し、その尤度を算出する。オブジェクト特徴量抽出判定部205は、その尤度を用いて、特徴量抽出が必要か否かを判定することができる。このようにすれば、映像補正とオブジェクト検出の分、処理時間は増えるものの、映像補正の影響を加味した状態で、より確実に特徴量抽出が必要かどうかの判定を行うことができる。
なお、ステップS104では、オブジェクト特徴量抽出部203は、第1の実施形態と同様に、特徴量を抽出せず、対象オブジェクトが含まれる映像を切り出し、所定の大きさに正規化した映像を生成してもよい。その場合、映像記録部113は、記録用の映像を、対象オブジェクトの映像と共に記録する。このようにすることで、将来的な特徴量抽出処理のアップデートに対応することが可能になる。
(その他の実施形態)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
なお、上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
101 監視カメラ、102 映像記録装置、103 映像出力装置、110 映像取得部、111 映像補正部、112 オブジェクト認識部、113 映像記録部、201 動体検出部、202 オブジェクト検出部、203 オブジェクト特徴量抽出部、204 オブジェクト照合部、205 オブジェクト特徴量抽出判定部

Claims (10)

  1. 入力映像からオブジェクトを検出するオブジェクト検出手段と、
    前記入力映像から、前記オブジェクト検出手段により検出されたオブジェクトの特徴量を抽出する特徴量抽出手段と、
    前記入力映像を補正する補正手段と、
    前記オブジェクト検出手段によりオブジェクトが検出された場合、前記補正手段により補正された映像と、前記特徴量抽出手段により抽出された特徴量とを対応付けて記録する記録手段と
    を有することを特徴とする映像記録装置。
  2. 前記オブジェクト検出手段によりオブジェクトが検出された場合、前記特徴量を抽出するか否かを判定する判定手段をさらに有し、
    前記記録手段は、
    前記判定手段により特徴量を抽出すると判定された場合には、前記補正手段により補正された映像と、前記特徴量抽出手段により抽出された特徴量とを対応付けて記録し、
    前記判定手段により特徴量を抽出しないと判定された場合には、前記補正手段により補正された映像を記録することを特徴とする請求項1に記載の映像記録装置。
  3. 前記オブジェクト検出手段は、前記検出したオブジェクトの尤度を算出し、
    前記判定手段は、前記オブジェクトの尤度を基に、前記特徴量を抽出するか否かを判定することを特徴とする請求項2に記載の映像記録装置。
  4. 入力映像からオブジェクトを検出するオブジェクト検出手段と、
    前記入力映像を補正する補正手段と、
    前記オブジェクト検出手段によりオブジェクトが検出された場合、前記補正手段により補正された映像と、前記入力映像の中の前記オブジェクト検出手段により検出されたオブジェクトの映像とを対応付けて記録する記録手段と
    を有することを特徴とする映像記録装置。
  5. 前記オブジェクト検出手段によりオブジェクトが検出されなかった場合、前記補正手段により補正された映像から動体を検出する動体検出手段をさらに有し、
    前記記録手段は、前記オブジェクト検出手段によりオブジェクトが検出されなかった場合、前記動体検出手段により動体が検出された場合には前記補正手段により補正された映像を記録し、前記動体検出手段により動体が検出されなかった場合には前記補正手段により補正された映像を記録しないことを特徴とする請求項1〜4のいずれか1項に記載の映像記録装置。
  6. 前記補正手段は、ノイズリダクション処理を行うことを特徴とする請求項1〜5のいずれか1項に記載の映像記録装置。
  7. 前記オブジェクトは、人物の顔であることを特徴とする請求項1〜6のいずれか1項に記載の映像記録装置。
  8. 入力映像からオブジェクトを検出するステップと、
    前記オブジェクトが検出された場合、前記入力映像から前記検出されたオブジェクトの特徴量を抽出し、前記入力映像を補正し、前記補正された映像と、前記抽出された特徴量とを対応付けて記録するステップと
    を有することを特徴とする映像記録方法。
  9. 入力映像からオブジェクトを検出するステップと、
    前記オブジェクトが検出された場合、前記入力映像を補正し、前記補正された映像と、前記入力映像の中の前記検出されたオブジェクトの映像とを対応付けて記録するステップと
    を有することを特徴とする映像記録方法。
  10. コンピュータを、請求項1〜7のいずれか1項に記載された映像記録装置の各手段として機能させるためのプログラム。
JP2018056092A 2018-03-23 2018-03-23 映像記録装置、映像記録方法およびプログラム Active JP7118679B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018056092A JP7118679B2 (ja) 2018-03-23 2018-03-23 映像記録装置、映像記録方法およびプログラム
US16/353,910 US10846548B2 (en) 2018-03-23 2019-03-14 Video recording apparatus and method therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018056092A JP7118679B2 (ja) 2018-03-23 2018-03-23 映像記録装置、映像記録方法およびプログラム

Publications (3)

Publication Number Publication Date
JP2019169843A true JP2019169843A (ja) 2019-10-03
JP2019169843A5 JP2019169843A5 (ja) 2021-05-06
JP7118679B2 JP7118679B2 (ja) 2022-08-16

Family

ID=67985331

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018056092A Active JP7118679B2 (ja) 2018-03-23 2018-03-23 映像記録装置、映像記録方法およびプログラム

Country Status (2)

Country Link
US (1) US10846548B2 (ja)
JP (1) JP7118679B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11587321B2 (en) * 2020-04-13 2023-02-21 Plantronics, Inc. Enhanced person detection using face recognition and reinforced, segmented field inferencing

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009171296A (ja) * 2008-01-17 2009-07-30 Hitachi Ltd 映像ネットワークシステム及び映像データ管理方法
JP2009212935A (ja) * 2008-03-05 2009-09-17 Omron Corp 画像処理装置および方法、並びにプログラム
JP2013520722A (ja) * 2010-02-19 2013-06-06 パナソニック株式会社 ビデオ監視システム
WO2015137190A1 (ja) * 2014-03-14 2015-09-17 株式会社日立国際電気 映像監視支援装置、映像監視支援方法、および記憶媒体
JP2018005555A (ja) * 2016-07-01 2018-01-11 ソニー株式会社 画像処理装置、情報処理装置、および方法、並びにプログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4822396B2 (ja) * 2005-03-29 2011-11-24 株式会社メガチップス 画像強調装置
JP5165493B2 (ja) 2008-08-01 2013-03-21 シャープ株式会社 現像装置及びこれを用いる画像形成装置
NL2012399B1 (en) * 2014-03-11 2015-11-26 De Vroome Poort B V Autonomous camera system for capturing sporting events.
CN206585662U (zh) * 2016-03-15 2017-10-24 Bot家庭自动化公司 音频/视频记录和通信门铃

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009171296A (ja) * 2008-01-17 2009-07-30 Hitachi Ltd 映像ネットワークシステム及び映像データ管理方法
JP2009212935A (ja) * 2008-03-05 2009-09-17 Omron Corp 画像処理装置および方法、並びにプログラム
JP2013520722A (ja) * 2010-02-19 2013-06-06 パナソニック株式会社 ビデオ監視システム
WO2015137190A1 (ja) * 2014-03-14 2015-09-17 株式会社日立国際電気 映像監視支援装置、映像監視支援方法、および記憶媒体
JP2018005555A (ja) * 2016-07-01 2018-01-11 ソニー株式会社 画像処理装置、情報処理装置、および方法、並びにプログラム

Also Published As

Publication number Publication date
JP7118679B2 (ja) 2022-08-16
US10846548B2 (en) 2020-11-24
US20190294906A1 (en) 2019-09-26

Similar Documents

Publication Publication Date Title
US20210067686A1 (en) Detecting facial expressions in digital images
JP5567853B2 (ja) 画像認識装置および方法
JP6204199B2 (ja) 画像品質の評価
US8675065B2 (en) Video monitoring system
US8320642B2 (en) Face collation apparatus
US20090274364A1 (en) Apparatus and methods for detecting adult videos
KR101781358B1 (ko) 디지털 영상 내의 얼굴 인식을 통한 개인 식별 시스템 및 방법
CN109063611B (zh) 一种基于视频语义的人脸识别结果处理方法和装置
JP2004199669A (ja) 顔検出
US8264327B2 (en) Authentication apparatus, image sensing apparatus, authentication method and program therefor
JP7151875B2 (ja) 画像処理装置、画像処理方法、およびプログラム
KR101372860B1 (ko) 영상 검색 시스템 및 영상 분석 서버
JP2018124689A (ja) 移動物体検出装置、移動物体検出システム、及び移動物体検出方法
KR20200119425A (ko) 도메인 적응 기반 객체 인식 장치 및 그 방법
JP2022003526A (ja) 情報処理装置、検出システム、情報処理方法、及びプログラム
CN113837006A (zh) 一种人脸识别方法、装置、存储介质及电子设备
JP7118679B2 (ja) 映像記録装置、映像記録方法およびプログラム
KR20210055567A (ko) 영상의 유사도 분석을 이용한 위치 측정 시스템 및 그 방법
US10140503B2 (en) Subject tracking apparatus, control method, image processing apparatus, and image pickup apparatus
JP7337541B2 (ja) 情報処理装置、情報処理方法及びプログラム
Ashok et al. Deepfake Detection Using XceptionNet
KR20210031444A (ko) 데이터 프로그래밍에 기반한 레이블링 모델 생성 방법 및 장치
Júnior et al. A prnu-based method to expose video device compositions in open-set setups
JP2021081978A (ja) 画像処理装置、画像処理方法およびプログラム
KR102530240B1 (ko) 비접촉 ppg 기반의 얼굴 영상 위변조 판별 방법 및 분석장치

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210319

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210319

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220120

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220201

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220322

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220705

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220803

R151 Written notification of patent or utility model registration

Ref document number: 7118679

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151