JP2020017301A - 画像処理方法、画像処理システムおよび画像処理端末 - Google Patents

画像処理方法、画像処理システムおよび画像処理端末 Download PDF

Info

Publication number
JP2020017301A
JP2020017301A JP2019183844A JP2019183844A JP2020017301A JP 2020017301 A JP2020017301 A JP 2020017301A JP 2019183844 A JP2019183844 A JP 2019183844A JP 2019183844 A JP2019183844 A JP 2019183844A JP 2020017301 A JP2020017301 A JP 2020017301A
Authority
JP
Japan
Prior art keywords
image
unit
image processing
server
terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019183844A
Other languages
English (en)
Other versions
JP7001086B2 (ja
Inventor
尚司 谷内田
Shoji Yanaida
尚司 谷内田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JP2020017301A publication Critical patent/JP2020017301A/ja
Priority to JP2021210045A priority Critical patent/JP2022048147A/ja
Application granted granted Critical
Publication of JP7001086B2 publication Critical patent/JP7001086B2/ja
Priority to JP2023201188A priority patent/JP2024019238A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/017Detecting movement of traffic to be counted or controlled identifying vehicles
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00132Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture in a digital photofinishing system, i.e. a system where digital photographic images undergo typical photofinishing processing, e.g. printing ordering
    • H04N1/00169Digital image input
    • H04N1/00177Digital image input from a user terminal, e.g. personal computer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/62Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625License plates
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Alarm Systems (AREA)
  • Image Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

【課題】 業務支援を適切に行うことができる。【解決手段】 本発明の一態様に係る画像処理システムは、画像と当該画像の識別情報を記録する画像蓄積手段と、前記画像の識別情報と前記画像の一部画像とをサーバに送信する送信手段と、前記サーバから受信した識別情報に基づく付加情報を出力する出力手段と、を備える端末と、前記端末から受信した前記一部画像を、蓄積された候補画像と照合する画像照合手段と、照合された画像に対応する前記識別情報を前記端末に送信する送信手段と、を備えるサーバと、を含む。【選択図】 図17

Description

本発明は、画像処理技術に関する。
近年、犯罪の抑止効果や犯罪発生時の状況を確認できるように監視カメラがいたるところに設置されるようになってきた。しかし、固定式の監視カメラのみでは死角となる範囲が発生するため、死角を容易に補完できるようなウェアラブル監視カメラシステムが提案されている。
特開2006−148842号公報 特許第4104577号公報
上記特許文献1の技術によればウェアラブル監視カメラシステムによりカメラ方向やカメラ位置は着用者の動作により自由に撮影することが可能である。しかし、特許文献2に記載のように、カメラ画像データをセンター側に送信する際には高圧縮符号化によりデータ量の削減が行われるのが通常である。
例えばMPEG2(Moving Picture Experts Group)方式やH.264方式などの画像圧縮方式を利用して監視カメラの画像データ量を削減しイーサネット(登録商標)や無線等で収集する方式が知られている。しかしながら、画像圧縮処理により圧縮歪等が発生するので、業務に必要となる鮮明な画像データが得られない場合がある。そのため、適切に業務を支援することができない場合がある。
本発明の目的の1つは、業務支援を適切に行うことのできる画像処理システム、画像処理装置、画像処理方法、及びプログラムを記憶する記録媒体を提供することにある。
かかる目的を達成するため、本発明の一態様に係る画像処理システムは、画像と、当該画像または当該画像の一部画像の識別情報とを記憶する画像蓄積手段と、前記識別情報と前記一部画像とをサーバに送信する送信手段と、前記サーバから受信した識別情報に基づく付加情報を出力する出力手段と、を備える端末と、前記端末から受信した前記一部画像を、蓄積された候補画像と照合する画像照合手段と、照合された画像に対応する前記識別情報を前記端末に送信する送信手段と、を備えるサーバと、を含む。
また、本発明の一態様に係る画像処理システムは、画像と、当該画像または当該画像の一部画像の識別情報とを記憶する画像蓄積手段と、前記画像の識別情報と、前記画像の一部画像とをサーバに送信し、前記サーバから受信した識別情報で識別される前記画像を前記サーバに送信する送信手段と、を備える端末と、前記端末から受信した一部画像を、蓄積された候補画像と照合する画像照合手段と、照合された画像に対応する前記識別情報を前記端末に送信する送信手段と、を備えるサーバと、を含む。
また、本発明の一態様に係る画像処理装置は、撮像手段が撮像した画像の物体領域の大きさを示す値が閾値より大きい場合には当該物体領域の画像を、そうでない場合には当該物体領域を含む所定領域の画像を出力する出力手段を備える。
本発明の一態様に係る画像処理方法は、端末が、画像と、当該画像または当該画像の一部画像の識別情報とを画像蓄積手段に記憶し、前記識別情報と前記一部画像とをサーバに送信し、前記サーバから受信した識別情報に基づく付加情報を出力し、サーバが、前記端末から受信した前記一部画像を、蓄積された候補画像と照合し、照合された画像に対応する前記識別情報を前記端末に送信する。
本発明の一態様に係るコンピュータ読み取り可能な記録媒体は、コンピュータを、撮像手段が撮像した画像の物体領域の大きさを示す値が閾値より大きい場合には当該物体領域の画像を、そうでない場合には当該物体領域を含む所定領域の画像を出力する出力手段と、して動作させるプログラムを記憶する。
本発明によれば、業務支援を適切に行うことのできる画像処理システム、画像処理装置、画像処理方法、及びプログラムを記憶する記録媒体が提供される。
図1は本発明の第1の実施形態の画像処理システムの一構成を示している。 図2は本発明の第1の実施形態の画像処理A部の一構成を示している。 図3は本発明の第1の実施形態の動作フローの一例を示している。 図4は本発明の第1の実施形態の動作フローの一例を示している。 図5は本発明の第2の実施形態の画像処理システムの一構成を示している。 図6は本発明の第2の実施形態の動作フローの一例を示している。 図7は本発明の第3の実施形態の画像処理システムの一構成を示している。 図8は本発明の第3の実施形態の画像表示の一例を示している。 図9は本発明の第3の実施形態の動作フローの一例を示している。 図10は本発明の第4の実施形態の画像処理システムの一構成を示している。 図11は本発明の第5の実施形態の画像処理システムの一構成を示している。 図12は本発明の第6の実施形態の画像処理システムの一構成を示している。 図13は本発明の第7の実施形態の画像処理システムの一構成を示している。 図14は本発明の第8の実施形態の画像処理システムの一構成を示している。 図15は本発明の第9の実施形態の画像処理システムの一構成を示している。 図16は本発明の第1及び第12の実施形態等の画像切り出し方法の一例を示している。 図17は本発明の第10の実施形態の画像処理システムの一構成を示している。 図18は本発明の第10の実施形態の動作フローの一例を示している。 図19は本発明の第11の実施形態の画像処理システムの一構成を示している。 図20は本発明の第11の実施形態の動作フローの一例を示している。 図21は本発明の第12の実施形態の端末の一構成を示している。 図22は本発明の第12の実施形態の画像切り出し方法の一例を示している。
以下、本発明の実施の形態について、図面を用いて説明する。すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。なお、以下の説明における装置等を構成する各部は、論理回路等のハードウェアで構成される。また、各部は、コンピュータの制御部、メモリ、メモリにロードされたプログラム、プログラムを格納するハードディスク等の記憶ユニット、ネットワーク接続用インターフェース等からなり、ハードウェアとソフトウェアの任意の組合せによって実現されてもよい。また特に断りのない限り、その実現方法、装置は限定されない。
<第1の実施形態>
図1は、本発明の第1の実施の形態における、画像処理システム全体構成の一例を示した図である。
画像処理システムは、第一の監視情報端末部1と第一の監視サーバ部2とを含む。第一の監視情報端末部1と第一の監視サーバ部2とは、有線もしくは無線による通信C1によって接続される。
第一の監視情報端末部1は、カメラ部11と、画像処理A部12と、画像蓄積部13と、送受信部14とを備える。
カメラ部11によって撮影された画像データA11は、画像処理A部12に入力される。
画像処理A部12は、予め設定された検出用パラメータに基づいて、画像データA11に物体が含まれている場合に当該物体を含む物体領域を検出する。また、画像処理A部12は、当該物体領域の画像を切り出す機能を有する。切り出された画像を一部画像データA13とも呼ぶ。画像処理A部12が検出する物体とは、例えば人物の顔や鞄や車などである。
画像処理A部12は、カメラ部11から入力されたフレーム番号等の画像ID(IDentification)と一部画像データA13とを、送受信A部14に出力する。
画像処理A部12は、画像データA11を画像IDと共に画像蓄積部13に記録する。画像データA11と画像IDとの組み合わせを記録用データA12とも呼ぶ。画像IDはフレーム番号でも良いが、画面上に複数物体が含まれている場合もあるため、物体領域ごとに付与されたIDでも良い。その場合IDは、物体の位置情報(座標情報)や物体のサイズ等でもよい。
なお記録用データA12に対しては、画像蓄積部13の記録容量や記録時間との関係に基づき、動画像圧縮方式を利用した画像圧縮が行われてもよい。動画像圧縮方式は、例えば、MPEG−2符号化方式やMPEG−4 AVC(Advanced Video Coding)方式等の、フレーム間差分を利用した符号化方式である。MPEG−2符号化方式は、ISO(International Organization for Standardization)/IEC(International Electrotechnical Commission)13818−2である。MPEG−4 AVC方式は、ISO/IEC14496−10である。
画像処理A部12は、第一の監視サーバ部2から画像データの要求があった場合には、要求のあった画像データを、送受信A部14を介して第一の監視サーバ部2に送信する。詳細な動作については後述する。
送受信A部14は、画像処理A部12から出力された一部画像データA13と画像IDとを第一の監視サーバ部2に送信する。また、送受信A部14は、画像データを第一の監視サーバ部2に送信する。
第一の監視サーバ部2は、送受信B部21と、画像処理B部22と、データベース部23と、画像表示部24とを備える。
第一の監視情報端末部1から入力された一部画像データA13及び画像IDは、画像処理B部22に入力される。
画像処理B部22は、一部画像データA13とデータベース部23に登録されている画像データとの照合作業を行う。画像照合方法は照合したい物体に合わせて適宜設定される。
一部画像データA13がデータベース部23に含まれる画像と照合された場合、画像処理B部22は、送受信B部21を介して、第一の監視情報端末部1に当該画像IDが記録されている画像データの要求を行う。具体的には、画像処理B部22は、該当する画像IDを抽出して第一の監視情報端末部1に送信しても良いし、画像IDが含まれる画像データを第一の監視情報端末部1に送信しても良い。この場合、例えば、画像処理B部22は、画像データが画像蓄積部13に非圧縮もしくはフレーム内圧縮方式で記録されている場合には該当フレーム画像データを送信しても良い。また、画像処理B部22は、画像データが画像蓄積部13に動画像圧縮方式で記録されている場合には当該画像IDが含まれるフレーム画像データが含まれる画像ストリームを送信しても良い。なお、フレーム内圧縮方式は例えばISO/IEC10918−1(JPEG(Joint Photographic Experts Group)圧縮方式)である。また、例えば、前記動画像圧縮方式で送信される画像ストリームとは、MPEG−2符号化方式におけるGOP(Group of Picture)単位である。
画像処理B部22は、第一の監視サーバ部2に送信された画像データに、照合された物体画像の照合結果に関する情報を重畳して画像表示部24に表示する。照合結果に関する情報の重畳表示について説明する。例えば物体が人間の顔であるとすれば、画像処理B部22は、図8に示すように、照合された顔領域に対応する位置に枠を重畳表示させる。重畳して表示させるものは枠である必要はなく、また、枠に加えて画像IDなども重畳され表示されても良い。
次に、本実施の形態の動作例を説明する。画像処理A部12は、図2に示すような画像IO(Input Output)部121、CPU(Central Processing Unit)部122、メモリ部123、及び外部IO部124によって構成される。CPU部122は、図3及び図4に示すフロー図のように動作する。
画像処理A部12の動作を、図2、図3、及び図4を利用して詳細に説明する。図3は例えば、通常監視状態における動作を表すフローである。CPU部122は、電源投入時に各パラメータを初期化し(ステップS1)、カメラ部11からの画像入力を受け付ける(ステップS2)。
CPU部122は、画像IO部121からの画像入力が無くなると処理を終了する(ステップS3においてYES)。一方、画像入力がある場合(ステップS3においてNO)、CPU部122はフレーム番号(FrameNum)をカウントし(ステップS4)、物体検出用のパラメータをメモリ部123から読み出す(ステップS5)。CPU部122は、読みだしたパラメータに基づいて画像入力データから物体を検出する(ステップS6)。
物体が検出された場合(ステップS7においてYES)、CPU部122は検出された物体の画像内の座標位置情報(ObjectCoord)と検出された物体を包含する画像データ領域(ObjectXsize、ObjectYsize)とを抽出する(ステップS8)。また、CPU部122は、ユニークな物体検出番号(ObjectNum)を付加する(ステップS9)。
CPU部122は、物体検出番号、座標位置情報、及び画像データ領域(一部画像データA13)をひも付けし、テーブルにより管理する。CPU部122は、更に物体検出番号とフレーム番号とから画像IDを計算する(ステップS10)。但し、画像IDは、処理軽減の為、フレーム番号で代用されても構わない。
CPU部122は、画像IDと一部画像データA13を送受信A部14に出力し(ステップS11)、次の物体検出を行う。送受信A部14は、画像IDと一部画像データA13を第一の監視サーバ部2に送信する。
CPU部122は、画像データ領域全体において検出作業を繰り返し、画像データ検出作業が終了すると、フレーム内において付加された画像IDと共に画像符号化を行い(ステップS12)、外部IO部124を介して、画像データを画像蓄積部13に記録する(ステップS13)。
また、第一の監視サーバ部2より画像IDと共に画像データの要求があった場合には、CPU部122は、画像IDを解析し、画像IDからフレーム番号を抽出する(ステップS14)。CPU部122は、当該フレーム番号の画像データが含まれる、蓄積された画像データ(画像ストリーム)を画像蓄積部13から読み出す(ステップS15)。CPU部122は、送受信A部14に画像データ(画像ストリーム)を出力する(ステップS16)。送受信A部14は、画像データを第一の監視サーバ部2に送信する。
これらの動作により第一の監視情報端末部1と第一の監視サーバ部2間で送受信するデータのサイズを少なくしつつ、画像照合を行う事が出来る画質を保つことができる。さらに、画像照合後に、第一監視サーバ部2側の監視員が、照合結果の画像全体を監視する事が出来る。
次に、図1に示す画像処理A部12の物体検出動作に関して、図16を使用して詳細に説明する。例えば監視対象が人物である場合には、監視対象が手配犯であれば、手配写真と顔照合を行う事が望ましい。そのため、検出する顔画像のサイズは、手配写真と十分に照合できる程度のサイズであることが望ましい。
そこで、例えば図16の(1)のように、人の顔の目の間の距離W1が、あらかじめ定めた画素数TH1より大きく且つTH2より小さい場合には、画像処理A部12は、顔の輪郭より大きめのサイズの画像データ領域を切り出す。この場合には、顔画像のサイズが顔照合できる程度のサイズである可能性が高いためである。
一方、図16の(2)のように、人の顔の目の間の距離W2が予め定めた画素数TH1より小さい場合には、画像処理A部12は、体全体の輪郭より大きめのサイズの画像データ領域を切り出す。顔画像のサイズが顔照合を行うには十分な大きさではない可能性が高いため、対象全体の画像を用いて画像照合を実行できるようにするためである。
但し、図16の(1)のように、顔のサイズは閾値内に入っているものの、人物の顔特徴が十分に取得できない可能性がある場合には、画像処理A部12は、(2)のように体全体の輪郭より大きめのサイズに切り出しても良い。このような場合には、人物が眼鏡を掛けていたりマスクをしていたりする場合がある。
また、他の例として、図16の(3)のように、対象物体が自動車である場合を説明する。監視対象が手配車両であると仮定すると、ナンバープレート領域を検出し、そのナンバープレートが読みとれるか否かが重要となる。そのため、画像処理A部12は、検出したナンバープレートの幅W3が、あらかじめ定めた画素数TH1より大きく且つTH2より小さい場合には、ナンバープレートの領域を、画像データ領域として切り出す。ナンバープレートの読み出しが可能である可能性が高いためである。
これに対し、図16の(4)のように、ナンバープレートの幅W4が、あらかじめ定めた画素数TH1より小さい場合には、画像処理A部12は、車全体の輪郭より大きめのサイズの画像データ領域を切り出し、監視サーバに送出する。
このような画像の切り出しにより、無駄な画像領域を第一の監視サーバ部2に送信しない様にする事によって、通信データサイズを少なくすることが可能になっている。
本実施の形態によれば、第一の監視情報端末部1と第一の監視サーバ部2との間で送受信されるデータサイズを少なくしつつ、画像照合を行う事が出来る画質を保つことができる。さらに、画像照合後に、第一監視サーバ部2側の監視員が、照合結果の画像全体を監視する事が出来る。そのため、画像処理システムは、適切に業務支援を行うことができる。
なお、上述の記載では、業務として監視業務の説明をしたが、業務は監視業務に限られない。例えば、本システムは、接客業務、及び保守点検業務等にも活用できる。そのため、他の業務においては、監視情報端末部、監視サーバ部は、それぞれ、単に端末、サーバと呼んでも良い。また、端末は、監視員や接客員等に保持される。ここで、保持については、帽子や衣服などの着衣等と一体となって着用される場合(ウェアラブル等)や、手や他の器具を介して持たれることも含まれる。なお、保持される端末は、いわゆるスカウタとよばれるものでもよい。スカウタとは、視界の一部または全部に半透明な映像を表示するメガネ型ヘッドマウントディスプレイと、目線カメラとを組み合わせるウェアラブルコンピュータである。スカウタは、例えば、映像出力や他の機器との通信を行う小型コンピュータで形成される。スカウタは、専用のカメラ付きメガネフレームや、マイク及びイヤホンなどの音声機器と接続される場合、監視業務のみならず、保守点検業務や組み立て業務などの、現場業務を支援することが可能である。以下の実施形態ではこれらの点について再記しないが、特に断りのない限り同様である。
<第2の実施形態>
図5は本発明の第2の実施の形態における画像処理システム全体構成の一例を示した図である。画像処理システムは、第二の監視情報端末部3と、第一の監視サーバ部2又は第二の監視サーバ部4とを含む。
第二の監視情報端末部3と第一の監視サーバ部2又は第二の監視サーバ部4とは、有線もしくは無線による通信C1によって接続される。以降、第二の監視情報端末部3と第二の監視サーバ部4とが通信C1によって接続されているケースを詳細に説明する。第1の実施形態と同様の部分については適宜説明を簡略化する。本実施の形態では、画像表示部15が監視情報端末部3側に含まれている点で第1の実施形態と異なる。
第二の監視情報端末部3は、カメラ部11と、画像処理A部12と、画像蓄積部13と、送受信部14と、画像表示部15とを備える。
カメラ部11において撮影された画像データA11は、画像処理A部12に入力される。画像処理A部12は、第1の実施形態と同様に、予め設定された検出用パラメータを元に、画像データA11において検出された物体を、切り出す。画像処理A部12は、第1の実施形態と同様に、カメラ部11から入力されたフレーム番号等の画像IDと、切り出した物体画像データA13(一部画像データA13)とを、送受信A部14に出力する。
画像処理A部12は、第1の実施形態と同様に、画像データA11と前記画像IDとを、画像蓄積部13に記録する。
送受信A部14は、第1の実施形態と同様に、画像処理A部12から出力された、一部画像データA13と画像IDとを合わせて、第二の監視サーバ部4に送信する。
第二の監視サーバ部4は、送受信B部21と、画像処理B部22と、データベース部23とを備える。
第1の実施形態と同様に、一部画像データA13及び画像IDは、画像処理B部22に入力される。画像処理B部22は、一部画像データA13とデータベース部23に登録されている画像データとの照合作業を行う。
第1の実施形態と同様に、画像処理B部22は、一部画像A13がデータベース部23の画像と照合された場合には、照合された画像に関する画像IDを抽出し、送受信B部21を介して、第二の監視情報端末部3に画像IDを送信する。
第二の監視情報端末部3の画像処理A部12は、画像蓄積部13を参照し、第二の監視情報端末部3から取得した画像IDに関する画像データに、物体画像の照合結果に関する情報を重畳することによって得られる画像データA14を、画像表示部15に表示する。具体的には、例えば、画像処理A部12は、画像IDをもとに、上述のフレーム番号(FrameNum)、座標位置情報(ObjectCoord)、及び画像データ領域(ObjectXsize、ObjectYsize)を抽出する(図6のステップS21)。次に、画像処理A部12は、画像蓄積部13を参照し、そして、抽出したフレーム番号の画像ストリームを読み出す(図6のステップS22)。次に、画像処理A部12は、読み出した画像ストリームの、目的のフレームをデコードし、座標位置情報をもとに、照合した画像領域に、物体画像の照合結果に関する情報を重畳表示する(図6のステップS23)。重畳表示の例は第1の実施形態と同様である。
本実施の形態によれば、第二の監視情報端末部3と第二の監視サーバ部4と間で、通信C1を介して送受信されるデータのサイズを少なくしつつ、画像照合を行う事が出来る画質を十分確保することができる。さらに、本実施の形態によれば、第二の監視サーバ部4にて画像照合が行われた場合、監視情報端末部3にて監視員が照合結果の画像を確認することができるため、照合結果の物体を注意深く監視する事ができる。なお、第二の監視情報端末部3が第一の監視サーバ部2と接続されている場合には、サーバ側で監視している監視員も同様の監視を行える。このように、画像処理システムは、適切に業務支援を行うことができる。
<第3の実施形態>
図7は本発明の第3の実施の形態における、画像処理システムの構成の一例を示した図である。画像処理システムは、第三の監視情報端末部5と、第一の監視サーバ部2又は第二の監視サーバ部4とを含む。
第三の監視情報端末部5と、第一の監視サーバ部2又は第二の監視サーバ部4とは、有線もしくは無線による通信C1によって接続される。以降、第一の監視サーバ部2と接続されているシステムに関して詳細に説明する。上述の実施形態と同様の部分については適宜説明を簡略化する。本実施の形態の監視情報端末部5は、入力部16を備える点で、上述の実施形態と異なる。
第三の監視情報端末部5は、カメラ部11と、画像処理A部12と、画像蓄積部13と、送受信部14と、画像表示部15と、入力部16とを備える。
上述の実施形態と同様に、カメラ部11において撮影された画像データA11は、画像処理A部12に入力される。画像処理A部12は、予め設定された検出用パラメータを元に画像データA11から検出した物体画像を、切り出す。送受信A部14は、画像IDと切り出された物体画像データA13とを、第一の監視サーバ部2に送信する。更に、画像処理A部12は、画像データA11を、画像IDと共に、画像蓄積部13に記録する。また、画像処理A部12は、検出した物体をカメラ入力画像に重畳し、画像表示部15に表示する。この場合、例えば、画像表示部15には、図8に示すように、検出された顔領域に枠が重畳され表示される。さらに、図8に示すように、顔領域の枠の近傍に、当該人物を識別するIDが、重畳され表示されても良い。
入力部16は、例えば、表示画面上のタッチセンサ、十字キー、又は、IDを直接入力できるボタン等として設けられる、情報入力手段である。
入力部16は以下のように用いられる。例えば、物体が人物であるとする。第三の監視情報端末部5を保持する監視員は、例えば、不審な動作をしている人物が画像に写っている場合に、その人物のIDなどの、物体領域を示す情報を、入力部16によって指定する。入力方法は特段限定されない。例えば、図8に示すように、顔領域にIDを示す枠が重畳表示され、当該枠を選択することによって、人物のIDが選択され入力されても良い。
IDが入力されると、第三の監視情報端末部5は、当該IDを、そのIDが他のIDと区別可能なように、第一の監視サーバ部2に送信する。第一の監視サーバ部2は、他の処理より優先して、本IDで識別される人物の顔画像が、データベース部23に登録されている顔画像と一致するか否かを照合する。その顔画像は、登録されていない顔画像であった場合には、要注意人物としてデータベース部23に追加登録されても良い。
図2、3、9を用いて本実施の形態の動作について説明する。画像処理A部12の構成は、上述のように図2に示される通りである。ステップS10までの説明は、図3と同様であるため、省略する。
次に、CPU部122は、検出した物体をカメラ入力画像に重畳し、画像表示部15に表示する(ステップS31)。第三の監視情報端末部5の操作者は、注目する物体が映像中に存在する場合に、入力部16を介して、物体のIDを入力又は選択する(ステップS32においてYES)。これにより、CPU部122は、当該IDに注目物体フラグを付加して、そして、画像IDを計算する(ステップS33)。その後、フローは図3のステップS11に進む。
第一の監視サーバ部2は、他の処理より優先して、画像IDで識別される物体の画像が、データベース部23に登録されている画像であるか否かを照合する。物体の画像が登録されていない画像であった場合には、当該画像は、要注意対象としてデータベース部23に追加登録されても良い。
本実施の形態によれば、監視情報端末部3は、監視したい対象を選択することによって、優先的に照合結果を得ることができる。なお、第三の監視情報端末部5が第一の監視サーバ部2と接続されている場合には、サーバ側で監視している監視員も監視ができる。このように、画像処理システムは、適切に業務支援を行うことができる。
<第4の実施形態>
図10は本発明の第4の実施の形態における、画像処理システムの構成の一例を示した図である。画像処理システムは、第四の監視情報端末部7と、第一の監視サーバ部2又は第二の監視サーバ部4とを含む。
第四の監視情報端末部7と第一の監視サーバ部2又は第二の監視サーバ部4とは、有線もしくは無線による通信C1によって接続される。以降、第二の監視サーバ部4と接続されているシステムに関して、詳細に説明する。上述の実施形態と同様の部分については適宜説明を省略する。本実施の形態の監視情報端末部7は、画像処理C部17を備える点で、上述の実施形態と異なる。
第四の監視情報端末部7は、カメラ部11と、画像処理A部12と、画像蓄積部13と、送受信A部14と、画像表示部15と、画像処理C部17とを備える。画像処理C部17以外の機能、及び構成については上述の通りであるから、説明を省略する。
第二の監視サーバ部4は、監視領域内にて監視を強化する物体が予め判明している場合等には、その物体の画像データ又は画像特徴量を、第四の監視情報端末部7に送信する。監視を強化する物体とは、例えば、指名手配犯や凶器となりうる物体等であるが、監視業務以外においては、優良顧客等でも良い。このような物体を以下では単に対象物体とよぶ。このような対象物体は、監視者等によってあらかじめ指定されてデータベース部23に格納される。
第四の監視情報端末部7には、対象物体の画像データ又は画像特徴量が第二の監視サーバ部4から入力され、画像処理C部17に当該特徴量等が記憶される(又は一時記憶される)。
画像処理C部17は、画像処理A部12において検出された物体画像領域データと、記憶されている画像データ又は画像特徴量とを利用して、画像照合を行う。画像照合の結果として、対象物体の画像が照合された場合には、画像表示部15に、対象物体の画像、又は当該画像を他の物体と区別する情報が表示される。
画像処理C部17の構成は、図2に示す、画像処理A部と同じ構成でよい。従って、図2のCPU部122の性能に余裕があれば、画像処理A部12と画像処理C部17とは、同じCPU部において演算を行うことによってもよい。
これにより、監視員等が、要注意物体等の監視を行う事ができる。このように、画像処理システムは、適切に業務支援を行うことができる。
<第5の実施形態>
図11は本発明の第5の実施の形態における、画像処理システムの構成の一例を示した図である。画像処理システムは、第五の監視情報端末部8と、第一の監視サーバ部2又は第二の監視サーバ部4とを含む。
第五の監視情報端末部8と第一の監視サーバ部2又は第二の監視サーバ部4とは、有線又は無線による通信C1によって接続される。以降、第二の監視サーバ部4と接続されているシステムに関して詳細に説明する。上述の実施形態と同様の部分については適宜説明を省略する。本実施の形態の監視情報端末部8は、入力部16と画像処理C部17とを共に備える点で、上述の実施形態と異なる。
第五の監視情報端末部8は、カメラ部11と、画像処理A部12と、画像蓄積部13と、送受信部14と、画像表示部15と、入力部16と、画像処理C部17とを備える。入力部16及び画像処理C部17以外の機能及び構成については、説明を省略する。
入力部16は、上述のような、タッチセンサ、十字キー、又は、IDを直接入力できるようなボタン等の入力手段である。第五の監視情報端末部8を保持する監視員は、不審な動作をしている人物が映像に写っている場合に、その人物のIDを入力部16によって入力する。その場合、第五の監視情報端末部8は、当該IDを、そのIDが他のIDと区別可能なように、第二の監視サーバ部4に送信する。第二の監視サーバ部4は、他の処理より優先して、本IDで識別される人物の顔画像が、データベース部23に登録されている顔画像であるか否かを照合する。その顔画像が、登録されていない顔画像であった場合には、顔画像は、要注意人物として、データベース部23に追加登録されても良い。
第二の監視サーバ部4は、予め対象物体が分かっている場合には、その画像データ又は画像特徴量を、第五の監視情報端末部8に送信しておく。これにより、第五の監視情報端末部8には、対象物体の画像データ又は画像特徴量が第二の監視サーバ部4から入力され、画像処理C部17に特徴量が記憶される(又は一時記憶される)。
画像処理C部17は、画像処理A部12で検出された物体画像領域データと、記憶されている画像データ又は画像特徴量とを利用して、画像照合を行う。画像照合結果として、対象物体の画像が照合された場合には、画像表示部15に、対象物体の画像、又は、当該画像を他の物体と区別する情報が表示される。
このように、入力部16と画像処理C部17とを共に備えることにより、端末側及びサーバ側の両者にて注目対象を指定することができる。そのため、監視員等は、要注意物体の監視をより注意深く行なうことができる。このように、画像処理システムは、適切に業務支援を行うことができる。
<第6の実施形態>
図12は本発明の第6の実施の形態における、画像処理システムの構成の一例を示した図である。画像処理システムは、複数台の第二の監視情報端末部3及び3'と、第一の監視サーバ部2又は第二の監視サーバ部4とを含む。図12及び以下の説明では、2台の第二の監視情報端末部3及び3'が示されるが、第二の監視情報端末部は3台以上でも良い。
図12に示すように、第二の監視情報端末部3及び3'と第一の監視サーバ部2(又は第二の監視サーバ部4)とは、有線もしくは無線による通信ネットワーク9(以下、ネットワーク9とも表記される)を介して接続されている。第二の監視情報端末部3及び3'は、第2の実施形態で構成及び動作を説明しているため、異なる動作の部分のみ詳細に説明する。
第二の監視情報端末部3が検出した物体の一部画像データA13は、ネットワーク9を介して、第一の監視サーバ部2に入力される。第一の監視サーバ部2において、画像処理B部22は、データベース部23の画像データ又は画像特徴量と、一部画像データA13との画像照合を行う。第一の監視サーバ部2は、一部画像データA13がデータベース部23に登録されている画像データと照合された場合、照合された画像データを、第二の監視情報端末部3'に照合画像データとして送信する。
第二の監視情報端末部3'は、画像表示部15に、通信C1を介して送信された画像データを表示する。これにより、別の監視情報端末で検出された画像データが共有される。
本実施の形態によれば、第二の監視情報端末部3'の画像表示部15を見ることができる監視員に対して、データベース部23に登録されている画像データを表示できる。これにより、他の監視員が不審物及び不審者等を発見した場合に、別の監視員と情報共有を行うことが可能となる。このように、画像処理システムは、適切に業務支援を行うことができる。
<第7の実施形態>
図13は本発明の第7の実施の形態における、画像処理システムの構成の一例を示した図である。画像処理システムは、複数台の第三の監視情報端末部5及び5'と、第一の監視サーバ部2又は第二の監視サーバ部4とを含む。図13及び以下の説明では、2台の第三の監視情報端末部5及び5'が示されるが、第三の監視情報端末部は3台以上でも良い。
図13に示すように、第三の監視情報端末部5及び5'と第一の監視サーバ部2(又は第二の監視サーバ部4)とは、有線もしくは無線による通信ネットワーク9を介して接続されている。第三の監視情報端末部5及び5'の構成及び動作は、第3の実施形態において説明されているため、異なる動作の部分のみを詳細に説明する。また、第6の実施形態と同様の動作を行う部分も説明を省略する。
第三の監視情報端末部5を保持する監視員は、上述のように、例えば、物体検出した画像データの中で気になる物体に対して、その物体のIDを入力部16によって入力する。当該IDは、一部画像データA13と共に、ネットワーク9を介して、第一の監視サーバ部2に入力される。第一の監視サーバ部2において、画像処理B部22は、データベース部23の画像データ又は画像特徴量と、一部画像データA13との画像照合を行う。
第一の監視サーバ部2は、一部画像データA13がデータベース部23に登録されている画像データと照合された場合に、その画像データを、第三の監視情報端末部5'に、照合画像データとして、通信C1を介して送信する。
第三の監視情報端末部5'は、画像表示部15に、受信した照合画像データを表示する。これにより、別の監視情報端末で検出された画像データが共有される。
本実施の形態によれば、第三の監視情報端末部5'の画像表示部15を見ることができる監視員に対して、データベース部23に登録されている画像データを表示できる。これにより、他の監視員が不審物及び不審者等を発見した場合に、別の監視員と情報共有を行うことが可能となる。このように、画像処理システムは、適切に業務支援を行うことができる。
<第8の実施形態>
図14は、本発明の第8の実施の形態における、画像処理システムの構成の一例を示した図である。画像処理システムは、複数台の第四の監視情報端末部7及び7'と、第一の監視サーバ部2又は第二の監視サーバ部4とを含む。図14及び以下の説明では、2台の第四の監視情報端末部7及び7'が示されるが、第四の監視情報端末部は3台以上でも良い。
図14に示すように、第四の監視情報端末部7及び7'と、第一の監視サーバ部2(又は第二の監視サーバ部4)とは、有線もしくは無線による通信ネットワーク9を介して接続されている。第四の監視情報端末部7及び7'の構成及び動作は、第4の実施の形態で説明されているため、異なる動作の部分のみ詳細に説明する。また、他の実施形態と同様の動作を行う部分の説明も省略する。
第四の監視情報端末部7には、対象物体の画像データ又は画像特徴量が、第一の監視サーバ部2から入力され、画像処理C部17に特徴量が記憶される。画像処理C部17は、画像処理A部12で検出された物体画像領域データと、記憶されている画像データ又は画像特徴量とを利用して、画像照合を行う。第四の監視情報端末部7'でも同様の処理が行われる。
第四の監視情報端末部7または7'が検出した物体の一部画像データA13は、ネットワーク9を介して、第一の監視サーバ部2に送信される。第一の監視サーバ部2は、その画像データを、他の端末である第四の監視情報端末部7'及び7に送信する。第四の監視情報端末部7'は、画像表示部15に画像データS3を表示する。これにより、別の監視情報端末で検出された画像データが共有される。
本実施の形態によれば、監視対象の画像を共有できる。これにより、他の監視員が不審物及び不審者等を発見した場合に、別の監視員と情報共有を行うことが可能となる。このように、画像処理システムは、適切に業務支援を行うことができる。
<第9の実施形態>
図15は、本発明の第9の実施の形態における、画像処理システムの構成の一例を示した図である。画像処理システムは、複数台の第五の監視情報端末部8及び8'と、第一の監視サーバ部2又は第二の監視サーバ部4とを含む。図15及び以下の説明では2台の第五の監視情報端末部8及び8'が示されるが、第五の監視情報端末部は3台以上でも良い。
第五の監視情報端末部8及び8'と、第一の監視サーバ部2又は第二の監視サーバ部4とは、有線もしくは無線による通信ネットワーク9を介して接続されている。第五の監視情報端末部8及び8'の構成及び動作は、第五の実施の形態において説明されているため、異なる動作の部分のみ詳細に説明する。また、上述の実施形態で説明している部分に関しても、説明を省略する。
第五の監視情報端末部8を保持する監視員は、他の物体と区別したい物体のIDを、入力部16によって入力する。第五の監視情報端末部8は、当該IDを第一の監視サーバ部2に送信する。第一の監視サーバ部2は、他の処理より優先して、本IDで識別される物体の画像が、データベース部23に登録されている画像データであるか否かを照合する。
物体の画像がデータベース部23に登録されている画像データでなかった場合には、その画像データは、第五の監視情報端末部8'に通信C1によって照合画像データとして送信される。第五の監視情報端末部8'は、画像表示部15に画像データS3を表示する。
また、第一の監視サーバ部2は、予め検出したい対象物体が分かっている場合には、その画像データ又は画像特徴量を、第五の監視情報端末部8及び8'に送信しておく。これにより、第五の監視情報端末部8及び8'には、対象物体の画像データ又は画像特徴量が、第一の監視サーバ部2から入力され、画像処理C部17に特徴量が記憶される。
画像処理C部17は、通信C1によって送信された画像データを、対象物体の画像データ又は画像特徴量と照合し、照合された場合には画像表示部15に照合画像を表示する。
本実施の形態によれば、監視対象の画像を共有できる。これにより、他の監視員は、不審物及び不審者等を発見した場合に、別の監視員と情報共有を行うことが可能となる。このように、画像処理システムは、適切に業務支援を行うことができる。
<第10の実施形態>
次に、本発明の第10の実施形態について説明する。図17は本実施の形態の画像処理システムの構成の一例を示している。画像処理システムは、画像蓄積部101と、送信部102と、出力部103とを備える端末10と、画像照合部201と、送信部202とを備えるサーバ20と、を含む。
画像蓄積部101は、画像と、当該画像または当該画像の一部画像のID(すなわち識別情報)とを、関連付けて記憶する。画像は、カメラ等の撮像装置から取得された画像でも良い。端末10は、取得される画像ごと(又は一部画像ごと)に一意のIDを付与して、画像蓄積部101に記録しても良いし、予めIDが付与された画像を取得して、画像蓄積部101に記録しても良い。一部画像とは、画像から切り出された部分画像である。一部画像は、例えば物体が写っている領域(すなわち物体領域)を含む。第1の実施形態で説明したように、端末10は、物体検出機能を備える画像処理部を備えていても良い。なお、IDは、画像自体のフレーム番号によって画像ごとに付与されても良いが、画面上に複数物体が含まれている場合もあるため、物体の位置情報(すなわち座標情報)や物体のサイズ等によって一部画像ごとに付与されても良い。送信部102は、IDと一部画像とをサーバ20に送信する。
出力部103は、サーバ20から受信したIDに基づく付加情報を出力する。出力とは、表示部への画像表示出力、及び、外部装置への出力等である。付加情報とは、サーバ20での照合結果に関する情報である。例えば、付加情報は、サーバ20から受信したIDに対応付けられた画像(又は一部画像)を他の画像(又は他の一部画像)と区別する情報である。例えば、付加情報は、物体が人物の顔画像である場合、図8に示されるように、検出した顔領域に重畳表示される枠である。さらに、図8に示すように、顔領域の枠の近傍に当該人物を識別するIDが重畳表示されても良い。この場合には、IDそのものが付加情報である。また、付加情報は、顔領域が写っている一部画像そのものであっても良い。
画像照合部201は、端末10から受信した一部画像を、候補画像と照合する。候補画像はサーバ20内又は外に設けられた不図示のデータベースに格納されている。送信部202は、照合された画像に関連するIDを端末10に送信する。
本実施の形態の画像処理システムの動作を、図18を用いて説明する。上述のように、端末10の送信部102は、IDと一部画像とをサーバ20に送信する(ステップS101)。サーバ20の画像照合部201は、端末10から受信した一部画像を候補画像と照合する(ステップS102)。照合された場合(ステップS102においてYES)、照合された画像に関連するIDを端末10に送信する(ステップS103)。端末10の出力部103は、サーバ20から受信したIDに基づく付加情報を出力する(ステップS104)。端末10は、全体画像を蓄積していることから、一部画像の照合結果と、当該一部画像とを含む全体の画像との関連性を把握することもできる。従って、例えば、出力部103は、図8に示すように、一部画像(例えば顔画像)と全体の画像(例えば、人物全体の画像、又は背景画像等)とを重畳して、表示部に表示させても良い。
本実施の形態によれば、端末がサーバに送信する画像は一部画像で良いので、通信負荷を低減できる。また、端末自身に画像照合手段を設ける必要はなく、サーバで画像照合を行わせた結果を、端末保持者が確認できる。そのため、本実施の形態の画像処理システムによれば、監視業務や接客業務などの業務支援を適切に行うことができる。
<第11の実施形態>
次に、本発明の第11の実施形態について説明する。図19は本実施の形態の画像処理システムの構成の一例を示している。画像処理システムは、画像蓄積部101と、送信部104とを備える端末10と、画像照合部201と、送信部202とを備えるサーバ20と、を含む。画像蓄積部101、画像照合部201、及び送信部202は、第10の実施形態と同様であるため、説明を省略する。動作の詳細説明は、第10の実施形態と重複するため省略するが、図18に示すステップS105が、第10の実施形態と異なる。
第10の実施形態では、サーバ20において実行された画像照合の処理結果が端末10に提示される。これに対し、サーバ20に一部画像が送信されて画像照合が行われる場合、サーバ20側の監視者等は、一部画像のみならず、一部画像が含まれる画像の全体像を把握したい場合がある。そのため、本実施の形態の送信部104は、一部画像をサーバ20に送信する点は送信部102と同様であるが、その後、さらに、サーバ20から受信したIDで識別される一部画像を含む全体の画像を、サーバ20に送信する(図20のステップS105)。
これにより、サーバ20にて一部画像が候補画像と照合されると、サーバ20は、一部画像を含む全体画像の送信要求を、端末10に対して行うことができるようになる。
<第12の実施形態>
次に、本発明の第12の実施形態について説明する。本実施の形態の画像処理装置100は、出力部1001を備える(図21参照)。
出力部1001は、不図示の撮像部が撮像した画像中の物体領域の大きさを示す値が閾値より大きい場合には当該物体領域の画像を、そうでない場合には当該物体領域を含む所定領域の画像を出力する。出力とは表示部への画像表示出力、及び、外部装置への出力等である。
具体的には、画像処理装置100は例えば以下のように動作する。まず、画像処理装置100は、不図示のカメラ等の撮像部を備え、撮像部によって、画像処理装置100の保持者が、周囲の様子を撮像する。さらに、画像処理装置100は不図示の物体検出部を備え、物体検出部は、撮像部によって撮像された画像から、物体の領域を検出する。物体とは、人物、車、商品、それらの一部、それらへの印字部分、又は、それらに付されたシールなど、である。ここでは物体は人物の顔であると仮定する。
物体検出部が検出する顔画像のサイズは、手配写真等と十分に照合できる程度のサイズであることが望ましい。そこで、例えば図16に示す(1)のように、物体領域の大きさを示す値である、人の顔の目の間の距離W1が、閾値である画素数TH1より大きい場合には、物体検出部は顔画像を切り出す。
一方、図16に示す(2)のように、人の顔の目の間の距離W2が画素数TH1より小さい場合には、物体検出部は、顔画像を含む所定領域である人物の体全体の輪郭のサイズの、画像データ領域を切り出す。
なお、図16に示す(1)のように、顔のサイズは閾値内であるものの、人物の顔特徴が十分に取得できない可能性がある場合には、物体検出部は、図16に示す(2)のように、体全体の輪郭より大きめのサイズの画像データ領域を切り出しても良い。このような場合には、人物が眼鏡を掛けていたりマスクをしていたりする場合がある。
また、他の例として、図16に示す(3)のように、物体が自動車のナンバープレートである場合を説明する。この場合、物体検出部は、検出したナンバープレートの幅W3があらかじめ定めた画素数TH1より大きい場合には、ナンバープレートの領域を画像データ領域として切り出す。一方、図16に示す(4)のように、ナンバープレートの幅W4があらかじめ定めた画素数TH1より小さい場合には、物体検出部は、車全体の輪郭あるいはそれより大きめのサイズの画像データ領域を切り出す。出力部1001はこのように切り出された画像を出力する。
また、他の例として、図22のように物体が商品のロゴである場合を説明する。なお、ロゴとは、商標及びトレードマークに限らず、商品を他と識別可能な、記号、文字、又は図形等である。この場合、物体検出部は、検出したロゴの幅D2があらかじめ定めた画素数より大きい場合には、ロゴの領域を画像データ領域として切り出す。一方、図22のように、ロゴの幅D2があらかじめ定めた画素数より小さい場合には、物体検出部は、商品全体の輪郭又はそれより大きめのサイズの画像データ領域を切り出す。出力部1001はこのように切り出された画像を出力する。
本実施の形態によれば、画像の切り出しにより、無駄な画像領域を出力しない様にする事ができる。そのため、効率的な画像処理が可能となり、適切に業務支援を行うことができる。
本発明は上述の実施形態に限定されない。また以下のようにも記載できるが、それに限られない。
(付記1)
画像と、当該画像または当該画像の一部画像の識別情報とを記憶する画像蓄積手段と、
前記識別情報と前記一部画像とをサーバに送信する送信手段と、
前記サーバから受信した識別情報に基づく付加情報を出力する出力手段と、を備える端末と、
前記端末から受信した前記一部画像を、蓄積された候補画像と照合する画像照合手段と、
照合された画像に対応する前記識別情報を前記端末に送信する送信手段と、を備えるサーバと、
を含む画像処理システム。
(付記2)
前記出力手段は、画像を表示する画像表示手段であり、前記付加情報として、照合結果に関する情報を前記画像に重畳表示する
付記1に記載の画像処理システム。
(付記3)
画像と、当該画像または当該画像の一部画像の識別情報とを記憶する画像蓄積手段と、
前記画像の識別情報と、前記画像の一部画像とをサーバに送信し、前記サーバから受信した識別情報で識別される前記画像を前記サーバに送信する送信手段と、を備える端末と、
前記端末から受信した一部画像を、蓄積された候補画像と照合する画像照合手段と、
照合された画像に対応する前記識別情報を前記端末に送信する送信手段と、を備えるサーバと、
を含む画像処理システム。
(付記4)
前記一部画像は、画像中から検出された物体を含み、
前記識別情報は、前記物体の位置情報または前記画像を取得した時刻情報である
付記1乃至3のいずれかに記載の画像処理システム。
(付記5)
前記端末は、
検出された前記物体領域を指定する入力手段を備え、
前記入力手段で指定された前記物体領域を含む一部画像が前記候補画像と照合されない場合、当該一部画像をデータベースに格納する
付記4に記載の画像処理システム。
(付記6)
前記サーバの前記送信手段は、前記候補画像から指定された画像を前記端末に送信し、
前記端末は、指定された前記画像を受信した場合、当該画像と前記一部画像とを照合する画像処理部を備える
付記4乃至5のいずれかに記載の画像処理システム。
(付記7)
前記端末は複数台存在し、前記端末の少なくとも一台が前記サーバに送信した前記一部画像が前記画像照合手段にて照合された場合、前記サーバは、照合された画像に対応する前記識別情報を前記端末とは別の端末に送信する
付記1乃至6のいずれかに記載の画像処理システム。
(付記8)
撮像手段が撮像した画像の物体領域の大きさを示す値が閾値より大きい場合には当該物体領域の画像を、そうでない場合には当該物体領域を含む所定領域の画像を出力する出力手段を備える
画像処理装置。
(付記9)
前記物体領域は人物の顔領域であり、前記所定領域は当該人物の全体を含む画像である
付記8に記載の画像処理装置。
(付記10)
前記物体領域は車のナンバープレートであり、前記所定領域は当該車の全体を含む画像である
付記8に記載の画像処理装置。
(付記11)
端末が、画像と、当該画像または当該画像の一部画像の識別情報とを記憶し、前記識別情報と前記一部画像とをサーバに送信し、前記サーバから受信した識別情報に基づく付加情報を出力し、
前記サーバが、前記端末から受信した前記一部画像を、蓄積された候補画像と照合し、照合された画像に対応する前記識別情報を前記端末に送信する
画像処理方法。
(付記12)
前記端末は画像を表示する画像表示手段に前記付加情報を出力し、前記付加情報として、照合結果に関する情報を前記画像に重畳表示する
付記11に記載の画像処理方法。
(付記13)
端末が、画像と、当該画像または当該画像の一部画像の識別情報とを記憶し、前記画像の識別情報と、前記画像の一部画像とをサーバに送信し、前記サーバから受信した識別情報で識別される前記画像を前記サーバに送信し、
前記サーバが、前記端末から受信した一部画像を、蓄積された候補画像と照合し、照合された画像に対応する前記識別情報を前記端末に送信する
画像処理方法。
(付記14)
前記一部画像は、画像中から検出された物体を含み、
前記識別情報は、前記物体の位置情報または前記画像を取得した時刻情報である
付記11乃至13のいずれかに記載の画像処理方法。
(付記15)
前記端末は、
検出された前記物体領域を指定する入力手段を介して物体領域の指定を受け付け、指定された前記物体領域を含む一部画像が前記候補画像と照合されない場合、当該一部画像をデータベースに格納する
付記14に記載の画像処理方法。
(付記16)
前記サーバは、前記候補画像から指定された画像を前記端末に送信し、
前記端末は、指定された前記画像を受信した場合、当該画像と前記一部画像とを照合する
付記14乃至15のいずれかに記載の画像処理方法。
(付記17)
前記端末は複数台存在し、前記端末の少なくとも一台が前記サーバに送信した前記一部画像が照合された場合、前記サーバは、照合された画像に対応する前記識別情報を前記端末とは別の端末に送信する
付記11乃至16のいずれかに記載の画像処理方法。
(付記18)
端末が、撮像手段が撮像した画像の物体領域の大きさを示す値が閾値より大きい場合には当該物体領域の画像を、そうでない場合には当該物体領域を含む所定領域の画像を出力する
画像処理方法。
(付記19)
前記物体領域は人物の顔領域であり、前記所定領域は当該人物の全体を含む画像である
付記18に記載の画像処理方法。
(付記20)
前記物体領域は車のナンバープレートであり、前記所定領域は当該車の全体を含む画像である
付記18に記載の画像処理方法。
(付記21)
前記端末は、検出された前記物体領域を指定する入力手段を備え、前記入力手段で指定された前記物体領域を含む一部画像が他の一部画像より優先的に前記候補画像と照合処理される
付記4に記載の画像処理システム。
(付記22)
前記端末は、検出された前記物体領域を指定する入力手段を介して物体領域の指定を受け付け、指定された前記物体領域を含む一部画像が他の一部画像より優先的に前記候補画像と照合処理される
付記14に記載の画像処理方法。
(付記23)
付記18乃至20のいずれかに記載の画像処理方法をコンピュータに実行させる
画像処理プログラム。
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
この出願は、2014年3月31日に出願された日本出願特願2014−070719を基礎とする優先権を主張し、その開示の全てをここに取り込む。
1 第一の監視情報端末部
2 第一の監視サーバ部
3 第二の監視情報端末部
4 第二の監視サーバ部
5 第三の監視情報端末部
7 第四の監視情報端末部
8 第五の監視情報端末部
9 通信ネットワーク
11 カメラ部
12 画像処理A部
13 画像蓄積部
14 送受信A部
15 画像表示部
16 入力部
17 画像処理C部
21 送受信B部
22 画像処理B部
23 データベース部
24 画像表示部
121 画像IO部
122 CPU部
123 メモリ部
124 外部IO部
10 端末
20 サーバ
101 画像蓄積部
102 送信部
103 出力部
104 送信部
201 画像照合部
202 送信部
1001 出力部

Claims (10)

  1. 画像と、当該画像または当該画像の一部画像の識別情報とを記憶する画像蓄積手段と、
    前記識別情報と前記一部画像とをサーバに送信する送信手段と、
    前記サーバから受信した識別情報に基づく付加情報を出力する出力手段と、を備える端末と、
    前記端末から受信した前記一部画像を、蓄積された候補画像と照合する画像照合手段と、
    照合された画像に対応する前記識別情報を前記端末に送信する送信手段と、を備えるサーバと、
    を含む画像処理システム。
  2. 前記出力手段は、画像を表示する画像表示手段であり、前記付加情報として、照合結果に関する情報を前記画像に重畳表示する
    請求項1に記載の画像処理システム。
  3. 画像と、当該画像または当該画像の一部画像の識別情報とを記憶する画像蓄積手段と、
    前記画像の識別情報と、前記画像の一部画像とをサーバに送信し、前記サーバから受信した識別情報で識別される前記画像を前記サーバに送信する送信手段と、を備える端末と、
    前記端末から受信した一部画像を、蓄積された候補画像と照合する画像照合手段と、
    照合された画像に対応する前記識別情報を前記端末に送信する送信手段と、を備えるサーバと、
    を含む画像処理システム。
  4. 前記一部画像は、画像中から検出された物体を含み、
    前記識別情報は、前記物体の位置情報または前記画像を取得した時刻情報である
    請求項1乃至3のいずれかに記載の画像処理システム。
  5. 前記端末は、
    検出された前記物体領域を指定する入力手段を備え、
    前記入力手段で指定された前記物体領域を含む一部画像が前記候補画像と照合されない場合、当該一部画像をデータベースに格納する
    請求項4に記載の画像処理システム。
  6. 前記サーバの前記送信手段は、前記候補画像から指定された画像を前記端末に送信し、
    前記端末は、指定された前記画像を受信した場合、当該画像と前記一部画像とを照合する画像処理部を備える
    請求項4乃至5のいずれかに記載の画像処理システム。
  7. 前記端末は複数台存在し、前記端末の少なくとも一台が前記サーバに送信した前記一部画像が前記画像照合手段にて照合された場合、前記サーバは、照合された画像に対応する前記識別情報を前記端末とは別の端末に送信する
    請求項1乃至6のいずれかに記載の画像処理システム。
  8. 撮像手段が撮像した画像の物体領域の大きさを示す値が閾値より大きい場合には当該物体領域の画像を、そうでない場合には当該物体領域を含む所定領域の画像を出力する出力手段
    を備える画像処理装置。
  9. 端末が、
    画像と、当該画像または当該画像の一部画像の識別情報とを画像蓄積手段に記憶し、
    前記識別情報と前記一部画像とをサーバに送信し、
    前記サーバから受信した識別情報に基づく付加情報を出力し、
    サーバが、
    前記端末から受信した前記一部画像を、蓄積された候補画像と照合し、
    照合された画像に対応する前記識別情報を前記端末に送信する、
    画像処理方法。
  10. コンピュータに、
    撮像手段が撮像した画像の物体領域の大きさを示す値が閾値より大きい場合には当該物体領域の画像を、そうでない場合には当該物体領域を含む所定領域の画像を出力する出力処理、
    を実行させるプログラム。
JP2019183844A 2014-03-31 2019-10-04 映像監視方法、映像監視システムおよび映像監視端末 Active JP7001086B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021210045A JP2022048147A (ja) 2014-03-31 2021-12-24 映像監視方法、映像監視システム、映像監視端末、情報処理装置及びプログラム
JP2023201188A JP2024019238A (ja) 2014-03-31 2023-11-29 映像監視方法、映像監視システム、映像監視端末、情報処理装置及びプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014070719 2014-03-31
JP2014070719 2014-03-31

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2016511367A Division JP6627750B2 (ja) 2014-03-31 2015-03-20 画像処理システム、画像処理装置、画像処理方法および記録媒体

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2021210045A Division JP2022048147A (ja) 2014-03-31 2021-12-24 映像監視方法、映像監視システム、映像監視端末、情報処理装置及びプログラム

Publications (2)

Publication Number Publication Date
JP2020017301A true JP2020017301A (ja) 2020-01-30
JP7001086B2 JP7001086B2 (ja) 2022-01-19

Family

ID=54191150

Family Applications (4)

Application Number Title Priority Date Filing Date
JP2016511367A Active JP6627750B2 (ja) 2014-03-31 2015-03-20 画像処理システム、画像処理装置、画像処理方法および記録媒体
JP2019183844A Active JP7001086B2 (ja) 2014-03-31 2019-10-04 映像監視方法、映像監視システムおよび映像監視端末
JP2021210045A Pending JP2022048147A (ja) 2014-03-31 2021-12-24 映像監視方法、映像監視システム、映像監視端末、情報処理装置及びプログラム
JP2023201188A Pending JP2024019238A (ja) 2014-03-31 2023-11-29 映像監視方法、映像監視システム、映像監視端末、情報処理装置及びプログラム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2016511367A Active JP6627750B2 (ja) 2014-03-31 2015-03-20 画像処理システム、画像処理装置、画像処理方法および記録媒体

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2021210045A Pending JP2022048147A (ja) 2014-03-31 2021-12-24 映像監視方法、映像監視システム、映像監視端末、情報処理装置及びプログラム
JP2023201188A Pending JP2024019238A (ja) 2014-03-31 2023-11-29 映像監視方法、映像監視システム、映像監視端末、情報処理装置及びプログラム

Country Status (3)

Country Link
US (6) US20150279116A1 (ja)
JP (4) JP6627750B2 (ja)
WO (1) WO2015151449A1 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017084289A (ja) * 2015-10-30 2017-05-18 キヤノン株式会社 表示制御装置、表示制御方法及びプログラム
JP2018085597A (ja) * 2016-11-22 2018-05-31 パナソニックIpマネジメント株式会社 人物行動監視装置および人物行動監視システム
CN110692086A (zh) 2017-04-21 2020-01-14 惠普发展公司,有限责任合伙企业 用于虚拟现实的对象检测
JP7054331B2 (ja) * 2017-10-27 2022-04-13 ホーチキ株式会社 在室者監視システム
EP3477536A1 (en) * 2017-10-28 2019-05-01 Leapsy International Ltd. Wearable device capable of recognizing human face and license plate
EP3477535A1 (en) * 2017-10-28 2019-05-01 Leapsy International Ltd. Method of recognizing human face and license plate utilizing wearable device
JP7142443B2 (ja) * 2018-03-02 2022-09-27 グローリー株式会社 画像認証システム、画像認証方法および画像認証プログラム
CN110324528A (zh) * 2018-03-28 2019-10-11 富泰华工业(深圳)有限公司 摄像装置、影像处理系统及方法
JP7272626B2 (ja) * 2019-01-09 2023-05-12 i-PRO株式会社 照合システム、照合方法およびカメラ装置
DE102019107853B4 (de) * 2019-03-27 2020-11-19 Schölly Fiberoptic GmbH Verfahren zur Inbetriebnahme einer Kamerasteuerungseinheit (CCU)
US11010599B2 (en) 2019-05-01 2021-05-18 EMC IP Holding Company LLC Facial recognition for multi-stream video using high probability group and facial network of related persons
US11334746B2 (en) * 2019-05-01 2022-05-17 EMC IP Holding Company LLC Facial recognition for multi-stream video using high probability group
EP4035353A1 (en) * 2019-09-27 2022-08-03 Ricoh Company, Ltd. Apparatus, image processing system, communication system, method for setting, image processing method, and recording medium
US11861895B2 (en) * 2020-07-16 2024-01-02 Goodrich Corporation Helicopter search light and method for detection and tracking of anomalous or suspicious behaviour

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002183180A (ja) * 2000-12-16 2002-06-28 Kentaro Hayashi 情報収集検索システム
JP2004280376A (ja) * 2003-03-14 2004-10-07 Japan Science & Technology Agency 被写体の行動認識方法及び装置
JP2006148842A (ja) * 2004-10-20 2006-06-08 Daimei Kk ウェアラブル監視カメラシステム
JP2006165763A (ja) * 2004-12-03 2006-06-22 Konica Minolta Photo Imaging Inc 映像表示装置
JP2011114580A (ja) * 2009-11-26 2011-06-09 Panasonic Corp 複数カメラ監視システム、携帯端末装置、センター装置及び複数カメラ監視方法
JP2012033054A (ja) * 2010-07-30 2012-02-16 Ricoh Co Ltd 顔画像サンプル採取装置、顔画像サンプル採取方法、プログラム
JP2013258532A (ja) * 2012-06-12 2013-12-26 Panasonic Corp 映像表示システム、映像合成再符号化装置、映像表示装置、映像表示方法、及び映像合成再符号化プログラム
WO2014017398A1 (ja) * 2012-07-24 2014-01-30 日本電気株式会社 出退勤管理装置、そのデータ処理方法、およびプログラム

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003046911A (ja) * 2001-05-22 2003-02-14 Matsushita Electric Ind Co Ltd 監視記録装置及びその方法
EP1260934A3 (en) 2001-05-22 2004-04-14 Matsushita Electric Industrial Co., Ltd. Surveillance recording device and method
JP2004128615A (ja) * 2002-09-30 2004-04-22 Toshiba Corp 人物監視システム
JP4622301B2 (ja) 2004-05-07 2011-02-02 オムロン株式会社 監視システム、および監視カメラ
JP4104577B2 (ja) 2004-05-21 2008-06-18 三菱電機株式会社 画像伝送装置、画像伝送方法、伝送システム、及び映像監視システム
US7512262B2 (en) * 2005-02-25 2009-03-31 Microsoft Corporation Stereo-based image processing
JP2007158421A (ja) * 2005-11-30 2007-06-21 Matsushita Electric Ind Co Ltd 監視カメラシステム及び顔画像追跡記録方法
WO2007119355A1 (ja) 2006-03-15 2007-10-25 Omron Corporation 追尾装置、追尾方法、追尾装置の制御プログラム、およびコンピュータ読み取り可能な記録媒体
JP5082724B2 (ja) 2007-09-28 2012-11-28 オムロン株式会社 画像処理装置および方法、並びにプログラム
JP5709367B2 (ja) * 2009-10-23 2015-04-30 キヤノン株式会社 画像処理装置、および画像処理方法
JP5967473B2 (ja) * 2011-06-03 2016-08-10 パナソニックIpマネジメント株式会社 撮像装置及び撮像システム
JP2012252569A (ja) 2011-06-03 2012-12-20 Nec Corp 情報処理装置、情報処理装置の制御方法及びその制御プログラム、情報処理システム、情報処理方法
US8517394B2 (en) 2011-08-01 2013-08-27 Cnh America Llc Adjustable suspension system for a work vehicle
JPWO2013145530A1 (ja) * 2012-03-28 2015-12-10 日本電気株式会社 解析システム
TWI556194B (zh) * 2012-06-29 2016-11-01 希科母股份有限公司 對象檢出裝置、對象檢出方法及對象檢出用電腦程式
US10034049B1 (en) * 2012-07-18 2018-07-24 Google Llc Audience attendance monitoring through facial recognition
US20150012840A1 (en) * 2013-07-02 2015-01-08 International Business Machines Corporation Identification and Sharing of Selections within Streaming Content

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002183180A (ja) * 2000-12-16 2002-06-28 Kentaro Hayashi 情報収集検索システム
JP2004280376A (ja) * 2003-03-14 2004-10-07 Japan Science & Technology Agency 被写体の行動認識方法及び装置
JP2006148842A (ja) * 2004-10-20 2006-06-08 Daimei Kk ウェアラブル監視カメラシステム
JP2006165763A (ja) * 2004-12-03 2006-06-22 Konica Minolta Photo Imaging Inc 映像表示装置
JP2011114580A (ja) * 2009-11-26 2011-06-09 Panasonic Corp 複数カメラ監視システム、携帯端末装置、センター装置及び複数カメラ監視方法
JP2012033054A (ja) * 2010-07-30 2012-02-16 Ricoh Co Ltd 顔画像サンプル採取装置、顔画像サンプル採取方法、プログラム
JP2013258532A (ja) * 2012-06-12 2013-12-26 Panasonic Corp 映像表示システム、映像合成再符号化装置、映像表示装置、映像表示方法、及び映像合成再符号化プログラム
WO2014017398A1 (ja) * 2012-07-24 2014-01-30 日本電気株式会社 出退勤管理装置、そのデータ処理方法、およびプログラム

Also Published As

Publication number Publication date
US20190206108A1 (en) 2019-07-04
US20240013458A1 (en) 2024-01-11
US11100691B2 (en) 2021-08-24
JP2022048147A (ja) 2022-03-25
US11798211B2 (en) 2023-10-24
JP7001086B2 (ja) 2022-01-19
US20190206107A1 (en) 2019-07-04
JP2024019238A (ja) 2024-02-08
JP6627750B2 (ja) 2020-01-08
JPWO2015151449A1 (ja) 2017-04-13
US20230298238A1 (en) 2023-09-21
US20150279116A1 (en) 2015-10-01
WO2015151449A1 (ja) 2015-10-08
US20210343057A1 (en) 2021-11-04

Similar Documents

Publication Publication Date Title
JP7001086B2 (ja) 映像監視方法、映像監視システムおよび映像監視端末
KR101215948B1 (ko) 신체정보 및 얼굴인식에 기반한 감시 시스템의 영상정보 마스킹 방법
US9305331B2 (en) Image processor and image combination method thereof
TW201722136A (zh) 保全系統及方法
US20150199815A1 (en) Apparatus and method for detecting event from plurality of photographed images
JP2018160219A (ja) 移動経路予測装置、及び移動経路予測方法
KR101514061B1 (ko) 노인 관리용 무선 카메라 장치 및 이를 통한 노인 관리 시스템
JP2014022970A (ja) 画像送信装置、画像送信方法、画像送信プログラム、画像認識認証システム、及び画像受信装置
KR20170061937A (ko) 영상 공유 방법
JP6437217B2 (ja) 画像出力装置、画像管理システム、画像処理方法及びプログラム
JP5088463B2 (ja) 監視システム
JP2017068627A (ja) 画像処理端末及び画像処理サーバ
JP2014154129A (ja) 装備認識システム
KR102183689B1 (ko) 실시간 영상의 객체 마스킹 처리 시스템 및 이를 이용한 마스킹 처리 방법
CN110519562B (zh) 移动侦测方法、装置和系统
KR101714130B1 (ko) 실시간 사건 사고 동영상 촬영 시스템
JP2019009615A (ja) 監視カメラ装置、監視映像配信方法および監視システム
KR101513467B1 (ko) 스쿨존 cctv 감시장치 성능개선 시스템
JP2018029309A (ja) 撮像装置および送信方法
CN110796826A (zh) 一种用于识别烟雾火焰的报警方法及系统
JP2016021716A (ja) 追尾装置及びその制御方法
KR101744184B1 (ko) 얼굴 인식을 이용한 자동신고 시스템 및 그 방법
US11830335B2 (en) Method to identify watchers of objects
KR102033053B1 (ko) 사용자들에게 사고-관련 동영상 파일들을 제공하는 감시 시스템
KR20230098415A (ko) 인공지능모델을 이용한 작업장 영상 처리 시스템 및 그 영상 처리 방법

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191015

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191015

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200915

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201110

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210427

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20211021

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211124

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211207

R150 Certificate of patent or registration of utility model

Ref document number: 7001086

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150