JP2021013188A - 方法、装置およびプログラム - Google Patents

方法、装置およびプログラム Download PDF

Info

Publication number
JP2021013188A
JP2021013188A JP2020172466A JP2020172466A JP2021013188A JP 2021013188 A JP2021013188 A JP 2021013188A JP 2020172466 A JP2020172466 A JP 2020172466A JP 2020172466 A JP2020172466 A JP 2020172466A JP 2021013188 A JP2021013188 A JP 2021013188A
Authority
JP
Japan
Prior art keywords
target person
appearance
video
person
scenes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020172466A
Other languages
English (en)
Other versions
JP7302566B2 (ja
Inventor
フイ ラム オング
Hui Lam Ong
フイ ラム オング
智史 山崎
Tomohito Yamazaki
智史 山崎
ウェイ ジアン ペー
Wei Jian PEH
ウェイ ジアン ペー
ホン イェン オング
Hong Yen Ong
ホン イェン オング
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JP2021013188A publication Critical patent/JP2021013188A/ja
Priority to JP2023040180A priority Critical patent/JP7494967B2/ja
Application granted granted Critical
Publication of JP7302566B2 publication Critical patent/JP7302566B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/49Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • G06V40/173Classification, e.g. identification face re-identification, e.g. recognising unknown faces across different face tracks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

【課題】少なくとも1人の対象人物の潜在的な提携者を特定するための方法及び身元特定装置を提供する。【解決手段】方法は、複数の映像を準備すること、複数の映像における少なくとも1人の対象人物の出現を特定すること、前記複数の映像から複数の映像シーンを確立することであって、該複数の映像シーンの各々が、それぞれの映像シーンにおける前記少なくとも1人の対象人物の最初の出現より第1の所定の継続時間だけ前に始まり、該それぞれの映像シーンにおける該少なくとも1人の対象人物の最後の出現より第2の所定の継続時間だけ後に終わる、該複数の映像シーンを確立すること、前記複数の映像シーンのうちの所定の閾値数を超える数の映像シーンに現れる人物を決定すること、該人物を前記少なくとも1人の対象人物の潜在的な提携者として特定する。【選択図】図1

Description

本発明は、概して、少なくとも1人の対象人物の潜在的な提携者を特定するための方法及び身元特定装置に関する。
暴力団とは犯罪活動の調整及び計画のために継続的に協力して活動する者の集団として捉えられている。彼らの集団の構造は多様で、鍵となる人物からなる永続的な中核、部下の集団、専門家、その他の一時的な構成員、及び提携者の広範なネットワークからなることが多い。このような集団の多くは、特定の犯罪活動のために集まった犯罪者の緩いネットワークであり、彼らの技能と専門性に応じて異なる役割を果たしている。
提携者の組織犯罪集団のネットワークを発見するために、デジタル/サイバー空間の監視とは別に、物理的世界の映像監視システムは提携者の潜在的なネットワークを監視及び発見するための法執行機関の監視の目となり得る。
第1の態様において、少なくとも1人の対象人物の潜在的な提携者を特定するための方法が提供される。該方法は、複数の映像を準備すること、前記複数の映像における少なくとも1人の対象人物の出現を特定すること、前記複数の映像から複数の映像シーンを確立することであって、該複数の映像シーンの各々が、それぞれの映像シーンにおける前記少なくとも1人の対象人物の最初の出現より第1の所定の継続時間だけ前に始まり、該それぞれの映像シーンにおける該少なくとも1人の対象人物の最後の出現より第2の所定の継続時間だけ後に終わるようにすること、前記複数の映像シーンのうちの閾値数を超える数の映像シーンに現れる人物を決定すること、該人物を前記少なくとも1人の対象人物の潜在的な提携者として特定すること、を含む。
第2の態様において、少なくとも1人の対象人物の潜在的な提携者を特定するように構成された身元特定装置が提供される。該身元特定装置は、複数の映像を受信するように構成された受信モジュールと、前記複数の映像における少なくとも1人の対象人物の出現を特定するように構成された出現サーチモジュールと、前記複数の映像から複数の映像シーンを確立するように構成された出現統合モジュールであって、該複数の映像シーンの各々が、それぞれの映像シーンにおける前記少なくとも1人の対象人物の最初の出現より第1の所定の継続時間だけ前に始まり、該それぞれの映像シーンにおける該少なくとも1人の対象人物の最後の出現より第2の所定の継続時間だけ後に終わるようにする出現統合モジュールと、前記複数の映像シーンに現れる人物をサーチするように構成された共出現サーチモジュールと、前記人物のうち、どの人物が前記複数の映像シーンのうちの所定の閾値数を超える数の映像シーンに現れるかを決定する出現分析モジュールと、前記複数の映像シーンのうちの所定の閾値数を超える数の映像シーンに現れる該人物を前記少なくとも1人の対象人物の潜在的な提携者として特定する出力モジュールと、を備える。
第3の態様において、プロセッサによって実行されたときに該プロセッサに少なくとも1人の対象人物の潜在的な提携者を特定するための方法を実施させる命令が格納された非一時的なコンピュータ可読媒体が提供される。該方法は、複数の映像を受信すること、前記複数の映像における少なくとも1人の対象人物の出現を特定すること、前記複数の映像から複数の映像シーンを確立することであって、該複数の映像シーンの各々が、それぞれの映像シーンにおける前記少なくとも1人の対象人物の最初の出現より第1の所定の継続時間だけ前に始まり、該それぞれの映像シーンにおける該少なくとも1人の対象人物の最後の出現より第2の所定の継続時間だけ後に終わるようにすること、前記複数の映像シーンのうちの閾値数を超える数の映像シーンに現れる人物を決定すること、該人物を前記少なくとも1人の対象人物の潜在的な提携者として特定すること、を含む。
添付の図面において、同様の参照番号は別々の図面全体を通して同一の又は機能的に同様の要素を指す。該図面は、以下の詳細な説明と共に本明細書に組み込まれ、その一部を形成するものであり、様々な実施形態を図示し、実施形態による様々な原理及び利点を説明するためのものである。
様々な実施形態にかかる、少なくとも1人の対象人物の潜在的な提携者を特定するための方法を図示しているフロー図である。 様々な実施形態にかかる、図1に示された方法を実施するための身元特定装置を示している。 様々な実施形態にかかる、単一の場所及び単一の対象人物に対する映像シーンの分析を図示している。 様々な実施形態にかかる、2つ以上の場所及び2人以上の対象人物に対する映像シーンの分析を図示している。 様々な実施形態により、潜在的な対象人物がどのように特定されるかを示している。 様々な実施形態にかかる例示的な装置を図示している。
様々な実施形態は少なくとも1人の対象人物の潜在的な提携者を特定するための装置及び方法を提供する。
デジタル/サイバー監視とは別に、世界的な物理的世界の映像監視システムは、長い間、犯罪活動を監視し、組織犯罪集団の潜在的な提携者を発見するための法執行機関の監視の目となっている。
映像監視システムは通常、登録された人員を特定するために構築及び配備されるが、より高度な監視システムのいくつかは、登録された人物の繋がりのネットワークを構築するために、カメラで一緒に撮影された人物を追跡し関連付ける機能も有している。映像監視システムは通常、特定の対象人物を特定するために構築及び配備されるが、より高度な監視システムのいくつかは、登録された人物の繋がりのネットワークを構築するために、彼らと共に写っている人物を追跡し関連付ける機能も有している。
これらの既存の解決策は有用であるが、友人や同僚並びに家族間の関係を発見することに限定されているか、又はそれらにより適している。そのような解決策はまた、特にカメラに対象人物とその提携者が一緒に撮影されていない状況では、対象人物の陰の提携者を発見することができないだろう。例えば、組織犯罪集団の鍵となる人物と彼らの提携者の広範なネットワークは犯罪活動の計画や実行の際に、彼らの繋がりを隠すために捜査網に近づかず、一緒に見られることを避ける傾向がある。彼らの多くは、権限を持った法執行機関がデジタル追跡を通して通信の証拠を得る可能性がある、電話、電子メール、ソーシャルネットワーク(facebook、linkedin等)、インスタントメッセンジャー(whatsapp、line、wechat等)を介した通信を避けようとする。
また、暴力団の構成員の中には、混雑した公共の場において彼らの提携者の広範なネットワークと間接的に連絡を取ったり、間接的に情報を交換したりする者もおり、彼らの所在や出現を隠すことを容易にしている。提携者の中には、自分が誰とやり取りしているのかさえ知らない人がいることは驚くにあたらない。例えば、第1の提携者が、第2の提携者によって公共の場所に置かれた物理的な対象物を回収することを要求されることもある。第1の提携者が指定された公共の場所に到着して対象物を回収する頃には、第2の提携者はその場を既に立ち去っている場合もある。その場所を監視するために監視システムが設置されている場合でも、彼らの間に直接的なやり取りがないため、2人が一緒にカメラに撮られることはない。
このような慎重なやり取りにより、法執行機関がそのような組織犯罪集団の提携者を監視及び発見することは困難である。
そのため、上述の問題に対する解決策を提供する必要がある。
本発明は上述の問題に対する解決策を提供する。対象人物の潜在的な提携者を特定するために監視カメラにより撮影された映像を分析する際に、監視カメラにより撮影された場所に対象人物が最初に現れる前の期間と、同じ場所に対象人物が最後に現れた後の、もう1つの期間と、を含むように分析範囲を拡大することにより、対象人物の未知の提携者を発見することが可能になる。
この結果は、同じ集団に属する2人以上の対象人物の映像が分析された場合に、さらに改善される。例えば、未知の人物が複数の映像のうちの閾値数を超える数の映像に現れることが判明した場合、該未知の人物が対象人物の提携者である確率はより高くなる。
有利なことに、本発明により、対象人物の潜在的な提携者が映像に一緒に写っていない場合であっても、該提携者を特定することを可能になる。
有利なことに、特定された潜在的な提携者が実際に対象人物の提携者である確率は、2人以上の対象人物の映像が分析された場合に増大する。
図1は少なくとも1人の対象人物の潜在的な提携者を特定するための方法を示しているフローチャートである。102において、複数の映像が準備される。複数の映像は、監視カメラ、携帯電話のカメラ、CCTV(閉回路テレビ)カメラ、ウェブカメラ、又は他の同様の装置によって撮影された場所の映像記録であってもよい。該場所は、少なくとも1人の対象人物が目撃された場所、そこに行ったことが判っている場所、又は頻繁に訪れている場所、あるいは少なくとも1人の対象人物が同じ犯罪集団の提携者に情報を提供する、又は提携者から情報を受け取ると思われている場所であってもよい。複数の映像は、mp4、avi、mkv、wmv、mov、又は他の同様の映像フォーマット等のファイルフォーマットの映像であってもよい。さらに、複数の映像の各々は、それぞれの映像が記録された時間、日付、及び場所を示してもよい。1つの実施形態において、複数の映像は、1つ又は複数の入力からなる入力データベースに処理されてもよく、そこにおいて、1つ又は複数の入力の各々は複数の映像における時間、日付、及び場所における人物の出現を表してもよく、1つ又は複数の入力の各々は該人物の属性を示してもよい。
104において、複数の映像における少なくとも1人の対象人物の出現が特定される。この身元特定処理は、それぞれの対象人物の属性を決定し、そして複数の映像から、その属性を有する人物をそれぞれの対象人物として特定することで実施されてもよい。例えば、属性は、少なくとも1人の対象人物の顔の画像から決定されてもよい、該少なくとも1人の対象人物の顔情報であってもよい。属性はまた、少なくとも1人の対象人物の物理的な特性、例えば、複数の映像から該少なくとも1人の対象人物を特定するために使用されてもよい、身長、体格、髪の色、皮膚の色、他の物理的な特徴、又はそれらの特徴の組み合わせであってもよい。属性はまた、少なくとも1人の対象人物の行動の特徴、例えば、複数の映像から該少なくとも1人の対象人物を特定するために使用されてもよい、歩き方、立ち方、動き方、話し方、他の同様の特徴、又はそれらの組み合わせであってもよい。
106において、複数の映像から複数の映像シーンが確立され、そこにおいて、該複数の映像シーンの各々は、それぞれの映像シーンにおける前記少なくとも1人の対象人物の最初の出現より第1の所定の継続時間だけ前に始まり、該それぞれの映像シーンにおける該少なくとも1人の対象人物の最後の出現の後より第2の所定の継続時間だけ後に終わる。複数の映像シーンの各々は、そこにおいて対象人物の少なくとも1回の出現が特定される場所の監視場面を含んでもよい。実際には、ほとんどの場所は、典型的には、それぞれの場所を監視するために設置された2台以上の監視カメラを有し、それにより、これらの監視カメラの各々は、該場所の異なる領域を監視してもよいし、又は異なる視野や角度から該場所を監視してもよい。したがって、複数の映像シーンの各々は、そこにおいてそれぞれの対象人物の少なくとも1回の出現が特定されるそれぞれの場所の、1つ又は複数のカメラ監視場面をさらに含んでもよい。有利なこととして、ある場所の全ての利用可能な監視場面を考慮に入れることにより、対象人物が監視カメラの1つのみが該対象人物を映像上に捉えることができる地点にいるシナリオに対処することができる。
また、複数の映像シーンの各々は、各映像シーンが少なくとも1人の対象人物の最初の特定された出現より第1の所定の継続時間だけ前に始まり、該少なくとも1人の対象人物の最後の出現から第2の所定の継続時間だけ後に終わるように確立される。例えば、ある場所における対象人物の最初と最後の出現が、それぞれ同日の午後2時と午後3時であり、その間の出現が午後2時10分、午後2時25分、午後2時40分、午後2時50分であり、第1及び第2の所定の継続時間がそれぞれ20分と25分に設定されている場合、結果として得られる映像シーンは午後1時40分に始まり、同日の午後3時25分に終わる。
108において、複数の映像シーンのうちの閾値数を超える数の映像シーンに現れる人物が決定される。人物とは、複数の映像シーンに現れる少なくとも1人の対象人物を除く全ての人を意味する。これらの人物は所定の閾値数を超える数の映像シーンに現れることが判明すれば、複数の映像シーンにおいて該少なくとも1人の対象人物とやりとりしていることが写っていなくても潜在的な提携者とみなされる。所定の閾値数は試行錯誤を介して決められてもよいし、分析される映像の量や品質によって変更されてもよい。各人物の出現は、該人物を特定するために使用されてもよい、顔情報、身体的特徴、行動の特徴、又は他の属性など、それぞれの人物の決定された属性に基づいて特定されてもよい。
110において、所定の閾値数を超える数の映像シーンに現れる人物が少なくとも1人の対象人物の潜在的な提携者として特定される。
図2は、図1に示されている方法を実施するように構成された身元特定装置200を示している。装置200は受信モジュール202、出現サーチモジュール204、統合モジュール206、共出現サーチモジュール208、分析モジュール210、及び出力モジュール212を備える。
受信モジュール202は複数の映像を受信するように構成されている。複数の映像は、監視カメラ、携帯電話のカメラ、CCTV(閉回路テレビ)カメラ、ウェブカメラ、又は他の同様の装置によって撮影された場所の映像記録であってもよい。該場所は、少なくとも1人の対象人物が目撃された場所、そこに行ったことが判っている場所、又は頻繁に訪れている場所、あるいは少なくとも1人の対象人物が同じ犯罪集団の提携者に情報を提供する、又は提携者から情報を受け取ると思われている場所であってもよい。複数の映像は、mp4、avi、mkv、wmv、mov、又は他の同様の映像フォーマット等のファイルフォーマットの映像であってもよい。さらに、複数の映像の各々は、それぞれの映像が記録された時間、日付、及び場所を示してもよい。
出現サーチモジュール204は複数の映像における少なくとも1人の対象人物の出現を特定するように構成されている。1つの実施形態において、出現サーチモジュール204はさらに、少なくとも1人の対象人物のそれぞれの対象人物の属性を決定し、複数の映像から、その属性を有する人物をそれぞれの対象人物として特定するように構成されてもよい。例えば、属性は、それぞれの対象人物の顔情報、身体的特徴、又は行動の特徴を含んでもよい。
出現統合モジュール206は複数の映像から複数の映像シーンを確立するように構成されており、そこにおいて、該複数の映像シーンの各々は、それぞれの映像シーンにおける前記少なくとも1人の対象人物の最初の出現より第1の所定の継続時間だけ前に始まり、該それぞれの映像シーンにおける該少なくとも1人の対象人物の最後の出現の後より第2の所定の継続時間だけ後に終わる。1つの実施形態において、複数の映像シーンは場所の1つ又は複数のカメラ監視場面をさらに含んでもよい。さらに、1つ又は複数のカメラ監視場面の各々は該場所の異なる視野を示してもよい。
共出現サーチモジュール208は複数の映像シーンに現れる人物をサーチするように構成されている。1つの実施形態において、各人物の出現は、該人物を特定するために使用されてもよい、顔情報、身体的特徴、行動の特徴、又は他の属性など、それぞれの人物の決定された属性に基づいて特定されてもよい。
出現分析モジュール210は、該人物のうち、どの人物が複数の映像シーンのうちの所定の閾値数を超える数の映像シーンに現れるかを決定するように構成されている。出力モジュール212は複数の映像シーンのうちの閾値数を超える数の映像シーンに現れる人物を少なくとも1人の対象人物の潜在的な提携者として特定するように構成されている。
図3は様々な実施形態に従った、単一の場所及び単一の対象人物に対する映像シーン分析を図示している。映像シーン300は特定の日付における単一の場所の1つ又は複数の監視カメラからの映像場面を含む。この実施形態において、対象人物302の最初の出現は21:45に起こり、対象人物の最後の出現は21:48に起こる。また、第1及び第2の継続時間は両方とも5分に設定されている。したがって、映像シーン300は対象人物の最初の出現より第1の継続時間だけ前、すなわち21:40に始まり、対象人物の最後の出現より第2の継続時間だけ後、すなわち21:53に終わる。また、映像シーン300は対象人物302の連続的な存在を必要としなくてもよい。例えば、対象人物302は21:46から21:48の間の2分間、映像シーン300に写っていない。対象人物302の2分間の不在は、5分間の第2の継続時間より短いので、対象人物302の21:46の出現は最後の出現とはみなされない。したがって、映像シーン300の21:45から21:48までの期間は、対象人物302の1回の論理的な出現を含む。
1つの実施形態において、対象人物が映像シーンに存在しない可能性がある各時間の継続時間を制限するための第3の所定の継続時間が設定されてもよい。映像シーン300を参照すると、第3の所定の継続時間は、例えば、20分に設定されてもよい。これは、対象人物302が映像シーン300に存在しない可能性がある各時間の最大継続時間が20分であることを意味する。映像シーン300において、対象人物302は21:46から21:48の間の2分間存在しない。対象人物302の2分間の不在は20分の第3の所定の継続時間より短いので、対象人物302の21:46の出現は最後の出現とはみなされない。したがって、映像シーン300の21:45から21:48までの期間は、対象人物302の1つの論理的な出現を含む。例えば、対象人物302の21:47から始まる不在の期間が第3の所定の継続時間を超える場合には、映像シーン300は21:47より5分間の第2の所定の継続時間だけ後、すなわち、21:52に終了するだろう。さらに、その後、対象人物302が21:52の後、例えば、22:30に複数の映像に再び現れると、22:30より5分の第1の所定の継続時間だけ前、すなわち、22:25に新しい映像シーンが確立されるだろう。この場合、21:45から21:47までの期間は対象人物302の1つの論理的な出現を含み、22:30から始まる、対象人物302の次の最後の出現までの期間は対象人物302のもう1つの論理的な出現を含む。第1、第2及び第3の所定の継続時間を映像シーンの分析に適していると思われる任意の継続時間に設定できることは明らかであるだろう。
次に、対象人物302以外の人物が特定される。映像シーン300において、21:40に第1の未知の人物304が一人で歩きながら現れ、21:46に第2の未知の人物306が対象人物302と並んで歩きながら現れ、第3の未知の人物308が対象人物302から離れたところを歩きながら現れ、21:53に第4の未知の人物310が一人で歩きながら現れる。したがって、これら4人の未知の人物の各々の属性が他の映像シーンとの比較のために決定される。例えば、属性は、4人の未知の人物の各々の顔の撮影された映像から決定されてもよい、顔情報であってもよい。属性はまた、4人の未知の人物の各々の身体的特徴、例えば、身長、体格、髪の色、皮膚の色、及び他の物理的な特徴、又はそれらの組み合わせであってもよい。属性はまた、4人の未知の人物の各々の行動の特徴、例えば、4人の未知の人物の各々の歩き方、立ち方、動き方、話し方、他の同様の特徴、又はそれらの組み合わせであってもよい。
図4は様々な実施形態に従った、2箇所以上の場所及び2人以上の対象人物に対する映像シーンの分析を図示している。2つの映像シーン400及び401が分析されている。映像シーン400は、4月2日の場所Aに対する映像監視場面を含み、そこにおいて、第1の対象人物402が21:45に現れる。映像シーン401は、5月11日の場所Bに対する映像監視場面を含み、そこにおいて、第2の対象人物404が11:25に現れる。映像シーン400において、対象人物402が現れる4分前の21:41に未知の人物406が現れる。映像シーン401において、同じ未知の人物406が対象人物404の出現から3分後の11:28に現れる。したがって、ここで、未知の人物406が2つの映像シーンに現れたことが決定される。所定の閾値数が1に設定されている実施形態において、未知の人物406は対象人物402及び404の潜在的な提携者として特定されるだろう。
図5は、潜在的な提携者がどのように特定されるかを示している説明図500を示している。まず、少なくとも1人の対象人物の属性が決定される。例えば、属性は、少なくとも1人の対象人物の顔の画像から決定されてもよい、該少なくとも1人の対象人物の顔情報であってもよい。属性はまた、少なくとも1人の対象人物の身体的特徴、例えば、身長、体格、髪の色、皮膚の色、及び他の物理的な特徴、又はそれらの組み合わせであってもよい。また、属性は、少なくとも1人の対象人物の行動の特徴、例えば、少なくとも1人の対象人物の歩き方、立ち方、動き方、話し方、他の同様の特徴、又はそれらの組み合わせであってもよい。本実施形態において、508において、3人の対象人物502、504及び506の集合写真又は複数の写真が準備される。510において、準備された写真から対象人物502、504及び506の顔情報が検出される。そして、検出された顔情報が属性として用いられてもよい。上記の写真が物理的なコピー又はソフトコピーであってもよく、対象人物の顔の特徴を検出するために物理的なコピーがスキャンされてもよいことは明らかであるだろう。また、映像等の他の媒体が属性を決定するために使用されてもよい。
また、複数の映像が準備される。複数の映像は、監視カメラ、携帯電話のカメラ、CCTV(閉回路テレビ)カメラ、ウェブカメラ、又は他の同様の装置によって撮影された場所の映像記録であってもよい。該場所は、少なくとも1人の対象人物が目撃された場所、そこに行ったことが判っている場所、又は頻繁に訪れている場所、あるいは少なくとも1人の対象人物が同じ犯罪集団の提携者に情報を提供する、又は提携者から情報を受け取ると思われている場所であってもよい。複数の映像は、mp4、avi、mkv、wmv、mov、又は他の同様の映像フォーマット等のファイルフォーマットの映像であってもよい。さらに、複数の映像の各々は、それぞれの映像が記録された時間、日付、及び場所を示してもよい。1つの実施形態において、複数の映像は、1つ又は複数の入力からなる入力データベースに処理されてもよく、そこにおいて、1つ又は複数の入力の各々は複数の映像における時間、日付、及び場所における人物の出現を表してもよく、1つ又は複数の入力の各々は該人物の属性を示してもよい。
512において、複数の映像から3人の対象人物502、504及び506の出現が特定される。これは、複数の映像から、決定された属性を有する人物をそれぞれの対象人物として特定することによって実施されてもよい。本実施の形態において、複数の映像における対象人物502、504及び506を特定するために用いられる属性は510で決定された顔情報である。例えば、複数の映像に現れ、対象人物502と同一の顔情報を有する人物が対象人物502として特定され、複数の映像に現れ、対象人物504と同一の顔情報を有する人物が対象人物504として特定され、複数の映像に現れ、対象人物506と同一の顔情報を有する人物が対象人物506として特定されるだろう。
複数の映像における対象人物502、504及び506の全ての映像出現を特定した後、514において、出現統合器が該複数の映像から特定された、該3人の対象人物502、504及び506の映像出現を統合する。例えば、特定された映像出現522は対象人物502の複数の映像における特定された出現に基づいており、特定された映像出現524は対象人物504の複数の映像における特定された出現に基づいており、特定された映像出現526は対象人物506の複数の映像における特定された出現に基づいている。上記の統合は、時間範囲、日付、場所、又はそれらの組み合わせに基づいてもよく、そこにおいて、論理的な出現の順序を形成するために、同じ場所、日付、及び/又は時間範囲に起きた対象人物の特定された出現が一纏めにされてもよい。
対象人物の特定された映像出現は複数の映像のうちの1つ又は複数の映像から得られたものであってもよい。本実施形態において、特定された映像出現526は複数の映像のうちの1つ又は複数の映像における対象人物506の出現に基づいており、そこにおいて、該1つ又は複数の映像は同じ時間範囲、日付、場所、又はそれらの組み合わせにおいて起きたものであってもよく、それにより、映像出現526が対象人物506の1つの論理的な出現を含んでもよい。特定された映像出現522は複数の映像のうちの少なくとも2つの映像における対象人物502の出現に基づいており、そこにおいて、対象人物502の映像出現528は1つ又は複数の映像の第1の郡から特定され、対象人物502の映像出現530は1つ又は複数の映像の第2の郡から特定される。1つ又は複数の映像の第1の郡は同じ時間範囲、日付、場所、又はそれらの組み合わせにおいて起きたものであってもよく、それにより、映像出現528が対象人物502の1つの論理的な出現を含んでもよい。同様に、1つ又は複数の映像の第2の郡は同じ時間範囲、日付、場所、又はそれらの組み合わせにおいて起きたものであってもよく、それにより、映像出現530が対象人物502の1つの論理的な出現を含んでもよい。例えば、1つ又は複数の映像の第1と及び第2の郡は、同日に記録された場所の監視映像であってもよく、そこにおいて、1つ又は複数の映像の第1の郡からの対象人物502の映像出現528は、より早い時間に起きたものであってもよく、1つ又は複数の映像の第2の郡からの対象人物502の映像出現530は、より遅い時間に起きたものであってもよく、それにより、映像出現528が対象人物502の第1の論理的な出現を形成し、映像出現530が対象人物502の第2の論理的な出現を形成してもよい。したがって、統合された映像出現522は対象人物502の2つの論理的な出現を含む。
さらに、特定された出現524は複数の映像の少なくとも2つの映像における対象人物504の出現に基づいており、そこにおいて、対象人物504の映像出現532は1つ又は複数の映像の第1の郡から特定され、対象人物504の映像出現534は1つ又は複数の映像の第2の郡から特定される。1つ又は複数の映像の第1の郡は、映像出現532が対象人物504の1つの論理的な出現を含むように、同じ時間範囲、日付、場所、又はそれらの組み合わせにおいて起きたものであってもよい。同様に、1つ又は複数の映像の第2の郡は、映像出現534が対象人物504の1つの論理的な出現を含むように、同じ時間範囲、日付、場所、又はそれらの組み合わせにおいて起きたものであってもよい。例えば、1つ又は複数の映像の第1及び第2の郡は、同日に記録された場所の監視映像であってもよく、そこにおいて、1つ又は複数の映像の第1の郡からの対象人物504の映像出現532は、より早い時間に起きたものであってもよく、1つ又は複数の映像の第2の郡からの対象人物504の映像出現534は、より遅い時間に起きたものであってもよく、それにより、映像出現532が対象人物504の第1の論理的な出現を形成し、映像出現534が対象人物504の第2の論理的な出現を形成してもよい。したがって、統合された映像出現524は対象人物504の2つの論理的な出現を含む。各対象人物に対し2つ以上の統合された映像出現が特定された出現に基づいて形成されてもよく、そこにおいて、統合された出現の各々が、複数の映像において特定された出現が起きた時間範囲、日付、場所、又はそれらの組み合わせに対応してもよいことは明らかであるだろう。
514において統合された、特定された論理的な出現に基づいて、複数の映像シーンが出現統合器によって確立される。516において、映像シーン536は、例えば、対象人物506の統合された出現526に基づいて確立される。映像シーン536は第1の部分540と、第2の部分542と、第3の部分544とを含む。第1の部分540は、そこから対象人物506の統合された映像出現526が特定される、1つ又は複数の映像場面を含んでもよい。第1の部分540はさらに、対象人物506の出現が見つからない1つ又は複数の映像場面を含んでもよいが、これらの1つ又は複数の映像場面は、そこから対象人物506の統合された映像出現526が特定される、1つ又は複数の映像場面の時間、日付、場所、又はそれらの組み合わせに一致する時間、日付、場所、又はそれらの組み合せにおけるものである。有利なことに、これは、対象人物が監視カメラの1つのみが該対象人物を映像上に捉えることができる地点にいるシナリオに対処するように、ある場所の全ての利用可能な監視場面を考慮に入れるだろう。
映像シーン536の第1の部分540に加えて、第2の部分542は映像シーン536の継続時間を第1の所定の継続時間だけ延長し、それにより、映像シーン536は映像シーン536の第1の部分540で特定された対象人物506の最初の出現より第1の所定の継続時間だけ前に始まる。したがって、第2の部分542は、映像シーン536の第1の部分540の1つ又は複数の映像場面の時間、日付、場所、又はそれらの組み合わせに一致する時間、日付、場所、又はそれらの組み合わせにおける、1つ又は複数の映像を含むことができ、そこにおいて、第2の部分542の1つ又は複数の映像は映像シーン536の第1の部分540で特定された対象人物506の最初の出現より第1の所定の継続時間だけ前に始まる。有利なこととして、映像シーン536の第2の部分542を含めることにより、映像に対象人物506の潜在的な提携者が対象人物と一緒に現れず、対象人物506が記録された場所に到着する前に、例えば、対象人物506による回収のために対象物を置くためだけに該場所に現れただけであっても、対象人物506の該潜在的な提携者を特定することが可能になる。
さらに、映像シーン536の第3の部分544は映像シーン536の継続時間を第2の所定の継続時間だけ延長し、それにより、映像シーン536は映像シーン536の第1の部分540で特定された対象人物506の最後の出現より第2の所定の継続時間だけ後に終了する。したがって、第3の部分544は、映像シーン536の第1の部分540の1つ又は複数の映像場面の時間、日付、場所、又はそれらの組み合わせに一致する時間、日付、場所、又はそれらの組み合わせにおける、1つ又は複数の映像を含むことができ、そこにおいて、第3の部分544の1つ又は複数の映像は映像シーン536の第1の部分540で特定された対象人物506の最後の出現より第2の所定の継続時間だけ後に終了する。有利なこととして、映像シーン536の第3の部分544を含めることにより、映像に対象人物506の潜在的な提携者が対象人物と一緒に現れず、対象人物506が記録された場所から去った後に、例えば、対象人物506によって意図的に置かれた対象物を回収するために該場所に現れただけであっても、対象人物506の該潜在的な提携者を特定することが可能になる。
映像シーン536と同様に、映像シーン538は、例えば、対象人物504の統合出現524における映像出現532に基づいて確立される。映像シーン538は第1の部分546と、第2の部分548と、第3の部分550とを含む。第1の部分546は、そこから対象人物504の映像出現532が特定される、1つ又は複数の映像場面を含んでもよい。第1の部分546はさらに、対象人物504の出現が見つからない1つ又は複数の映像場面を含んでもよいが、これらの1つ又は複数の映像場面は、そこから対象人物504の統合された映像出現532が特定される1つ又は複数の映像場面の時間、日付、場所、又はそれらの組み合せに一致する時間、日付、場所、又はそれらの組み合わせにおけるものである。有利なこととして、これは、対象人物が監視カメラの1つのみが該対象人物を映像上に捉えることができる地点にいるシナリオに対処するように、ある場所の全ての利用可能な監視場面を考慮に入れるだろう。
映像シーン546の第1の部分538に加えて、第2の部分548は映像シーン538の継続時間を第1の所定の継続時間だけ延長し、それにより、映像シーン538は映像シーン538の第1の部分504で特定された対象人物546の最初の出現より第1の所定の継続時間だけ前に始まる。したがって、第2の部分548は、映像シーン538の第1の部分546の1つ又は複数の映像場面の時間、日付、場所、又はそれらの組み合わせに一致する時間、日付、場所、又はそれらの組み合わせにおける、1つ又は複数の映像を含むことができ、そこにおいて、第2の部分548の1つ又は複数の映像は映像シーン538の第1の部分546で特定された対象人物504の最初の出現より第1の所定の継続時間だけ前に始まる。有利なこととして、映像シーン538の第2の部分548を含めることにより、映像に対象人物504の潜在的な提携者が対象人物と一緒に現れず、対象人物504が記録された場所に到着する前に、例えば、対象人物504による回収のために対象物を置くためだけに該場所に現れただけであっても、対象人物504の該潜在的な提携者を特定することが可能になる。
さらに、映像シーン538の第3の部分550は映像シーン538の継続時間を第2の所定の継続時間だけ延長し、それにより、映像シーン538は映像シーン538の第1の部分546で特定される対象人物504の最後の出現より第2の所定の継続時間だけ後に終了する。したがって、第3の部分550は、映像シーン538の第1の部分546の1つ又は複数の映像場面の時間、日付、場所、又はそれらの組み合わせに一致する時間、日付、場所、又はそれらの組み合わせにおける、1つ又は複数の映像を含むことができ、そこにおいて、第3の部分550の1つ又は複数の映像は映像シーン538の第1の部分546で特定された対象人物504の最後の出現より第2の所定の継続時間だけ後に終了する。有利なこととして、映像シーン538の第3の部分550を含めることにより、映像に対象人物504の潜在的な提携者が対象人物と一緒に現れず、対象人物504が記録された場所から去った後に、例えば、対象人物504によって意図的に置かれた対象物を回収するために該場所に現れただけであっても、対象人物504の該潜在的な提携者を特定することが可能になる。
映像シーン536及び538の確立後、共出現サーチモジュールは映像シーンに現れる対象人物502、504及び506以外の全ての人物を決定する。この決定処理は、映像シーン536及び538のいずれかに現れる1人又は複数の人物の各々の属性を決定することを含んでもよい。属性は、例えば、1人又は複数の人物の各々を特定するために使用されてもよい、顔情報、身体的特徴、行動の特徴、他の同様の特徴、又はそれらの組み合わせであってもよい。決定処理はさらに、映像シーン536及び538のいずれかに現れる1人又は複数の人物の各々に対し、時間、日付、場所、それぞれの人物と同じ映像シーンに現れる対象人物、又はそれらの組み合わせを決定することを含んでもよい。決定処理は映像シーン536の3つの部分540、542及び544の全て、並びに映像シーン538の3つの部分546、548及び550の全てを含む。有利なこととして、決定処理において、それぞれの映像シーンにおけるそれぞれの対象人物の最初の出現より前の第1の所定の継続時間内に現れた人物と、それぞれの映像シーンにおけるそれぞれの対象人物の最後の出現の後の第2の所定の継続時間内に現れた人物とが考慮される。残りの映像出現528、530及び534の各々に対して映像シーンが同様に確立され、それらの映像シーンも決定処理において考慮されることは明らかであるだろう。
映像シーン536及び538に現れた1人又は複数人の人物を決定した後、出現分析器が映像シーンのうちの所定の閾値数を超える数の映像シーンに現れる人物を決定する。518を参照すると、映像シーン536及び/又は映像シーン538のいずれかに3人の人物A、B及びCが現れたことが判明している。本実施形態において、決定処理は映像シーン536及び538のいずれかに現れる1人又は複数の人物の各々に対して属性及び場所を決定することを含み、そこにおいて、映像シーン536は第1の場所の1つ又は複数のカメラ監視場面を含み、映像シーン538は第2の場所の1つ又は複数のカメラ監視場面を含む。516における共出現サーチモジュールの結果に基づいて、人物Aが映像シーン536に現れたことが判明している。したがって、552に示されているように、人物Aは1つの場所に1回出現している。人物Bは映像シーン538に現れたことが判明している。したがって、554に示されているように、人物Bも1つの場所に1回出現している。しかしながら、人物Cは映像シーン536と538の両方に現れたことが判明している。したがって、556に示されているように、人物Cは2つの場所に2回出現している。
本実施形態において、所定の閾値数は1に設定されている。したがって、ある人物が2つ以上の映像シーンに現れたと判定された場合、その人物は対象人物の潜在的な提携者であると決定される。この場合、人物Cは2つの映像シーン、すなわち、映像シーン536及び538に現れたことが判明しているので、人物Cは520において、対象人物506及び508の潜在的な提携者として出力される。所定の閾値数が最適な結果を生ずる任意の他の数に従って設定されてもよく、考慮される映像シーンの数に従って変更されてもよいことは明らかであるだろう。
図6は例としての計算装置600を示し、それはコンピュータシステム600又は装置600と呼ばれることもある。1つ以上のそのような計算装置600が図2の特定装置200を実施するために使用されてもよい。計算装置600の以下の説明は、単なる例としてのものであり、限定することを意図したものではない。
図6に示されるように、例としての計算装置600は、ソフトウェアルーチンを実行するためのプロセッサ604を含む。明確性のために単一のプロセッサが示されているが、計算装置600はマルチプロセッサシステムを含んでもよい。プロセッサ604は、計算装置600の他の構成要素と通信するための通信基幹設備606に接続されている。通信基幹設備606は、例えば、通信バス、クロスバー、又はネットワークを含んでもよい。
計算装置600は、ランダムアクセスメモリ(RAM)等のプライマリメモリ608と、セカンダリメモリ610とをさらに含む。セカンダリメモリ610は、例えば、ハードディスクドライブ、ソリッドステートドライブ又はハイブリッドドライブであってもよい記憶ドライブ612、及び/又は磁気テープドライブ、光ディスクドライブ、ソリッドステート記憶ドライブ(USBフラッシュドライブ、フラッシュメモリデバイス、ソリッドステートドライブ、メモリカード等)等であってもよい着脱可能記憶ドライブ614を含んでもよい。着脱可能記憶ドライブ614は、周知の方法で着脱可能記憶媒体644から読み書きする。着脱可能記憶媒体644は、着脱可能記憶ドライブ614によって読み書きされる磁気テープ、光ディスク、不揮発性メモリ記憶媒体などを含んでもよい。当業者には理解されるように、着脱可能記憶媒体644は、コンピュータ実行可能プログラムコード命令及び/又はデータを記憶したコンピュータ可読記憶媒体を含む。
他の実施形態において、セカンダリメモリ610は、コンピュータプログラム又は他の命令を計算装置600にロードすることを可能にする他の同様の手段を付加的又は代替的に含んでもよい。このような手段は、例えば、着脱可能記憶装置622及びインターフェース640を含んでもよい。着脱可能記憶装置622及びインターフェース640の例は、プログラムカートリッジ及びカートリッジインターフェース(ビデオゲーム機に搭載されているもの等)、着脱可能なメモリチップ(EPROMやPROM等)及び関連したソケット、着脱可能なソリッドステート記憶ドライブ(USBフラッシュドライブ、フラッシュメモリデバイス、ソリッドステートドライブ、メモリカード等)、及び他の着脱可能記憶装置622、及びソフトウェア及びデータを着脱可能記憶装置622からコンピュータシステム600に転送することを可能にするインターフェース640が含まれる。
計算装置600はまた、少なくとも1つの通信インターフェース624を含む。通信インターフェース624は、ソフトウェア及びデータが通信経路626を介して計算装置600と外部装置との間で転送されることを可能にする。本発明の様々な実施形態において、通信インターフェース624は、計算装置600と、公共データ又はプライベートデータの通信ネットワーク等のデータ通信ネットワークとの間でデータを転送することを可能にする。通信インターフェース624は、異なる計算装置600が相互接続されたコンピュータネットワークの一部を形成する、そのような計算装置600間でデータを交換するために使用されてもよい。通信インターフェース624の例は、モデム、ネットワークインターフェース(イーサネット(登録商標)カード等)、通信ポート(シリアル、パラレル、プリンタ、GPIB、IEEE1394、RJ45、USB等)、関連する回路を有するアンテナ等を含んでもよい。通信インターフェース624は有線であってもよいし、無線であってもよい。通信インターフェース624を介して転送されるソフトウェア及びデータは、電子的、電磁的、光学的、又は通信インターフェース624によって受信され得る他の信号であってもよい信号の形式である。これらの信号は通信経路626を介して通信インターフェースに供給される。
図6に示されるように、コンピューティング装置600はさらに、関連するディスプレイ630に画像を描写するための動作を実行するディスプレイインターフェース602と、関連するスピーカー634を介して音声コンテンツを再生するための動作を実行するオーディオインターフェース632とを含む。
本明細書で使用される用語「コンピュータプログラム製品」(又は、非一時的コンピュータ可読媒体であってもよい、コンピュータ可読媒体)は、部分的に、着脱可能記憶媒体644、着脱可能記憶装置622、記憶ドライブ612にインストールされたハードディスク、又は通信経路626(ワイヤレスリンク又はケーブル)を介して通信インターフェース624にソフトウェアを搬送する搬送波を意味してもよい。コンピュータ可読記憶媒体(又はコンピュータ可読媒体)は、記録された命令及び/又はデータを実行及び/又は処理のために計算装置600に提供する任意の非一時的な不揮発性の有形記憶媒体を意味する。このような記憶媒体の例には、磁気テープ、CD−ROM、DVD、Blu−ray(登録商標)ディスク、ハードディスクドライブ、ROM又は集積回路、ソリッドステート記憶ドライブ(USBフラッシュドライブ、フラッシュメモリデバイス、ソリッドステートドライブ、メモリカード等)、ハイブリッドドライブ、光磁気ディスク、又はPCMCIAカード等のコンピュータ読み取り可能カードが含まれ、これらのデバイスは計算装置600の内部に配置されても外部に配置されてもよい。計算装置600へのソフトウェア、アプリケーションプログラム、命令及び/又はデータの提供にも関わり得る、一時的又は無形のコンピュータ可読伝送媒体の例は、無線又は赤外線伝送チャネル、及び他のコンピュータ又はネットワーク装置へのネットワーク接続、及び電子メール伝送及びウェブサイト等に記録された情報を含むインターネット又はイントラネットを含む。
コンピュータプログラム(コンピュータプログラムコードとも呼ばれる)はプライマリメモリ608及び/又はセカンダリメモリ610に格納される。コンピュータプログラムは通信インターフェース624を介して受信されてもよい。そのようなコンピュータプログラムは、実行されると、計算装置600が本明細書で説明する実施形態の1つ以上の特徴を実行することを可能にする。様々な実施形態において、コンピュータプログラムは、実行されると、プロセッサ604が上述の実施形態の機能を実行することを可能にする。したがって、そのようなコンピュータプログラムはコンピュータシステム600のコントローラを意味する。
ソフトウェアはコンピュータプログラム製品に格納されてもよく、着脱可能記憶ドライブ614、記憶ドライブ612、又はインターフェース640を使用して計算装置600にロードされてもよい。コンピュータプログラム製品は非一時的なコンピュータ可読媒体であってもよい。あるいは、コンピュータプログラム製品は通信経路626を介してコンピュータシステム600にダウンロードされてもよい。ソフトウェアは、プロセッサ604によって実行されると、計算装置600に本明細書で記載された機能を実行させる。
図6の実施形態は、単に例としてされている。したがって、いくつかの実施形態において、計算装置600の1つ以上の特徴が省略されてもよい。また、いくつかの実施形態において、計算装置600の1つ以上の特徴が組み合わされてもよい。さらに、いくつかの実施形態において、計算装置600の1つ又は複数の特徴は、1つ又は複数の構成部品に分割されてもよい。プライマリメモリ608及び/又はセカンダリメモリ610は装置200のためのメモリとして機能してもよく、プロセッサ604は身元特定装置200のプロセッサとして機能してもよい。
ここで、コンピュータメモリ内のデータに対するアルゴリズム及び、演算の機能的又は記号的な表現に対して明示的又は暗黙的に示される。これらのアルゴリズム的記述及び機能的又は記号的表現は、データ処理技術の当業者が、彼らの作業の内容を他の当業者に最も効果的に伝えるために使用する手段である。ここで、アルゴリズムは、一般的には、所望の結果を導く工程の自己矛盾の無いシーケンスであるとみなされる。工程は、記憶、転送、結合、比較、及び他の方法での操作が可能な電気信号、磁気信号、又は光信号などの物理量の物理的操作を必要とする工程である。
特に明記されない限り、また以下の記載から明らかなように、本明細書を通して、「受信」、「提供」、「特定」、「走査」、「決定」、「生成」、「出力」等の用語を利用する記載は、コンピュータシステム内の物理量として表されるデータを、コンピュータシステム又は他の情報記憶、伝送又は表示装置内の物理量として同様に表される他のデータに操作及び変換する、コンピュータシステム又は同様の電子装置の動作及び処理を意味する。
本明細書はまた、方法の動作を実行するための装置を開示する。そのような装置は必要な目的のために特別に構成されてもよいし、又はコンピュータに格納されたコンピュータプログラムによって選択的に起動又は再構成されるコンピュータ又は他の装置を含んでもよい。ここで示されるアルゴリズム及びディスプレイは、いかなる特定のコンピュータ又は他の装置にも本質的に関連付けられるものではない。本明細書の教示に従ったプログラムと共に多様な機械を使用することができる。あるいは、必要な方法の工程を実行するための、より特化された装置の構成が適当である場合もある。本明細書に記載の多様な方法/プロセスを実行するのに適したコンピュータの構造は、本明細書の説明から明らかになる。
さらに、本明細書はまた、コンピュータプログラムも暗黙的に開示し、そこにおいて、ここに記載される方法の個々の工程がコンピュータコードによって実施されてもよいことは当業者には明らかであるだろう。コンピュータプログラムは特定のプログラミング言語及びその実施に限定されるものではない。本明細書に含まれる開示の教示を実施するために、多様なプログラミング言語及びそのコーディングを使用できることが理解されるだろう。さらに、コンピュータプログラムは特定の制御フローに限定されるものではない。本発明の意図又は範囲から逸脱することなく異なる制御フローを使用することができるコンピュータプログラムの、他の多くの変形が存在する。
さらに、コンピュータプログラムの1つ以上の工程は、順次的ではなく、並列的に実行されてもよい。そのようなコンピュータプログラムは任意のコンピュータ可読媒体に格納されてもよい。コンピュータ可読媒体は、磁気ディスク又は光ディスク、メモリチップ、又はコンピュータとのインターフェースに適した他の記憶装置などの記憶装置を含むことができる。コンピュータ可読媒体はまた、インターネットシステムに代表されるような有線の媒体、又はGSM(登録商標)移動電話システムに代表されるようなワイヤレスの媒体を含んでもよい。そのようなコンピュータにロードされて実行されるコンピュータプログラムは、好ましい方法の工程を実施する装置を効果的にもたらす。
様々な実施形態において、「モジュール」は任意の種類の論理実現要素であってもよく、メモリ、ファームウェア、又はそれらの任意の組み合わせに格納されたソフトウェアを実行する専用回路又はプロセッサであってもよい。したがって、1つの実施形態において、「モジュール」はハードワイヤード論理回路、又はプログラム可能プロセッサ、マイクロプロセッサ(例えば、CISC(Complex Instruction Set Computer)プロセッサ、RISC(Reduced Instruction Set Computer)プロセッサ)等のプログラム可能論理回路であってもよい。「モジュール」はまた、ソフトウェア、例えば、任意の種類のコンピュータプログラム、例えば、Java(登録商標)等の仮想マシンコードを使用するコンピュータプログラムを実行するプロセッサであってもよい。以下により詳細に説明されるそれぞれの機能の任意の他の種類の実施もまた、代替的な実施形態による「モジュール」として捉えられてもよい。
概略的に説明された本発明の意図又は範囲から逸脱することなく、特定の実施形態に示されるように、本発明に対して多数の変形及び/又は修正を行うことができることは、当業者によって理解されるであろう。したがって、上述の実施形態は、あらゆる点で例示的であり、限定的ではないとみなされる。
例えば、上記の実施の形態の一部または全部は、以下の付記のようにも記載され得るが、以下には限られない。
(付記1)
少なくとも1人の対象人物の潜在的な提携者を特定するための方法であって、
複数の映像を準備すること、
前記複数の映像における少なくとも1人の対象人物の出現を特定すること、
前記複数の映像から複数の映像シーンを確立することであって、該複数の映像シーンの各々が、それぞれの映像シーンにおける前記少なくとも1人の対象人物の最初の出現より第1の所定の継続時間だけ前に始まり、該それぞれの映像シーンにおける該少なくとも1人の対象人物の最後の出現より第2の所定の継続時間だけ後に終わるようにすること、
前記複数の映像シーンのうちの所定の閾値数を超える数の映像シーンに現れる人物を決定すること、
該人物を前記少なくとも1人の対象人物の潜在的な提携者として特定すること、を含む方法。
(付記2)
前記複数の映像から前記少なくとも1人の対象人物のそれぞれの対象人物の出現を特定することがさらに、
該それぞれの対象人物の属性を決定すること、
前記複数の映像から該属性を有する人物を該それぞれの対象人物として特定することを含む、付記1に記載の方法。
(付記3)
前記属性がそれぞれの対象人物の顔情報をさらに含む、付記2に記載の方法。
(付記4)
前記属性がそれぞれの対象人物の身体的特徴をさらに含む、付記2に記載の方法。
(付記5)
前記属性が前記各対象人物の行動の特徴をさらに含む、付記2に記載の方法。
(付記6)
前記複数の映像シーンのうちのいずれか1つが場所の1つ又は複数のカメラ監視場面をさらに含む、付記1に記載の方法。
(付記7)
前記1つ又は複数のカメラ監視場面の各々が場所の異なる視野を示す、付記6に記載の方法。
(付記8)
少なくとも1人の対象人物の潜在的な提携者を特定するように構成された身元特定装置であって、
複数の映像を受信するように構成された受信モジュールと、
前記複数の映像における少なくとも1人の対象人物の出現を特定するように構成された出現サーチモジュールと、
前記複数の映像から複数の映像シーンを確立するように構成された出現統合モジュールであって、該複数の映像シーンの各々が、それぞれの映像シーンにおける前記少なくとも1人の対象人物の最初の出現より第1の所定の継続時間だけ前に始まり、該それぞれの映像シーンにおける該少なくとも1人の対象人物の最後の出現より第2の所定の継続時間だけ後に終わるようにするように構成された出現統合モジュールと、
前記複数の映像シーンに現れる人物をサーチするように構成された共出現サーチモジュールと、
前記人物のうち、どの人物が前記複数の映像シーンのうちの所定の閾値数を超える数の映像シーンに現れるかを決定する出現分析モジュールと、
前記複数の映像シーンのうちの所定の閾値数を超える数の映像シーンに現れる該人物を前記少なくとも1人の対象人物の潜在的な提携者として特定する出力モジュールと、を備える身元特定装置。
(付記9)
前記出現サーチモジュールがさらに、
前記少なくとも1人の対象人物のそれぞれの対象人物の属性を決定し、
前記複数の映像から該属性を有する人物を該それぞれの対象人物として特定するように構成されている、付記8に記載の身元特定装置。
(付記10)
前記属性がそれぞれの対象人物の顔情報をさらに含む、付記9に記載の身元特定装置。
(付記11)
前記属性がそれぞれの対象人物の身体的特徴をさらに含む、付記9に記載の身元特定装置。
(付記12)
前記属性がそれぞれの対象人物の行動の特徴をさらに含む、付記9に記載の身元特定装置。
(付記13)
前記複数の映像シーンのうちのいずれか1つが場所の1つ又は複数のカメラ監視場面をさらに含む、付記8に記載の身元特定装置。
(付記14)
前記1つ又は複数のカメラ監視場面の各々が場所の異なる視野を示す、付記13に記載の身元特定装置。
(付記15)
プロセッサによって実行されたときに該プロセッサに少なくとも1人の対象人物の潜在的な提携者を特定するための方法を実施させる命令が格納された非一時的なコンピュータ可読媒体であって、該方法が、
複数の映像を受信すること、
前記複数の映像における少なくとも1人の対象人物の出現を特定すること、
前記複数の映像から複数の映像シーンを確立することであって、該複数の映像シーンの各々が、それぞれの映像シーンにおける前記少なくとも1人の対象人物の最初の出現より第1の所定の継続時間だけ前に始まり、該それぞれの映像シーンにおける該少なくとも1人の対象人物の最後の出現より第2の所定の継続時間だけ後に終わるようにすること、
前記複数の映像シーンのうちの閾値数を超える数の映像シーンに現れる人物を決定すること、
該人物を前記少なくとも1人の対象人物の潜在的な提携者として特定すること、を含む非一時的なコンピュータ可読媒体。
この出願は、2018年9月6日に出願されたシンガポール特許出願第10201807678W号を基礎とする優先権を主張し、その開示の全てをここに取り込む。
202 受信モジュール
204 出現サーチモジュール
206 統合モジュール
208 共出現サーチモジュール
210 分析モジュール
212 出力モジュール
302 対象人物
304 第1の未知の人物
306 第2の未知の人物
308 第3の未知の人物
402 第1の対象人物
404 第2の対象人物
406 未知の人物

Claims (15)

  1. 少なくとも1人の対象人物の潜在的な提携者を特定するための方法であって、
    複数の映像を準備すること、
    前記複数の映像における少なくとも1人の対象人物の出現を特定すること、
    前記複数の映像から複数の映像シーンを確立することであって、該複数の映像シーンの各々が、それぞれの映像シーンにおける前記少なくとも1人の対象人物の最初の出現より第1の所定の継続時間だけ前に始まり、該それぞれの映像シーンにおける該少なくとも1人の対象人物の最後の出現より第2の所定の継続時間だけ後に終わるようにすること、
    前記複数の映像シーンのうちの所定の閾値数を超える数の映像シーンに現れる人物を決定すること、及び
    該人物を前記少なくとも1人の対象人物の潜在的な提携者として特定すること、を含む方法。
  2. 前記複数の映像から前記少なくとも1人の対象人物のそれぞれの対象人物の出現を特定することがさらに、
    該それぞれの対象人物の属性を決定すること、及び
    前記複数の映像から該属性を有する人物を該それぞれの対象人物として特定することを含む、請求項1に記載の方法。
  3. 前記属性がそれぞれの対象人物の顔情報をさらに含む、請求項2に記載の方法。
  4. 前記属性がそれぞれの対象人物の身体的特徴をさらに含む、請求項2に記載の方法。
  5. 前記属性が前記各対象人物の行動の特徴をさらに含む、請求項2に記載の方法。
  6. 前記複数の映像シーンのうちのいずれか1つが場所の1つ又は複数のカメラ監視場面をさらに含む、請求項1に記載の方法。
  7. 前記1つ又は複数のカメラ監視場面の各々が場所の異なる視野を示す、請求項6に記載の方法。
  8. 少なくとも1人の対象人物の潜在的な提携者を特定するように構成された身元特定装置であって、
    複数の映像を受信するように構成された受信モジュールと、
    前記複数の映像における少なくとも1人の対象人物の出現を特定するように構成された出現サーチモジュールと、
    前記複数の映像から複数の映像シーンを確立するように構成された出現統合モジュールであって、該複数の映像シーンの各々が、それぞれの映像シーンにおける前記少なくとも1人の対象人物の最初の出現より第1の所定の継続時間だけ前に始まり、該それぞれの映像シーンにおける該少なくとも1人の対象人物の最後の出現より第2の所定の継続時間だけ後に終わるようにする出現統合モジュールと、
    前記複数の映像シーンに現れる人物をサーチするように構成された共出現サーチモジュールと、
    前記人物のうち、どの人物が前記複数の映像シーンのうちの所定の閾値数を超える数の映像シーンに現れるかを決定する出現分析モジュールと、
    前記複数の映像シーンのうちの所定の閾値数を超える数の映像シーンに現れる該人物を前記少なくとも1人の対象人物の潜在的な提携者として特定する出力モジュールと、を備える身元特定装置。
  9. 前記出現サーチモジュールがさらに、
    前記少なくとも1人の対象人物のそれぞれの対象人物の属性を決定し、
    前記複数の映像から該属性を有する人物を該それぞれの対象人物として特定するように構成されている、請求項8に記載の身元特定装置。
  10. 前記属性がそれぞれの対象人物の顔情報をさらに含む、請求項9に記載の身元特定装置。
  11. 前記属性がそれぞれの対象人物の身体的特徴をさらに含む、請求項9に記載の身元特定装置。
  12. 前記属性がそれぞれの対象人物の行動の特徴をさらに含む、請求項9に記載の身元特定装置。
  13. 前記複数の映像シーンのうちのいずれか1つが場所の1つ又は複数のカメラ監視場面をさらに含む、請求項8に記載の身元特定装置。
  14. 前記1つ又は複数のカメラ監視場面の各々が場所の異なる視野を示す、請求項13に記載の身元特定装置。
  15. プロセッサによって実行されたときに該プロセッサに少なくとも1人の対象人物の潜在的な提携者を特定するための方法を実施させる命令が格納された非一時的なコンピュータ可読媒体であって、該方法が、
    複数の映像を受信すること、
    前記複数の映像における少なくとも1人の対象人物の出現を特定すること、
    前記複数の映像から複数の映像シーンを確立することであって、該複数の映像シーンの各々が、それぞれの映像シーンにおける前記少なくとも1人の対象人物の最初の出現より第1の所定の継続時間だけ前に始まり、該それぞれの映像シーンにおける該少なくとも1人の対象人物の最後の出現より第2の所定の継続時間だけ後に終わる、該複数の映像シーンを確立すること、
    前記複数の映像シーンのうちの閾値数を超える数の映像シーンに現れる人物を決定すること、及び
    該人物を前記少なくとも1人の対象人物の潜在的な提携者として特定すること、を含む非一時的なコンピュータ可読媒体。
JP2020172466A 2018-09-06 2020-10-13 方法、装置およびプログラム Active JP7302566B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023040180A JP7494967B2 (ja) 2018-09-06 2023-03-14 映像処理プログラム、映像処理方法、及び映像処理装置

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
SG10201807678WA SG10201807678WA (en) 2018-09-06 2018-09-06 A method for identifying potential associates of at least one target person, and an identification device
SG10201807678W 2018-09-06
JP2020508641A JP6780803B2 (ja) 2018-09-06 2019-08-16 少なくとも1人の対象人物の潜在的な提携者を特定するための方法、身元特定装置及びプログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2020508641A Division JP6780803B2 (ja) 2018-09-06 2019-08-16 少なくとも1人の対象人物の潜在的な提携者を特定するための方法、身元特定装置及びプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023040180A Division JP7494967B2 (ja) 2018-09-06 2023-03-14 映像処理プログラム、映像処理方法、及び映像処理装置

Publications (2)

Publication Number Publication Date
JP2021013188A true JP2021013188A (ja) 2021-02-04
JP7302566B2 JP7302566B2 (ja) 2023-07-04

Family

ID=69722900

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2020508641A Active JP6780803B2 (ja) 2018-09-06 2019-08-16 少なくとも1人の対象人物の潜在的な提携者を特定するための方法、身元特定装置及びプログラム
JP2020172466A Active JP7302566B2 (ja) 2018-09-06 2020-10-13 方法、装置およびプログラム
JP2023040180A Active JP7494967B2 (ja) 2018-09-06 2023-03-14 映像処理プログラム、映像処理方法、及び映像処理装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2020508641A Active JP6780803B2 (ja) 2018-09-06 2019-08-16 少なくとも1人の対象人物の潜在的な提携者を特定するための方法、身元特定装置及びプログラム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023040180A Active JP7494967B2 (ja) 2018-09-06 2023-03-14 映像処理プログラム、映像処理方法、及び映像処理装置

Country Status (4)

Country Link
US (3) US11250251B2 (ja)
JP (3) JP6780803B2 (ja)
SG (1) SG10201807678WA (ja)
WO (1) WO2020049980A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021002091A (ja) * 2019-06-19 2021-01-07 富士ゼロックス株式会社 情報処理システムおよびプログラム
US11250271B1 (en) * 2019-08-16 2022-02-15 Objectvideo Labs, Llc Cross-video object tracking
WO2021039229A1 (ja) * 2019-08-30 2021-03-04 日本電気株式会社 処理装置、処理システム、処理方法及びプログラム
WO2021235355A1 (ja) * 2020-05-22 2021-11-25 富士フイルム株式会社 画像データ処理装置及び画像データ処理システム
US11847814B2 (en) * 2020-09-14 2023-12-19 Dragonfruit Ai, Inc. Video data search using color wheel associations
US11714882B2 (en) * 2020-10-09 2023-08-01 Dragonfruit Ai, Inc. Management of attributes associated with objects in video data

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003348569A (ja) * 2002-05-28 2003-12-05 Toshiba Lighting & Technology Corp 監視カメラシステム
JP2008085874A (ja) * 2006-09-28 2008-04-10 Toshiba Corp 人物監視システムおよび人物監視方法
JP2014139734A (ja) * 2013-01-21 2014-07-31 Sony Corp 情報処理装置および方法、並びにプログラム
JP2014229103A (ja) * 2013-05-23 2014-12-08 グローリー株式会社 映像解析装置及び映像解析方法
JP2015082820A (ja) * 2013-10-24 2015-04-27 キヤノン株式会社 サーバ装置、システム、情報処理方法及びプログラム
WO2015166612A1 (ja) * 2014-04-28 2015-11-05 日本電気株式会社 映像解析システム、映像解析方法および映像解析プログラム
JP2016143335A (ja) * 2015-02-04 2016-08-08 富士通株式会社 グループ対応付け装置、グループ対応付け方法及びグループ対応付け用コンピュータプログラム
JP2018061212A (ja) * 2016-10-07 2018-04-12 パナソニックIpマネジメント株式会社 監視映像解析システム及び監視映像解析方法
US20180150694A1 (en) * 2017-01-09 2018-05-31 Seematics Systems Ltd System and method for selective image processing based on type of detected object

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7843495B2 (en) * 2002-07-10 2010-11-30 Hewlett-Packard Development Company, L.P. Face recognition in a digital imaging system accessing a database of people
JP2004227519A (ja) * 2003-01-27 2004-08-12 Matsushita Electric Ind Co Ltd 画像処理方法
JP4303602B2 (ja) * 2004-01-09 2009-07-29 本田技研工業株式会社 顔面像取得システム
JP4438443B2 (ja) * 2004-02-18 2010-03-24 オムロン株式会社 画像取得装置及び捜索装置
JP2010191620A (ja) * 2009-02-17 2010-09-02 Fujitsu Ltd 不審人物検出方法、及び不審人物検出システム
JP2012079265A (ja) 2010-10-06 2012-04-19 Nec Corp 関係性判定装置、関係性判定システム、関係性判定方法および関係性判定プログラム
US9684835B2 (en) * 2012-09-13 2017-06-20 Nec Corporation Image processing system, image processing method, and program
JP6335814B2 (ja) 2015-02-18 2018-05-30 三菱電機株式会社 不審車両認識装置及び不審車両認識方法
JP6631712B2 (ja) 2015-08-28 2020-01-15 日本電気株式会社 解析装置、解析方法、及びプログラム
JP6737290B2 (ja) * 2016-01-29 2020-08-05 日本電気株式会社 情報処理装置、情報処理方法、及びプログラム
JP6284086B2 (ja) * 2016-02-05 2018-02-28 パナソニックIpマネジメント株式会社 追跡支援装置、追跡支援システムおよび追跡支援方法
WO2017163282A1 (ja) * 2016-03-25 2017-09-28 パナソニックIpマネジメント株式会社 監視装置及び監視システム
US9977970B2 (en) * 2016-06-29 2018-05-22 Conduent Business Services, Llc Method and system for detecting the occurrence of an interaction event via trajectory-based analysis
JP6885682B2 (ja) * 2016-07-15 2021-06-16 パナソニックi−PROセンシングソリューションズ株式会社 監視システム、管理装置、及び監視方法
US9965687B2 (en) * 2016-07-27 2018-05-08 Conduent Business Services, Llc System and method for detecting potential mugging event via trajectory-based analysis
JP7040463B2 (ja) * 2016-12-22 2022-03-23 日本電気株式会社 解析サーバ、監視システム、監視方法及びプログラム
US11006038B2 (en) * 2018-05-02 2021-05-11 Qualcomm Incorporated Subject priority based image capture

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003348569A (ja) * 2002-05-28 2003-12-05 Toshiba Lighting & Technology Corp 監視カメラシステム
JP2008085874A (ja) * 2006-09-28 2008-04-10 Toshiba Corp 人物監視システムおよび人物監視方法
JP2014139734A (ja) * 2013-01-21 2014-07-31 Sony Corp 情報処理装置および方法、並びにプログラム
JP2014229103A (ja) * 2013-05-23 2014-12-08 グローリー株式会社 映像解析装置及び映像解析方法
JP2015082820A (ja) * 2013-10-24 2015-04-27 キヤノン株式会社 サーバ装置、システム、情報処理方法及びプログラム
WO2015166612A1 (ja) * 2014-04-28 2015-11-05 日本電気株式会社 映像解析システム、映像解析方法および映像解析プログラム
JP2016143335A (ja) * 2015-02-04 2016-08-08 富士通株式会社 グループ対応付け装置、グループ対応付け方法及びグループ対応付け用コンピュータプログラム
JP2018061212A (ja) * 2016-10-07 2018-04-12 パナソニックIpマネジメント株式会社 監視映像解析システム及び監視映像解析方法
US20180150694A1 (en) * 2017-01-09 2018-05-31 Seematics Systems Ltd System and method for selective image processing based on type of detected object

Also Published As

Publication number Publication date
JP7302566B2 (ja) 2023-07-04
US20230260313A1 (en) 2023-08-17
JP2023078279A (ja) 2023-06-06
JP2020530970A (ja) 2020-10-29
JP7494967B2 (ja) 2024-06-04
WO2020049980A1 (en) 2020-03-12
JP6780803B2 (ja) 2020-11-04
US20220114826A1 (en) 2022-04-14
SG10201807678WA (en) 2020-04-29
US20200394395A1 (en) 2020-12-17
US11250251B2 (en) 2022-02-15

Similar Documents

Publication Publication Date Title
JP6780803B2 (ja) 少なくとも1人の対象人物の潜在的な提携者を特定するための方法、身元特定装置及びプログラム
JP7380812B2 (ja) 識別方法、識別装置、識別システム及び識別プログラム
US12120465B2 (en) Duration and potential region of interest for suspicious activities
CN110807117A (zh) 一种用户关系预测方法及装置、计算机可读存储介质
CN114332975A (zh) 识别利用模拟覆盖物部分覆盖的对象
CN105072478A (zh) 一种基于可穿戴设备的人生记录系统及其方法
CN107733874A (zh) 信息处理方法、装置、计算机设备和存储介质
US20190253372A1 (en) Methods, systems, apparatuses and devices for facilitating peer-to-peer sharing of at least one image
CN107666573A (zh) 摄像头场景下对象视频的录制方法及装置、计算设备
JP7371763B2 (ja) 対象人物のネットワークを生成する装置、方法、システム及びプログラム
CN106941586A (zh) 拍摄照片的方法和装置
US20240037760A1 (en) Method, apparatus and non-transitory computer readable medium
WO2024203903A1 (en) Method, apparatus, system and program for applying mask on object in image
US20180077136A1 (en) Common storage mode in camera
El-Shekhi et al. Smart Surveillance System Using Deep Learning
US20240152595A1 (en) Authentication method and corresponding electronic device, computer program product and medium
WO2021256184A1 (en) Method and device for adaptively displaying at least one potential subject and a target subject
US12073697B2 (en) Method, an apparatus and a system for managing an event to generate an alert indicating a subject is likely to be unauthorized
US20230037546A1 (en) Method, apparatus and non-transitory computer readable medium
CN117372441A (zh) 一种多对象分割方法及设备
CN115862105A (zh) 一种网络模型的训练方法及图像处理方法
CN115221547A (zh) 图像处理方法及装置、电子设备、计算机存储介质

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201104

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201104

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211118

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220203

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220705

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220830

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20221227

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230314

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20230314

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20230323

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20230328

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230523

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230605

R151 Written notification of patent or utility model registration

Ref document number: 7302566

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151