JP2019149793A - 情報出力装置、情報出力システム、情報出力方法及びプログラム - Google Patents

情報出力装置、情報出力システム、情報出力方法及びプログラム Download PDF

Info

Publication number
JP2019149793A
JP2019149793A JP2019037503A JP2019037503A JP2019149793A JP 2019149793 A JP2019149793 A JP 2019149793A JP 2019037503 A JP2019037503 A JP 2019037503A JP 2019037503 A JP2019037503 A JP 2019037503A JP 2019149793 A JP2019149793 A JP 2019149793A
Authority
JP
Japan
Prior art keywords
information
output
terminal device
unit
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019037503A
Other languages
English (en)
Other versions
JP6760420B2 (ja
Inventor
加藤　明
Akira Kato
加藤　　明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JP2019149793A publication Critical patent/JP2019149793A/ja
Application granted granted Critical
Publication of JP6760420B2 publication Critical patent/JP6760420B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
    • H04L63/0407—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the identity of one or more communicating identities is hidden
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/602—Providing cryptographic facilities or services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G06F21/6254—Protecting personal data, e.g. for financial or medical purposes by anonymising data, e.g. decorrelating personal data from the owner's identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19613—Recognition of a predetermined image pattern or behaviour pattern indicating theft or intrusion
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19665—Details related to the storage of video surveillance data
    • G08B13/19667—Details realated to data compression, encryption or encoding, e.g. resolution modes for reducing data volume to lower transmission bandwidth or memory requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
    • H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/913—Television signal processing therefor for scrambling ; for copy protection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G06V40/173—Classification, e.g. identification face re-identification, e.g. recognising unknown faces across different face tracks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/178—Human faces, e.g. facial parts, sketches or expressions estimating age from face image; using age information for improving recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/913—Television signal processing therefor for scrambling ; for copy protection
    • H04N2005/91357—Television signal processing therefor for scrambling ; for copy protection by modifying the video signal
    • H04N2005/91364—Television signal processing therefor for scrambling ; for copy protection by modifying the video signal the video signal being scrambled

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Business, Economics & Management (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Development Economics (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • Software Systems (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Game Theory and Decision Science (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Alarm Systems (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

【課題】防犯用の画像データとマーケティング分析用の画像データを別々に出力することができる情報出力装置を提供する。【解決手段】情報出力装置は、センサから取得情報を取得する取得部と、取得部が取得した取得情報に基づいて、個人を特定可能な第一出力情報及び個人を特定不可能な第二出力情報を出力する出力部と、を備える。【選択図】図１

Description

本発明は、情報出力装置、情報出力システム、情報出力方法及びプログラムに関する。
ＩｏＴ（Internet of Things）に関する技術の普及により、カメラで撮像した現実世界のデータを利用した様々なソリューションが提供されている。代表的な例として、警備会社が防犯カメラで撮像した画像データを遠隔から監視し、防犯に役立てるなどのセキュリティ目的で利用することが考えられる。また、売り場に観察カメラを設け、顧客の購買行動を撮像し、撮像した画像データを解析してマーケティングに役立てるという利用方法が考えられる。
カメラによって撮像した画像には、個人の顔などが写し出されており、その画像データの取り扱いが問題となる。また、セキュリティ目的のシステムでは、個人情報（個人が特定可能な画像情報）が必要となるが、マーケティング目的のシステムでは、顧客の年齢層、性別といった属性情報が識別できればよく、個人の特定までは必要とされない。その為、一般的には、セキュリティ目的の監視カメラ及びシステムとマーケティング目的の観察カメラ及びシステムを独立に設置する。この構成により、マーケティング用のシステムには、セキュリティ目的で撮像した個人情報（個人が特定可能な画像情報）が漏えいしないようにしている。
関連する技術として、特許文献１には、幼稚園などで撮像した画像データについて、ある園児の保護者がその画像データを閲覧しようとする場合に、その保護者の子供以外の園児については、顔にマスキングを行った画像データを配信することにより、他の園児のプライバシーを保護するシステムについて記載がある。
特開２００９−１５９２２１号公報
上述のようにセキュリティ用の防犯カメラ及びシステムとマーケティング用の観察カメラ及びシステムとを別々に設置すると、機器コスト、設置コスト、運用コスト、設置場所が２倍必要でコスト高、設置場所不足などの課題があった。
本発明の目的の一例は、上述した解題を解決する情報出力装置、情報出力システム、情報出力方法及びプログラムを提供することである。
本発明の一態様によれば、情報出力装置は、センサから取得情報を取得する取得部と、前記取得部が取得した前記取得情報に基づいて、個人を特定可能な第一出力情報及び個人を特定不可能な第二出力情報を出力する出力部と、を備える。
本発明の一態様によれば、情報出力システムは、情報出力装置と、第一サーバ端末装置と、第二サーバ端末装置と、を含み、前記情報出力装置は、センサから取得情報を取得する取得部と、前記取得部が取得した前記取得情報に基づいて、個人を特定可能な第一出力情報及び個人を特定不可能な第二出力情報を出力する出力部と、を備え、前記第一サーバ端末装置は、前記出力部が出力した前記第一出力情報を取得し、前記第二サーバ端末装置は、前記出力部が出力した前記第二出力情報を取得する。
本発明の一態様によれば、情報出力方法は、センサから取得情報を取得し、取得した前記取得情報に基づいて、個人を特定可能な第一出力情報及び個人を特定不可能な第二出力情報を出力する。
本発明の一態様によれば、プログラムは、情報出力装置のコンピュータに、センサから取得情報を取得し、取得した前記取得情報に基づいて、個人を特定可能な第一出力情報及び個人を特定不可能な第二出力情報を出力する、ことを実行させる。
本発明の実施形態によれば、１台のカメラで撮像した画像データを暗号化した情報と個人情報を属性情報に変換した情報を出力できる。
本発明の第一実施形態によるエッジ端末装置の構成を示す図である。 本発明の第一実施形態によるエッジ端末装置の具体的な構成を示す図である。 本発明の第一実施形態による情報出力システムの一例を示す図である。 本発明の第一実施形態によるエッジ端末装置の処理フローを示す図である。 本発明の第一実施形態による防犯システムが稼働するサーバ端末装置の処理フローを示す図である。 本発明の第一実施形態によるマーケティングシステムが稼働するサーバ端末装置の処理フローを示す図である。 本発明の第二実施形態による情報出力システムの一例を示す図である。 本発明の第三実施形態による情報出力システムの一例を示す図である。 本発明の第五実施形態によるエッジ端末装置の構成を示す図である。 本発明の第六実施形態によるカメラの構成を示す図である。
＜第一実施形態＞
以下、本発明の第一実施形態によるエッジ端末装置１を図１〜図６を参照して説明する。
図１は、本発明の第一実施形態によるエッジ端末装置１の構成を示す図である。
図１に示す通り、エッジ端末装置１は、第一出力部１２、第二出力部１３を少なくとも備えている。
第一出力部１２は、センサの取得した取得情報を出力する。
第二出力部１３は、センサの取得した取得情報に含まれる個人情報を個人が特定できない属性情報に変換して出力する。センサの取得した取得情報とは、例えば、カメラが撮像した画像データ、マイクが収音した音声、指紋、掌紋、静脈パターン、虹彩パターンなどである。
図２は、本発明の第一実施形態によるエッジ端末装置の具体的な構成を示す図である。
図２に示す通り、エッジ端末装置１は、情報取得部１１、第一出力部１２、第二出力部１３、通信部１４、出力判定部１５、記憶部１６、第一接続部１８を備えている。
第一接続部１８は、顧客が存在する空間に設置されたセンサＳに接続されている。
情報取得部１１は、第一接続部１８を介して、センサＳから顧客の行動や顧客を取り巻く環境に関する種々のセンシングデータ（実世界情報）を取得する。センシングデータとは、例えば顧客を撮像した画像データである。以下において、センサＳがカメラで、取得情報がカメラの撮像した画像データである場合を例に説明を行う。画像データは、動画および静止画を含む。
第一出力部１２は、例えば、情報取得部１１が取得した画像データにスクランブル処理（暗号化）を行って、スクランブル処理後のデータを、通信部１４を介して他の装置に出力する。他の装置とは、例えば警備会社の防犯システムを構成するサーバなどの情報処理装置である。
第二出力部１３は、取得情報に含まれる個人情報（個人が特定可能な情報）を、個人が特定できない属性情報に変換する個人情報変換処理を行う。例えば、第二出力部１３は、情報取得部１１が取得した画像データに写る個人の顔をモザイク化したり、アバタに置き換えたりしてもよい。第二出力部１３は、画像データに写る顧客の画像を、画像認識技術を用いて分析し、その顧客の年齢層、性別、位置情報などを推定してもよい。第二出力部１３は、所定期間にわたり撮像された画像データから、その画像データに写る顧客の動線、棚前行動を算出し、マーケティングに必要な顧客の振る舞いを示すデータ（テキスト化されたデータ等）を生成してもよい。第二出力部１３は、個人情報変換処理を行った画像データを、通信部１４を介して他の装置に出力する。他の装置とは、例えば、データセンタなどでマーケティング情報を分析するマーケティングシステムを構成するサーバなどの情報処理装置である。動線とは顧客の移動経路を示す情報である。棚前行動とは、顧客が商品棚の前で行う商品の選択に関する行動のことである。
通信部１４は、他の装置と通信を行う。
出力判定部１５は、第二出力部１３が行った個人情報変換処理により得られたデータを第二出力部１３から出力するか否かを判定する。
記憶部１６は、プログラムや各種情報を記憶する。
第一出力部１２、第二出力部１３、出力判定部１５は、エッジ端末装置１に備わるＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）がプログラムを実行することにより備わる機能である。
図３は、本発明の第一実施形態による情報出力システムの一例を示す図である。
図３に示す情報出力システムは、少なくとも１台のエッジ端末装置１と、少なくとも１台のカメラ（センサ）４と、サーバ端末装置２と、サーバ端末装置３と、を含む。エッジ端末装置１は、店舗１００に設置されている。カメラ４は、エッジ端末装置１に接続されている。サーバ端末装置２は、データセンタ２００に備えられている。サーバ端末装置３は、データセンタ３００に備えられている。エッジ端末装置１とは、顧客の比較的近くに設置され、データセンタ２００，３００のサーバ端末装置２，３へ送信する前に行うのが適切な処理を行う。第一実施形態では、例えば、エッジ端末装置１は、個人情報を暗号化する処理を行ったり、個人情報を個人が特定できない属性情報に変換する処理を行う。エッジ端末装置１とサーバ端末装置２及びサーバ端末装置３は、ネットワークＮＷを介して接続されている。サーバ端末装置２では、監視のための防犯システムが稼働している。サーバ端末装置３では、マーケティングシステムが稼働している。
図３が示すように、サーバ端末装置２は、通信部２１と、復号部２２と、アプリケーション実行部２３と、記憶部２４と、を備えている。通信部２１は、エッジ端末装置１、サーバ端末装置３などの他の装置との通信を行う。復号部２２は、エッジ端末装置１から取得したスクランブル処理（暗号化）済みの画像データを復号化する。アプリケーション実行部２３は、防犯システムの各アプリケーション・プログラムを実行する。記憶部２４は、諸々のアプリケーション・プログラムや復号済みの画像データを記憶する。
図３が示すように、サーバ端末装置３は、通信部３１と、アプリケーション実行部３３と、記憶部３４と、を備えている。通信部３１は、エッジ端末装置１、サーバ端末装置２などの他の装置との通信を行う。アプリケーション実行部３３は、マーケティングシステムの各アプリケーション・プログラムを実行する。記憶部２４は、諸々のアプリケーション・プログラムやエッジ端末装置１から取得した個人情報変換処理済みの画像データを記憶する。
カメラ４は、例えば、店舗１００を見渡せる位置に設けられ、店舗１００内の様子を撮像し続ける。カメラ４が撮像した画像データは、万引きや強盗などを監視する目的に用いられる他、店舗１００で買い物をする顧客の行動を把握してマーケティングに利用する目的にも用いられる。カメラ４は、撮像した画像データを、エッジ端末装置１へ出力する。エッジ端末装置１は、取得した画像データに対して、防犯用にスクランブル処理を行う。エッジ端末装置１は、スクランブル処理を行った画像データを、サーバ端末装置（エッジ端末装置１の外部）２へ送信する。また、エッジ端末装置１は、取得した画像データに対して、マーケティング用に個人情報変換処理を行う。エッジ端末装置１は、個人情報変換処理を行った画像データを、サーバ端末装置（エッジ端末装置１の外部）３へ送信する。
サーバ端末装置２では、防犯システムが稼働している。例えば警備員が、サーバ端末装置２が受信した画像データを監視する。サーバ端末装置２が受信した画像データは、データセンタ２００に設けられた記憶装置（または、記憶部２４）に証拠として所定期間保存される。
サーバ端末装置３は、エッジ端末装置１から受信した画像データや画像認識されテキスト化されたデータを対象に分析を行う。サーバ端末装置３は、分析結果に基づいて、年齢層や性別ごとの売れ筋商品を割り出してもよい。サーバ端末装置３は、分析結果に基づいて、店舗内の顧客の動線から、多くの顧客が通行する場所を算出し、商品の配置場所の参考になるような情報を生成したりするマーケティング分析を行ってもよい。動線とは、顧客が移動した経路を示す情報である。
防犯用画像データは、個人情報を含む画像データ（例えば顔が認識できる画像）であることが好ましい。なぜなら、防犯システムでは、万引きなどを行った人物を特定する必要があるからである。しかし、個人情報が含まれた画像データをそのままネットワークＮＷを介して店舗１００のエッジ端末装置１からデータセンタ２００のサーバ端末装置２へ送信すると、例えば、ネットワーク伝送中にパケットをキャプチャすることによって、その個人情報が漏えいする可能性がある。その為、エッジ端末装置１では、第一出力部１２が、送信する画像データに所定の手法でスクランブル処理（暗号化）を行う。通信部１４は、スクランブル処理後の画像データを、サーバ端末装置２へ送信する。これにより、ネットワーク伝送中の個人情報の漏えいを防ぐことができる。サーバ端末装置２は、受信した画像データに対して、スクランブル処理前の元の画像に戻すデスクランブル処理を行う。第一出力部１２がスクランブル処理した画像データを復号する復号鍵は、サーバ端末装置２だけが所有している。その為、サーバ端末装置２だけが、取得した画像データを復号化して、個人情報が含まれた元の画像データに復元することができる。一方、第三者は、第一出力部１２が、送信した画像データを入手したとしても、個人情報が含まれた元の画像データに復元することができない。このため、個人情報の漏えいを防ぐことができる。サーバ端末装置２は、復号した画像データを利用して、警備員による監視を可能にしてもよい。サーバ端末装置２は、過去に何らかの問題行動を起こしていわゆるブラックリストに登録された人物の画像データと照合して、復号した防犯用画像データにブラックリストに登録された人物が写っているかチェックしてもよい。
次に、マーケティング用データ（または画像データ）は、個人が特定できるデータを含んでいなくてもよい。なぜなら、マーケティングシステムでは、顧客の年齢層、性別など属性情報が取得できればよいからである。また、個人情報をそのまま含んだ画像データを、ネットワークＮＷを介して送受信したり、サーバ端末装置３などに保存したりすることは、個人情報の漏えいの観点から問題がある。そこで、第二出力部１３は、カメラ４が撮像した画像データに対して、画像データによって構成される画像に映った顧客の属性情報を抽出し、抽出した属性情報と、個人情報が認識できないように変換した画像データをデータセンタ３００のサーバ端末装置３へ送信する。個人情報が認識できないように変換する処理は、第二出力部１３が行う。例えば、第二出力部１３は、画像認識により、顧客の顔を認識し、顔の範囲をモザイク化する画像処理を行ってもよい。この場合、第二出力部１３は、その顧客の年齢層、性別などの属性情報を当該顧客の識別情報に紐づけて記憶部１６に記録する。第二出力部１３は、顧客の顔画像をアバタ画像で置き換えてもよい。この場合、置き換えられるアバタ画像は、その顧客の年齢層、性別などの属性情報に紐づけられたアバタ画像である。第二出力部１３は、顧客の属性情報をアバタ画像の識別情報に紐づけて記憶部１６に記録してもよい。第二出力部１３は、個人情報を変換した画像データと共に顧客の属性情報を顧客やアバタ画像と紐づけたデータもサーバ端末装置３へ送信する。個人情報を変換した画像データであれば、ネットワークＮＷを介した送受信の際に盗み見られても個人情報の漏えいが起こる心配が無い。また、マーケティング分析のためにサーバ端末装置３に個人情報を変換した画像データを保存しておいても、個人情報の扱いに気を使う必要が無い。
サーバ端末装置３は、個人情報が認識できないように変換した画像データと顧客の属性情報を取得するので、マーケティング分析を行うことができる。例えば、サーバ端末装置３は、個人情報変換処理後の画像データと顧客の属性情報を取得して、各顧客の店舗における移動経路を示す動線、どの商品を手に取って実際に購入したかあるいは棚に戻したのかなどの棚前行動の分析を行ってもよい。本明細書では、属性情報は、顧客の年齢層および性別だけでなく、動線や棚前行動、顧客の位置情報などを含む。つまり、第二出力部１３が、マーケティング分析を行う機能を備え、その機能によって動線や棚前行動の分析を行い、顧客の年齢層、性別、動線、棚前行動などを含んだ情報をテキストデータとして生成してもよい。さらに、第二出力部１３は、このテキストデータをサーバ端末装置３に送信してもよい。
次に、エッジ端末装置１による出力処理について説明する。
図４は、本発明の第一実施形態によるエッジ端末装置１の処理フローを示す第一の図である。
図４を参照して、エッジ端末装置１が画像データを変換して出力する処理について説明する。前提として、カメラ４によって店舗１００の様子が撮像されている状態であるとする。
まず、エッジ端末装置１にて、情報取得部１１が、カメラ４からカメラ４が撮像した画像データを取得する（ステップＳ１１）。情報取得部１１は、取得した画像データを第一出力部１２へ出力する。次に、第一出力部１２が、例えば記憶部１６に予め記録された暗号鍵を取得する（ステップＳ１２）。次に、第一出力部１２が、暗号鍵を用いて、情報取得部１１から取得した画像データにスクランブル処理を行う（ステップＳ１３）。暗号鍵は、例えば、防犯システム側から提供された公開鍵、共通鍵などである。スクランブル処理は、公知の画像暗号化の手法を用いて行えばよい。次に第一出力部１２は、スクランブル処理後の防犯用画像データを、通信部１４を介してサーバ端末装置２へ送信する（ステップＳ１４）。
エッジ端末装置１は、ステップＳ１２〜ステップＳ１４の処理と並行して、以下の処理を行う。まず、出力判定部１５は、第二出力部１３からマーケティング用画像データの出力を行うか否かを判定する（ステップＳ１５）。例えば、現在の時刻が店舗１００の営業時間内でなければ、店舗１００内には顧客がおらず購買行動が発生しない。このため、マーケティング用の画像データとしての利用価値は低い。従って、顧客がいない時間帯では、マーケティング用画像データの出力を行わなくてもよい。この場合、例えば、予め記憶部１６に、店舗１００の営業時間が記録されている。出力判定部１５は、記憶部１６から営業時間の情報を読み出して、現在の時刻が営業時間に含まれているかどうか判定する。出力判定部１５は、現在時刻が営業時間に含まれていれば、マーケティング用画像データの出力を行うと判定する。現在の時刻が営業時間内であっても顧客がいなければ、マーケティング用画像データの出力を行わなくてもよい。この場合、予め店員の顔画像が記憶部１６に記録されている。出力判定部１５は、情報取得部１１から画像データを取得し、画像認識により、取得した画像データに店員以外の人物が写っているかどうかを確認する。出力判定部１５は、画像データに店員以外の人物が写っている場合は、マーケティング用画像データの出力を行うと判定してもよい。
出力判定部１５がマーケティング用画像データの出力を行うと判定すると（ステップＳ１５：Ｙｅｓ）、情報取得部１１は、取得した画像データを第二出力部１３へ出力する。
第二出力部１３は、取得した画像データについて個人情報変換処理を行う（ステップＳ１６）。第二出力部１３は、取得した画像データから映像に映っている人物を認識し、各人物の顔画像に基づいて各人物の年齢層や性別を公知の顔認識技術などを用いて推定する。
第二出力部１３は、例えば、その人物の着ている衣服の色などを公知の色認識技術により認識し、その人物を識別する目印にして、推定した性別等の属性情報と人物とを対応付けて記憶部１６に記録してもよい。属性情報と人物とを対応付けた情報とは、例えば、「赤い服を着た顧客」という人物に、「性別：女性」および「年齢層：２０代」という属性情報が対応付けられた情報である。
別法として、第二出力部１３は、以下のような処理を行ってもよい。すなわち、第二出力部１３は、推定した年齢層、性別に対応する予め記憶されたアバタ画像を記憶部１６から読み出す。第二出力部１３は、その人物の顔画像を顔認識技術により認識する。第二出力部１３は、その人物の顔画像を、その人物の顔の輪郭が似ているアバタ画像で置き換える。
さらに別法として、第二出力部１３がマーケティング分析機能を持つ場合、以下のような処理を行ってもよい。すなわち、第二出力部１３は、所定時間に渡って撮像された画像データを取得する。第二出力部１３は、各人物の着ている衣服などを目印にして、例えば特徴点抽出及び物体追跡技術などの公知の技術により各映像における人物の位置情報を算出する。さらに、第二出力部１３は、時系列の位置情報に基づいて人物ごとの動線を算出してもよい。第二出力部１３は、複数の時系列の画像データから腕の動きや顔の向きの変化を検出し、人物が商品棚に手をのばした動きや、視線を向ける方向などから、人物の棚前行動を分析してもよい。第二出力部１３は、年齢層、性別に加え、動線や棚前行動などの情報をテキスト化したデータを生成してもよい。テキスト化したデータとは、例えば「顧客００１、男、２０代、Ａ棚〜Ｂ棚を移動、商品Ｃを手に取って購入」などの情報である。第二出力部１３は、第二出力部１３に個人情報が分からないように変換した画像データまたは、テキスト化したデータを出力する。第二出力部１３は、マーケティング用画像データ（属性情報、テキスト化したデータを含む）をサーバ端末装置３へ送信する（ステップＳ１７）。
出力判定部１５がマーケティング用画像データの出力を行わないと判定した場合（ステップＳ１５：Ｎｏ）、処理がステップＳ１８に進む。
次に、例えば、管理者の撮像停止操作などによって、カメラ４が撮像を終了すると（ステップＳ１８：Ｙｅｓ）、本処理フローは終了する。カメラ４が撮像を継続する間であれば（ステップＳ１８：Ｎｏ）、ステップＳ１１からの処理を繰り返す。
ステップＳ１３にて、暗号鍵が予め記憶部１６に記録されている場合を例に説明を行ったが、第一実施形態はこのような構成に限定されない。一例として、サーバ端末装置２が暗号鍵生成部２５（図３参照）を備えている場合について説明する。この場合、暗号鍵生成部２５が所定時間ごとに暗号鍵（ワンタイムパスワード）を生成する。通信部２１がその暗号鍵を送信する。通信部１４がその暗号鍵をネットワークＮＷを介して取得する。第一出力部１２がその暗号鍵でスクランブル処理を行う。
出力判定部１５は、画像認識により、画像データに人が含まれているかどうかを判定し、画像データに人が含まれている場合のみ、第一出力部１２がスクランブル処理を行うようにしても良い。第一出力部１２は、画像認識により、人の顔を認識し、人の顔の画像に対してのみスクランブル処理を行うようにしても良い。
図５は、本発明の第一実施形態による防犯システムが稼働するサーバ端末装置２の処理フローを示す図である。
図５を参照して、サーバ端末装置２で稼働する防犯システムがエッジ端末装置１から取得した画像データを利用するまでの処理について説明する。
まず、サーバ端末装置２では、通信部２１が、防犯用画像データを、ネットワークを介して取得する（ステップＳ２１）。通信部２１は、取得した防犯用画像データを復号部２２へ出力する。次に、復号部２２は、例えば、第一出力部１２がスクランブル処理に用いた公開鍵に対応する秘密鍵を用いて、取得した防犯用画像データを復号化するデスクランブル処理を行う（ステップＳ２２）。復号部２２は、復号化された個人情報を含む画像データを記憶部２４に記録する。次に、アプリケーション実行部２３は、防犯システムのアプリケーション・プログラムを実行してデスクランブル後の画像データを利用する（ステップＳ２３）。画像データの利用に関する具体例について説明する。例えば、アプリケーション実行部２３は、画像データによって構成される画像に映った人物の画像データと、ブラックリストに登録された人物の画像データ等とを顔認識技術により照合し、危険視される人物が店舗１００に存在するかどうかを判定してもよい。別の例として、警備員がリアルタイムに監視を行い、店舗１００において強盗、万引きなどの発生を見つけた場合、画像データを事件に関与する人物を特定するために使用してもよい。
図６は、本発明の第一実施形態によるマーケティングシステムが稼働するサーバ端末装置３の処理フローを示す図である。
図６を参照して、サーバ端末装置３で稼働するマーケティングシステムがエッジ端末装置１から取得した画像データを利用するまでの処理について説明する。
まず、サーバ端末装置３では、通信部３１が、マーケティング用画像データを、ネットワークＮＷを介して取得する（ステップＳ３１）。通信部３１は、取得したマーケティング用画像データを記憶部３４に記録する。次に、アプリケーション実行部３３は、マーケティングシステムのアプリケーション・プログラムを実行して個人情報が属性情報に変換された画像データや属性情報を利用する（ステップＳ３２）。画像データや属性情報の利用の具体例について説明する。例えば、プリケーション実行部３３は画像データに映った顧客の属性情報（年齢層、性別、動線、棚前行動）から、商品の需要を予測したり、年齢層、性別、地域、季節などに応じた購買動向を分析したりすることにより、販売促進に役立つ情報を生成してもよい。
第一の実施形態によれば、防犯用の防犯カメラ及びシステムと、マーケティング用の観察カメラ及びシステムを別々に設置することなく、防犯用の個人情報が含まれたデータとマーケティング用の顧客の属性情報が含まれたデータを出力することができる。
＜第二実施形態＞
以下、本発明の第二実施形態による情報出力システムを、図７を参照して説明する。
図７は、本発明の第二実施形態による情報出力システムの一例を示す図である。図７を参照して、第二実施形態が第一実施形態と相違する部分について説明する。
図７で示すように、第二実施形態による情報出力システムでは、エッジ端末装置１に外部端末ユニット５が接続されている。外部端末ユニット５は、例えば、サーバ端末装置２の防犯システムの運営者からその防犯システムのサービスを利用する店舗１００へ提供される。外部端末ユニット５は、例えば、ＵＳＢドングルである。外部端末ユニット５には、スクランブル処理を行う暗号化プログラム及び暗号鍵が記録されている。エッジ端末装置１の第一出力部１２は、外部端末ユニット５に記録された暗号化プログラムを呼び出して実行し、情報取得部１１から取得した画像データに対してスクランブル処理を行う。
外部端末ユニット５が接続されない場合、第一出力部１２は動作せず、画像データの出力を行うことができない。サーバ端末装置２では、外部端末ユニット５に記録された暗号鍵に対応する復号鍵が記憶部２４に記録されている。復号部２２は、この復号鍵を用いて画像データに対してデスクランブル処理を行う。
このように第一出力部１２のスクランブル処理機能の一部を外部端末ユニット５に分散している。さらに、外部端末ユニット５の提供元が、防犯システムの運営者である。このため、防犯システムの運営者は、画像データの暗号化に関する情報を秘匿することができる。その結果、セキュリティの確保がしやすい。
また、エッジ端末装置１がスクランブル処理機能を実装しなくてよいので、開発コストを抑えることができる。
＜第三実施形態＞
以下、本発明の第三実施形態による情報出力システムを、図８を参照して説明する。
図８は、本発明の第三実施形態による情報出力システムの一例を示す図である。図８を参照して、第三実施形態が第一〜二実施形態と相違する部分について説明する。
図８で示すように、第三実施形態による情報出力システムでは、エッジ端末装置１にカード読取装置６が接続されている。すなわち、エッジ端末装置１は、カード読取装置６が接続されている第二接続部１９を有する。カード読取装置６には、暗号鍵が記録された鍵カード７が装着されている。エッジ端末装置１の第一出力部１２は、第二接続部１９を介して鍵カード７に記録された暗号鍵を読み出す。第一出力部１２は、読み出した暗号鍵を利用して、情報取得部１１から取得した画像データに対してスクランブル処理を行う。同様に、サーバ端末装置２にカード読取装置８が接続されている。すなわち、サーバ端末装置２は、カード読取装置８が接続されている接続部２６を有する。カード読取装置８には、例えば鍵カード９が装着されている。鍵カード９には、鍵カード７の暗号鍵に対応する復号鍵が記録されている。サーバ端末装置２では、復号部２２が、鍵カード９に記録された復号鍵を用いて、エッジ端末装置１から取得したスクランブル処理後の画像データを復号化する。鍵カード７、鍵カード９として、例えばＩＣカードを用いてもよい。
このように、第三実施形態では、暗号鍵をモジュール化して着脱可能な媒体（鍵カード）に記録する。正式な認証機関により発行された電子証明書が格納された鍵カード７，９を用いることで、暗号システムの信頼性を担保し、個人情報の漏えいリスクを低減することができる。
＜第四実施形態＞
第一〜三実施形態では、情報取得部１１が取得する取得情報が画像データの場合を例に説明を行った。第四実施形態は、取得情報が画像データ以外の実施形態である。
［取得情報が音声の場合］
取得情報が音声の場合、エッジ端末装置１に接続されたセンサＳは、収音機能を備えた例えば、マイクである。第一出力部１２は、マイクの取得した音声データを暗号化して出力する。第二出力部１３は、取得した音声データから発話者の年齢層、性別を推定し、推定した情報をその音声データと紐づけて記憶部１６に記録する。第二出力部１３は、個人情報変換処理として、声紋分析することで個人を特定できないように取得した音声データに帯域圧縮、ノイズ付加等の処理を行う。そして、第二出力部１３は、これらの個人情報変換処理を行った後の音声データを出力する。第二出力部１３は、個人情報変換処理を行った後の音声データとともに属性情報を出力してもよい。第二出力部１３は、発話者の年齢層などだけではなく、話している内容を音声認識技術によりテキストデータ等に変換して、テキストデータ等を出力してもよい。
取得情報が音声の場合、性別、年齢層、話している内容などの情報が属性情報である。
サーバ端末装置２では、復号部２２が暗号化された音声を復号化する。アプリケーション実行部２３が実行した防犯システムのアプリケーション・プログラムが復号化後の音声データを監視に用いてもよい。アプリケーション実行部２３は、復号化後の音声データを証拠として記憶部２４に記録してもよい。
サーバ端末装置３では、アプリケーション実行部３３が実行したマーケティングシステムのアプリケーション・プログラムが、通信部３１を介して取得した属性情報および変換後の音声データ、または音声認識されたテキストデータを用いて店舗１００を訪れた顧客のニーズの分析などを行う。例えば、各店員にマイクを装着させ、店員と顧客の会話を分析することで、例えば、顧客がどんな商品を探しているか、あるいは、顧客からのクレームなどを分析し、よりよい店舗づくりに活用することができる。
［取得情報が指紋、掌紋、静脈パターン、虹彩パターンなどの場合］
取得情報が指紋データの場合、センサＳは指紋センサである。今日では、指紋データなどによる生体認証の活用が進んでいる。店舗１００にて指紋センサが設けられている場合の具体例について以下に説明する。
店舗１００では、様々な特典が与えられる特別顧客の制度が導入されている。ある顧客が店舗１００の特別顧客となる条件として、事前にその顧客の指紋データとその顧客の個人情報とをエッジ端末装置１の記憶部１６に対応付けて記録される。その顧客が入り口やレジで指紋センサに指を接触させ認証を行うと、その顧客に対して、例えば来店したことに対して毎回ポイントが加算される。レジで指紋認証を行うと購入した金額に応じたポイントが付与される。この場合、第一出力部１２は、エッジ端末装置１に接続された指紋センサから取得した指紋データを暗号化して出力する。第二出力部１３は、取得した指紋データからエッジ端末装置１の記憶部１６に指紋データと対応付けて記録されている顧客の個人情報からこの顧客の年齢層、性別などの情報を取得する。記憶部１６に、指紋データと対応付けて、顧客ごとに、その顧客は優良顧客か、来店回数などの情報が記録されている場合、第二出力部１３は、それらの情報を読み出してもよい。これらの情報、すなわち、性別、年齢層、優良顧客か否か、来店回数などの情報は属性情報である。第二出力部１３は、情報取得部１１から取得した指紋データに対応する属性情報を出力する。
サーバ端末装置２では、復号部２２が暗号化された指紋データを復号化する。アプリケーション実行部２３が実行した防犯システムのアプリケーション・プログラムが復号化後の指紋データを例えば店舗１００の位置情報や指紋データを取得した時刻に対応付けて記憶部２４に記録する。これによりこの顧客がその時刻に店舗１００に存在した証拠となる。
サーバ端末装置３では、アプリケーション実行部３３が実行したマーケティングシステムのアプリケーション・プログラムが、通信部３１を介して取得した属性情報を用いて店舗１００を訪れた特別顧客の購買行動の分析などを行う。例えば、店舗１００がチェーン店の場合、特別顧客の複数店舗を跨った購買行動を知ることができる。取得情報が掌紋、静脈パターン、虹彩パターンの場合についても指紋データの場合と同様である。
＜第五実施形態＞
第五実施形態は、出力部が一つしかない場合の実施形態である。以下、本発明の第五実施形態によるエッジ端末装置１を、図９を参照して説明する。
図９は、本発明の第五実施形態によるエッジ端末装置１の構成を示す図である。
図９に示す通り、エッジ端末装置１は、出力部１７を少なくとも備えている。
出力部１７は、センサの取得した取得情報を出力する第一出力情報と、センサの取得した取得情報に含まれる個人情報を個人が特定できない属性情報に変換した第二出力情報と、のうち少なくとも一方を出力する。
第五実施形態におけるエッジ端末装置１の具体的な構成の一例について説明する。第五実施形態におけるエッジ端末装置１は、出力部１７の他に、情報取得部１１、通信部１４、出力判定部１５、記憶部１６を備えている。これらの構成については、図２を参照して説明した構成と同様である。
第五実施形態の処理フローについて図４を参照して説明を行う。まず、情報取得部１１が、カメラ４が撮像した画像データを取得する（ステップＳ１１）。情報取得部１１は、取得した画像データを出力部１７へ出力する。次に、出力部１７は、暗号鍵を取得し（ステップＳ１２）、情報取得部１１から取得した画像データに対してスクランブル処理を行う（ステップＳ１３）。次に、出力部１７は、通信部１４のうちサーバ端末装置２へ接続された通信インタフェースを選択し、その通信インタフェースを介してスクランブル処理後の防犯用画像データ（第一出力情報）を、サーバ端末装置２へ送信する（ステップＳ１４）。
出力判定部１５は、マーケティング用画像データを出力するかどうかを判定し（ステップＳ１５）、その結果を出力部１７へ出力する。出力判定部１５は、画像認識により、画像データに人が含まれているかどうかを判定し、画像データに人が含まれている場合のみマーケティング用画像データを出力すると判定してもよい。出力判定部１５がマーケティング用画像データを出力すると判定した場合、出力部１７は、情報取得部１１から取得した画像データに対して、個人情報変換処理を行い（ステップＳ１６）、マーケティング用画像データ（属性情報、テキスト化したデータを含む）を生成する。次に、出力部１７は、通信部１４のうちサーバ端末装置３へ接続された通信インタフェースを選択し、その通信インタフェースを介して生成したマーケティング用画像データ（第二出力情報）をサーバ端末装置３へ送信する（ステップＳ１７）。他の処理ステップは、第一実施形態と同様である。
出力判定部１５が画像認識により、画像データに人が含まれているかどうかを判定し、画像データに人が含まれている場合のみ、防犯用画像データをサーバ端末装置２へ送信してもよい。
＜第六実施形態＞
以下、本発明の第六実施形態によるカメラ５を、図１０を参照して説明する。
図１０に示すように、カメラ５は、エッジ端末装置１とカメラ機能部５１とを有する。図１０に示すエッジ端末装置１の構成および機能は、第一接続部１８にセンサＳの代わりにカメラ機能部５１が接続されている点を除いて図１に示すエッジ端末装置１と同じである。カメラ機能部５１の構成および機能は、図３に示すカメラ４と同様である。
上述のエッジ端末装置１は内部にコンピュータを有している。そして、上述したエッジ端末装置１の各処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータがそのプログラムを実行するようにしてもよい。
上記プログラムは、前述した機能の一部を実現するためのプログラムであってもよい。
上記プログラムは、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
その他、本発明の趣旨を逸脱しない範囲で、上記した実施の形態における構成要素を周知の構成要素に置き換えることは適宜可能である。例えば、動画データは音声データや静止画像の画像データでもよい。また、この発明の技術範囲は上記の実施形態に限られるものではなく、本発明の趣旨を逸脱しない範囲において種々の変更を加えることが可能である。エッジ端末装置１は、情報出力装置の一例である。サーバ端末装置２は、第一サーバ端末装置の一例である。サーバ端末装置３は、第二サーバ端末装置の一例である。外部端末ユニット５は、外部接続装置の一例である。
この出願は、２０１５年１月１５日に出願された日本国特願２０１５−００５５３８を基礎とする優先権を主張し、その開示の全てをここに取り込む。
本発明は、情報出力装置、カメラ、情報出力システム、情報出力方法及びプログラムに適用してもよい。
１・・・エッジ端末装置
２・・・サーバ端末装置
３・・・サーバ端末装置
４・・・カメラ
５・・・外部端末ユニット
６、８・・・カード読取装置
７、９・・・鍵カード
１１・・・情報取得部
１２・・・第一出力部
１３・・・第二出力部
１４・・・通信部
１５・・・出力判定部
１６・・・記憶部
１８・・・第一接続部
１９・・・第二接続部
２１、３１・・・通信部
２２・・・復号部
２３、３３・・・アプリケーション実行部
２４、３４・・・記憶部
２６・・・接続部
５１・・・カメラ機能部

Claims (9)

  1. センサから取得情報を取得する取得部と、
    前記取得部が取得した前記取得情報に基づいて、個人を特定可能な第一出力情報及び個人を特定不可能な第二出力情報を出力する出力部と、
    を備える情報出力装置。
  2. 前記第二出力情報は、前記個人の性別を示す情報、前記個人の年齢層を示す情報、及び前記個人の時系列の位置情報から算出された前記個人の移動経路を示す情報、のうち少なくともいずれかを含む、
    請求項１に記載の情報出力装置。
  3. 前記第一出力情報は、暗号化された前記取得情報である、
    請求項１または請求項２に記載の情報出力装置。
  4. 前記取得情報に個人情報が含まれるか否かを判定する判定部、をさらに備え、
    前記出力部は、前記判定部が前記取得情報に前記個人情報が含まれると判定した場合に、前記第二出力情報を出力する、
    請求項１から請求項３のいずれか一項に記載の情報出力装置。
  5. 前記出力部は、第一サーバ端末装置に前記第一出力情報を出力し、第二サーバ端末装置に前記第二出力情報を出力する、
    請求項１から請求項４のいずれか一項に記載の情報出力装置。
  6. 情報出力装置と、第一サーバ端末装置と、第二サーバ端末装置と、を含み、
    前記情報出力装置は、
    センサから取得情報を取得する取得部と、
    前記取得部が取得した前記取得情報に基づいて、個人を特定可能な第一出力情報及び個人を特定不可能な第二出力情報を出力する出力部と、を備え、
    前記第一サーバ端末装置は、前記出力部が出力した前記第一出力情報を取得し、
    前記第二サーバ端末装置は、前記出力部が出力した前記第二出力情報を取得する、
    情報出力システム。
  7. 前記第一出力情報は、暗号化された前記取得情報であり、
    前記第一サーバ端末装置は、取得した前記第一出力情報を復号化する復号部を備える、
    請求項６に記載の情報出力システム。
  8. センサから取得情報を取得し、
    取得した前記取得情報に基づいて、個人を特定可能な第一出力情報及び個人を特定不可能な第二出力情報を出力する、
    情報出力方法。
  9. 情報出力装置のコンピュータに、
    センサから取得情報を取得し、
    取得した前記取得情報に基づいて、個人を特定可能な第一出力情報及び個人を特定不可能な第二出力情報を出力する、
    ことを実行させるためのプログラム。
JP2019037503A 2015-01-15 2019-03-01 情報出力装置、情報出力システム、情報出力方法及びプログラム Active JP6760420B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015005538 2015-01-15
JP2015005538 2015-01-15

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2016569527A Division JP6493417B2 (ja) 2015-01-15 2016-01-15 情報出力装置、カメラ、情報出力システム、情報出力方法及びプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2020147699A Division JP2021002838A (ja) 2015-01-15 2020-09-02 情報処理装置、情報処理システム及び情報処理方法

Publications (2)

Publication Number Publication Date
JP2019149793A true JP2019149793A (ja) 2019-09-05
JP6760420B2 JP6760420B2 (ja) 2020-09-23

Family

ID=56405932

Family Applications (7)

Application Number Title Priority Date Filing Date
JP2016569527A Active JP6493417B2 (ja) 2015-01-15 2016-01-15 情報出力装置、カメラ、情報出力システム、情報出力方法及びプログラム
JP2019037503A Active JP6760420B2 (ja) 2015-01-15 2019-03-01 情報出力装置、情報出力システム、情報出力方法及びプログラム
JP2020147699A Pending JP2021002838A (ja) 2015-01-15 2020-09-02 情報処理装置、情報処理システム及び情報処理方法
JP2021134113A Pending JP2021184639A (ja) 2015-01-15 2021-08-19 情報出力装置、情報処理システム、カメラ、情報処理方法及びプログラム
JP2021134114A Pending JP2021192524A (ja) 2015-01-15 2021-08-19 情報出力装置、情報出力システム、情報出力方法、プログラム及びカメラ
JP2023063597A Pending JP2023076763A (ja) 2015-01-15 2023-04-10 情報出力装置、情報出力方法及びプログラム
JP2023063596A Pending JP2023076762A (ja) 2015-01-15 2023-04-10 情報出力装置、情報処理方法及びプログラム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2016569527A Active JP6493417B2 (ja) 2015-01-15 2016-01-15 情報出力装置、カメラ、情報出力システム、情報出力方法及びプログラム

Family Applications After (5)

Application Number Title Priority Date Filing Date
JP2020147699A Pending JP2021002838A (ja) 2015-01-15 2020-09-02 情報処理装置、情報処理システム及び情報処理方法
JP2021134113A Pending JP2021184639A (ja) 2015-01-15 2021-08-19 情報出力装置、情報処理システム、カメラ、情報処理方法及びプログラム
JP2021134114A Pending JP2021192524A (ja) 2015-01-15 2021-08-19 情報出力装置、情報出力システム、情報出力方法、プログラム及びカメラ
JP2023063597A Pending JP2023076763A (ja) 2015-01-15 2023-04-10 情報出力装置、情報出力方法及びプログラム
JP2023063596A Pending JP2023076762A (ja) 2015-01-15 2023-04-10 情報出力装置、情報処理方法及びプログラム

Country Status (3)

Country Link
US (8) US20180025175A1 (ja)
JP (7) JP6493417B2 (ja)
WO (1) WO2016114392A1 (ja)

Families Citing this family (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6493417B2 (ja) * 2015-01-15 2019-04-03 日本電気株式会社 情報出力装置、カメラ、情報出力システム、情報出力方法及びプログラム
KR102361088B1 (ko) * 2015-11-27 2022-02-09 한화테크윈 주식회사 영상 공유 방법
US10430600B2 (en) * 2016-01-20 2019-10-01 International Business Machines Corporation Mechanisms for need to know and leak avoidance
JP2018055599A (ja) * 2016-09-30 2018-04-05 日本電気株式会社 情報処理方法、プログラム、情報処理システム、及び情報処理装置
JP6920647B2 (ja) * 2016-10-31 2021-08-18 パナソニックＩｐマネジメント株式会社 集合住宅用インターホンシステム、集合住宅用インターホンシステムの制御方法、及びプログラム
US10785341B2 (en) * 2016-11-21 2020-09-22 Intel Corporation Processing and caching in an information-centric network
US10839203B1 (en) 2016-12-27 2020-11-17 Amazon Technologies, Inc. Recognizing and tracking poses using digital imagery captured from multiple fields of view
JP6864847B2 (ja) * 2017-01-18 2021-04-28 東芝ライテック株式会社 管理装置、管理システムおよび管理方法
GB2560177A (en) 2017-03-01 2018-09-05 Thirdeye Labs Ltd Training a computational neural network
GB2560387B (en) 2017-03-10 2022-03-09 Standard Cognition Corp Action identification using neural networks
US10699421B1 (en) 2017-03-29 2020-06-30 Amazon Technologies, Inc. Tracking objects in three-dimensional space using calibrated visual cameras and depth cameras
CN107563283B (zh) * 2017-07-26 2023-01-06 百度在线网络技术（北京）有限公司 生成攻击样本的方法、装置、设备及存储介质
US10474988B2 (en) 2017-08-07 2019-11-12 Standard Cognition, Corp. Predicting inventory events using foreground/background processing
US11250376B2 (en) 2017-08-07 2022-02-15 Standard Cognition, Corp Product correlation analysis using deep learning
US11200692B2 (en) 2017-08-07 2021-12-14 Standard Cognition, Corp Systems and methods to check-in shoppers in a cashier-less store
US10650545B2 (en) 2017-08-07 2020-05-12 Standard Cognition, Corp. Systems and methods to check-in shoppers in a cashier-less store
US10474991B2 (en) 2017-08-07 2019-11-12 Standard Cognition, Corp. Deep learning-based store realograms
US10445694B2 (en) 2017-08-07 2019-10-15 Standard Cognition, Corp. Realtime inventory tracking using deep learning
US11232687B2 (en) 2017-08-07 2022-01-25 Standard Cognition, Corp Deep learning-based shopper statuses in a cashier-less store
US11023850B2 (en) 2017-08-07 2021-06-01 Standard Cognition, Corp. Realtime inventory location management using deep learning
US10853965B2 (en) 2017-08-07 2020-12-01 Standard Cognition, Corp Directional impression analysis using deep learning
US10133933B1 (en) * 2017-08-07 2018-11-20 Standard Cognition, Corp Item put and take detection using image recognition
WO2019053789A1 (ja) * 2017-09-12 2019-03-21 日本電気株式会社 情報処理装置、制御方法、及びプログラム
US10929561B2 (en) * 2017-11-06 2021-02-23 Microsoft Technology Licensing, Llc Removing personally identifiable data before transmission from a device
US11284041B1 (en) 2017-12-13 2022-03-22 Amazon Technologies, Inc. Associating items with actors based on digital imagery
US10607484B2 (en) 2017-12-28 2020-03-31 Intel Corporation Privacy-preserving distributed visual data processing
US10797863B2 (en) * 2017-12-28 2020-10-06 Intel Corporation Multi-domain cascade convolutional neural network
JP7308573B2 (ja) * 2018-05-24 2023-07-14 株式会社ユピテル システム及びプログラム等
US11468698B1 (en) 2018-06-28 2022-10-11 Amazon Technologies, Inc. Associating events with actors using digital imagery and machine learning
US11468681B1 (en) 2018-06-28 2022-10-11 Amazon Technologies, Inc. Associating events with actors using digital imagery and machine learning
US11482045B1 (en) 2018-06-28 2022-10-25 Amazon Technologies, Inc. Associating events with actors using digital imagery and machine learning
SE543586C2 (en) * 2018-09-07 2021-04-06 Indivd Ab System and method for handling anonymous biometric and/or behavioural data
WO2020109623A1 (en) * 2018-11-30 2020-06-04 Nagravision S.A. Secured transmission of content
JP2020091770A (ja) * 2018-12-07 2020-06-11 コニカミノルタ株式会社 情報処理装置、情報処理システム、情報処理方法、プログラムおよび記録媒体
US11232575B2 (en) 2019-04-18 2022-01-25 Standard Cognition, Corp Systems and methods for deep learning-based subject persistence
KR102314941B1 (ko) * 2019-10-08 2021-10-21 한국전자통신연구원 사생활 보호를 위한 카메라 보조 장치 및 이를 이용한 사생활 보호 방법
US11036781B1 (en) * 2020-01-30 2021-06-15 Snap Inc. Video generation system to render frames on demand using a fleet of servers
EP4096798A1 (en) 2020-01-30 2022-12-07 Snap Inc. System for generating media content items on demand
US11284144B2 (en) 2020-01-30 2022-03-22 Snap Inc. Video generation system to render frames on demand using a fleet of GPUs
US11356720B2 (en) 2020-01-30 2022-06-07 Snap Inc. Video generation system to render frames on demand
US11398094B1 (en) 2020-04-06 2022-07-26 Amazon Technologies, Inc. Locally and globally locating actors by digital cameras and machine learning
US11443516B1 (en) 2020-04-06 2022-09-13 Amazon Technologies, Inc. Locally and globally locating actors by digital cameras and machine learning
EP3905087B1 (en) * 2020-04-27 2023-01-18 Brighter AI Technologies GmbH Method and system for selective and privacy-preserving anonymization
US11361468B2 (en) 2020-06-26 2022-06-14 Standard Cognition, Corp. Systems and methods for automated recalibration of sensors for autonomous checkout
US11303853B2 (en) 2020-06-26 2022-04-12 Standard Cognition, Corp. Systems and methods for automated design of camera placement and cameras arrangements for autonomous checkout
WO2022254681A1 (ja) * 2021-06-04 2022-12-08 日本電気株式会社 画像解析サーバ、画像解析システム、画像解析方法及び非一時的なコンピュータ可読媒体
JP7133257B1 (ja) 2022-01-14 2022-09-08 株式会社キッズプレート プログラム、情報処理方法、情報処理装置、および情報処理システム
WO2024014278A1 (ja) * 2022-07-11 2024-01-18 ソニーセミコンダクタソリューションズ株式会社 撮像装置およびデータ出力方法

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002305704A (ja) * 2001-04-05 2002-10-18 Canon Inc 画像記録システム及び方法
JP2004328622A (ja) * 2003-04-28 2004-11-18 Matsushita Electric Ind Co Ltd 行動パターン識別装置
US20050180595A1 (en) * 2004-02-18 2005-08-18 Youichi Horii Image distribution system of surveillance camera
JP2006319775A (ja) * 2005-05-13 2006-11-24 Matsushita Electric Ind Co Ltd 映像配信システム
JP2008225734A (ja) * 2007-03-12 2008-09-25 Mitsubishi Electric Corp 移動体行動解析装置
JP2011077811A (ja) * 2009-09-30 2011-04-14 Oki Electric Industry Co Ltd 画像処理装置および画像処理方法
JP2011164811A (ja) * 2010-02-08 2011-08-25 Hitachi Ltd 情報処理装置及び情報処理システム
JP2013092855A (ja) * 2011-10-25 2013-05-16 Sony Corp 画像処理装置およびプログラム
JP2013115656A (ja) * 2011-11-29 2013-06-10 Olympus Imaging Corp 撮影機器
US20140247272A1 (en) * 2011-10-25 2014-09-04 Sony Corporation Image processing apparatus, method and computer program product
US20140313327A1 (en) * 2013-04-22 2014-10-23 Panasonic Corporation Processing device, integrated circuit, processing method, and recording medium
JP2014207541A (ja) * 2013-04-12 2014-10-30 パナソニック株式会社 通信システム、画像生成方法、及び通信装置

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4230049B2 (ja) 1999-05-10 2009-02-25 株式会社野村総合研究所 顧客画像データベース作成装置
JP2002288300A (ja) * 2001-03-28 2002-10-04 Toshiba Lighting & Technology Corp カメラシステム
JP2003067551A (ja) 2001-08-29 2003-03-07 Hitachi Ltd マーケティング調査方法、及びマーケティング調査のためのシステム
JP2003087771A (ja) * 2001-09-07 2003-03-20 Oki Electric Ind Co Ltd 監視システム及び方法
US8010402B1 (en) * 2002-08-12 2011-08-30 Videomining Corporation Method for augmenting transaction data with visually extracted demographics of people using computer vision
JP2004355453A (ja) * 2003-05-30 2004-12-16 Matsushita Electric Ind Co Ltd マーケティング用情報取得システム
JP2005094642A (ja) 2003-09-19 2005-04-07 Optex Co Ltd 監視カメラシステム
JP2006134008A (ja) * 2004-11-05 2006-05-25 Hitachi Ltd 営業店システム
JP4753616B2 (ja) * 2005-05-12 2011-08-24 株式会社日立製作所 商品情報提供システム
US8892116B2 (en) * 2006-02-01 2014-11-18 Omnitracs, Llc Method and apparatus for enhanced privacy while tracking mobile workers
KR100867260B1 (ko) * 2007-10-16 2008-11-10 손현동 유,무인 판매방식의 전환이 가능한 점포운영 시스템
JP2009159221A (ja) 2007-12-26 2009-07-16 Mitsuba Corp 画像配信システム
US20110199461A1 (en) * 2008-10-17 2011-08-18 Panasonic Corporation Flow line production system, flow line production device, and three-dimensional flow line display device
WO2010080851A2 (en) 2009-01-06 2010-07-15 Kondo, Hiroshi Personalized mosaic puzzle set
JP5423379B2 (ja) 2009-08-31 2014-02-19 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラム
TWI439960B (zh) 2010-04-07 2014-06-01 Apple Inc 虛擬使用者編輯環境
JP5731766B2 (ja) * 2010-07-14 2015-06-10 株式会社野村総合研究所 販売機会損失の分析システム及び分析方法
JP5668405B2 (ja) * 2010-10-14 2015-02-12 大日本印刷株式会社 情報表示装置及び情報表示用プログラム
JP5743849B2 (ja) * 2011-10-27 2015-07-01 株式会社日立製作所 映像解析装置及びシステム
US20130120568A1 (en) 2011-11-15 2013-05-16 II Michael E. Jensen Security and Marketing System
CN103975339B (zh) * 2011-12-05 2016-08-24 国际商业机器公司 隐私信息管理装置和方法
JP5560397B2 (ja) * 2011-12-22 2014-07-23 株式会社ウェルソック 自律型防犯警戒システム及び自律型防犯警戒方法
JP6007523B2 (ja) * 2012-03-09 2016-10-12 富士通株式会社 生成装置、生成プログラムおよび生成方法
KR101936802B1 (ko) 2012-07-20 2019-01-09 한국전자통신연구원 얼굴인식 기반의 개인정보보호 장치 및 방법
KR20140102902A (ko) * 2013-02-15 2014-08-25 삼성전자주식회사 휴대 단말기의 어플리케이션 구동 환경 설정 장치 및 방법
US20140362223A1 (en) * 2013-06-05 2014-12-11 Setronics Corp. Theft Deterrent System at Product Display Area with Targeted Advertising
JP5632512B1 (ja) * 2013-07-02 2014-11-26 パナソニック株式会社 人物行動分析装置、人物行動分析システムおよび人物行動分析方法、ならびに監視装置
US20150055931A1 (en) * 2013-08-26 2015-02-26 FilmMe Group Ltd Video system for capturing and storing video content
JP6217373B2 (ja) 2013-12-13 2017-10-25 富士通株式会社 動作判定方法、動作判定装置および動作判定プログラム
EP2983116A1 (en) 2014-08-08 2016-02-10 Lepszaoferta.PL S.A. Method and system for collecting commodity consumption data and method and system for generating an offer
JP6493417B2 (ja) * 2015-01-15 2019-04-03 日本電気株式会社 情報出力装置、カメラ、情報出力システム、情報出力方法及びプログラム

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002305704A (ja) * 2001-04-05 2002-10-18 Canon Inc 画像記録システム及び方法
JP2004328622A (ja) * 2003-04-28 2004-11-18 Matsushita Electric Ind Co Ltd 行動パターン識別装置
US20050180595A1 (en) * 2004-02-18 2005-08-18 Youichi Horii Image distribution system of surveillance camera
JP2005236464A (ja) * 2004-02-18 2005-09-02 Hitachi Ltd 監視カメラ映像配信システム
JP2006319775A (ja) * 2005-05-13 2006-11-24 Matsushita Electric Ind Co Ltd 映像配信システム
JP2008225734A (ja) * 2007-03-12 2008-09-25 Mitsubishi Electric Corp 移動体行動解析装置
JP2011077811A (ja) * 2009-09-30 2011-04-14 Oki Electric Industry Co Ltd 画像処理装置および画像処理方法
US20120230596A1 (en) * 2009-09-30 2012-09-13 Takahiro Watanabe Image processing apparatus and image processing method
JP2011164811A (ja) * 2010-02-08 2011-08-25 Hitachi Ltd 情報処理装置及び情報処理システム
JP2013092855A (ja) * 2011-10-25 2013-05-16 Sony Corp 画像処理装置およびプログラム
US20140247272A1 (en) * 2011-10-25 2014-09-04 Sony Corporation Image processing apparatus, method and computer program product
JP2013115656A (ja) * 2011-11-29 2013-06-10 Olympus Imaging Corp 撮影機器
JP2014207541A (ja) * 2013-04-12 2014-10-30 パナソニック株式会社 通信システム、画像生成方法、及び通信装置
US20140313327A1 (en) * 2013-04-22 2014-10-23 Panasonic Corporation Processing device, integrated circuit, processing method, and recording medium
WO2014174763A1 (ja) * 2013-04-22 2014-10-30 パナソニックＩｐマネジメント株式会社 処理装置、集積回路、処理方法、およびプログラム

Also Published As

Publication number Publication date
US11227061B2 (en) 2022-01-18
US11042667B2 (en) 2021-06-22
JP2023076762A (ja) 2023-06-01
US20230370432A1 (en) 2023-11-16
JP6760420B2 (ja) 2020-09-23
US20230362134A1 (en) 2023-11-09
US20220092217A1 (en) 2022-03-24
US20190286847A1 (en) 2019-09-19
JP2021192524A (ja) 2021-12-16
US20230362135A1 (en) 2023-11-09
JPWO2016114392A1 (ja) 2017-09-28
US20190286846A1 (en) 2019-09-19
JP2021002838A (ja) 2021-01-07
US20230370433A1 (en) 2023-11-16
US20180025175A1 (en) 2018-01-25
WO2016114392A1 (ja) 2016-07-21
JP6493417B2 (ja) 2019-04-03
JP2021184639A (ja) 2021-12-02
JP2023076763A (ja) 2023-06-01

Similar Documents

Publication Publication Date Title
JP6760420B2 (ja) 情報出力装置、情報出力システム、情報出力方法及びプログラム
US8867853B2 (en) Image processing to prevent access to private information
US20150358317A1 (en) Behavioral Authentication System using a biometric fingerprint sensor and User Behavior for Authentication
Ba et al. ABC: Enabling smartphone authentication with built-in camera
TW201539233A (zh) 驗證生物特徵圖像的可用性的方法和裝置
CN108432179A (zh) 用于在保护隐私的同时预防数据丢失的系统和方法
JP2023533020A (ja) プライバシー保護画像配信
CN112949545A (zh) 识别人脸图像的方法、装置、计算设备和介质
JP2011014059A (ja) 行動分析システムおよび行動分析方法
CN114357418A (zh) 加密认证方法、系统、终端设备、服务器及存储介质
US9646355B2 (en) Use of near field communication devices as proof of identity during electronic signature process
CN107545154A (zh) 基于生物特征的版权保护方法、装置及系统
CN113052045B (zh) 识别指静脉图像的方法、装置、计算设备和介质
US20220350928A1 (en) Information processing system, information processing method, program, and user interface
Lin et al. Moving object detection in the encrypted domain
JP5718757B2 (ja) 画像管理装置、画像管理プログラム、および画像管理方法
Gu et al. Toauth: Towards automatic near field authentication for smartphones
He et al. Phantom-CSI Attacks against Wireless Liveness Detection
Elgabry et al. Systematic Review of Security and Privacy Recommendations for non-mobile apps and app stores
Li Crime Prevention Technologies and Applications for Advancing Criminal Investigation
JP2010165027A (ja) 入退出管理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190301

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191122

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191210

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200204

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200407

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200529

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200804

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200817

R150 Certificate of patent or registration of utility model

Ref document number: 6760420

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150