JP2014022970A - 画像送信装置、画像送信方法、画像送信プログラム、画像認識認証システム、及び画像受信装置 - Google Patents

画像送信装置、画像送信方法、画像送信プログラム、画像認識認証システム、及び画像受信装置 Download PDF

Info

Publication number
JP2014022970A
JP2014022970A JP2012160453A JP2012160453A JP2014022970A JP 2014022970 A JP2014022970 A JP 2014022970A JP 2012160453 A JP2012160453 A JP 2012160453A JP 2012160453 A JP2012160453 A JP 2012160453A JP 2014022970 A JP2014022970 A JP 2014022970A
Authority
JP
Japan
Prior art keywords
image
unit
data amount
recognition
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012160453A
Other languages
English (en)
Other versions
JP6024952B2 (ja
Inventor
Marie Kuwahara
麻理恵 桑原
Atsushi Ikeda
淳 池田
Manabu Nakamura
学 中村
Sumio Yokomitsu
澄男 横光
Masaya Sato
雅也 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Original Assignee
Panasonic Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp filed Critical Panasonic Corp
Priority to JP2012160453A priority Critical patent/JP6024952B2/ja
Priority to DE102013213153.4A priority patent/DE102013213153A1/de
Priority to US13/943,898 priority patent/US9842409B2/en
Priority to GB1312823.6A priority patent/GB2506477B/en
Priority to CN201310306018.XA priority patent/CN103577802B/zh
Publication of JP2014022970A publication Critical patent/JP2014022970A/ja
Application granted granted Critical
Publication of JP6024952B2 publication Critical patent/JP6024952B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/96—Management of image or video recognition tasks

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Collating Specific Patterns (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Image Analysis (AREA)

Abstract

【課題】 カメラでの撮影によって得られた画像をサーバに送信し、サーバで画像に基づいて被写体の認識認証処理を行なう画像認識認証システムにおける画像送信装置であって、ネットワーク負荷及びサーバのコストを低減するとともに、それによる認識精度の低下を抑える画像送信装置を提供する。
【解決手段】 画像送信装置１０は、複数の連続的な画像を入力する画像入力部１２と、画像入力部１２に入力された複数の画像のデータ量を削減してデータ量削減画像を生成するデータ量削減部１５と、データ量削減画像を、データ量削減画像に対して認識認証処理を行なう画像受信装置２０に送信する送信部１９とを備える。データ量削減部１５は、画像受信装置２０にて行なう認識認証処理に応じた削減方法で複数の画像のデータ量を削減する。
【選択図】 図１

Description

本発明は、連続的に入力される画像の認識又は認証を行う画像認識認証システム、及びその画像認識認証システムを構成する画像送信装置及び画像受信装置、並びに画像送信方法及び画像送信プログラムに関するものである。
従来、カメラとサーバからなる画像認識認証システムにおいて、カメラでの撮影によって得られた画像をサーバに送信し、サーバで画像に基づいて被写体の認識処理又は認証処理（以下「認識認証処理」という。）を行なう画像認識認証システムが知られている。例えば、監視カメラで人物を撮影して、認識認証処理として、認識対象（顔）の検出、年齢や性別の判定、個人認証等を行なう画像認識認証システムがある。
従来は、カメラで連続的な画像（動画像）を撮影して、それらの連続的な複数の画像を生成し、それらをすべてサーバに送信し、サーバ側では受信したすべての画像（フレーム）に対して認識認証処理を行なっていた。このようにすべての画像をサーバに送信して認識認証処理を行なうと、画像の伝送量が多くなってネットワークにかかる負荷が大きくなるだけでなく、サーバの処理負荷が大きくなり、かつサーバで受信した画像を蓄積するための容量が大きくなる等、サーバのコストも大きくなる。
これに対して、カメラ側で連続的な複数の画像に対して認識対象の検出処理を行なって、認識対象が検出された画像のみをサーバに送信する技術が提案されている。このように、認識対象が検出された画像のみに限定してカメラからサーバに送信することで、上記のネットワーク負荷及びサーバのコストを低減できる。
さらに、ネットワーク負荷及びサーバのコストを低減するための技術として、カメラ側で連続的な複数の画像に対して認識対象の検出処理を行なって、認識対象が検出された画像の中の最良の画像のみを選択してサーバに送信する技術が提案されている（例えば、特許文献１ないし４）。これにより、カメラ側からサーバに送信する画像の数を制限できるので、上記のネットワーク負荷及びサーバのコストをさらに低減できる。
特許第３７２７７９８号公報 特許第４２０８４５０号公報 特許第４０２１８７３号公報 特許第４３７７４７２号公報
しかしながら、従来は、カメラ側で選択されてサーバに送信される画像が、必ずしもサーバでの認識認証処理に適した画像ではなかったため、カメラからサーバに送信して認識認証処理がされる画像の数が制限されることで、認識精度が低下してしまうという問題があった。
また、上記のように認識精度を低下させないという要請とともに、ネットワーク負荷及びサーバのコストを低減するという要請も依然としてある。
本発明は、上記の問題に鑑みてなされたものであり、カメラでの撮影によって得られた画像をサーバに送信し、サーバで画像に基づいて被写体の認識認証処理を行なう画像認識認証システムにおいて、ネットワーク負荷及びサーバのコストを低減することを目的とする。
本発明は、また、カメラでの撮影によって得られた画像をサーバに送信し、サーバで画像に基づいて被写体の認識認証処理を行なう画像認識認証システムであって、ネットワーク負荷及びサーバのコストを低減するとともに、それによる認識精度の低下を抑える画像認識認証システムを提供することを目的とする。
本発明の画像送信装置は、複数の連続的な画像を入力する画像入力部と、前記画像入力部に入力された前記複数の画像のデータ量を削減してデータ量削減画像を生成するデータ量削減部と、前記データ量削減画像を、前記データ量削減画像に対して認識認証処理を行なう画像受信装置に送信する送信部とを備え、前記データ量削減部は、前記画像受信装置にて行なう前記認識認証処理に応じた削減方法で前記複数の画像のデータ量を削減する構成を有している。
この構成によれば、画像送信装置から画像受信装置に送信される画像のデータ量が認識認証処理に応じた方法で削減されるので、ネットワーク負荷及びサーバのコストを低減できるとともに、そのようなデータ量の削減による認識認証処理の精度の低下を抑えることができる。
上記の画像送信装置において、前記データ量削減部は、前記画像受信装置にて行なう前記認識認証処理に応じた基準で、前記複数の画像の中から一部の画像を選択することで、前記複数の画像のデータ量を削減してよい。
この構成によれば、画像入力部に入力された複数の画像の中から一部の画像を選択するので、画像入力部に入力されたすべての画像を送信する場合と比較して、ネットワーク負荷及びサーバのコストを低減できるとともに、そのような画像選択を認識認証処理に応じた基準で行なうので、画像受信装置における認識認証処理の対象となる画像の数を制限することによる認識認証処理の精度の低下を抑えることができる。
上記の画像送信装置において、前記データ量削減部は、前記複数の画像又は選択された前記一部の画像の、前記画像受信装置にて行なう前記認識認証処理に応じた領域をトリミングすることで、前記複数の画像のデータ量を削減してよい。
この構成によれば、複数の画像又は選択された一部の画像に対してトリミングをするので、画像入力部に入力された画像の全体を送信する場合と比較して、データ量が削減されて、ネットワーク負荷及びサーバのコストを低減できるとともに、そのようなトリミングを認識認証処理に応じた方法で行なうので、データ量の削減による認識認証処理の精度の低下を抑えることができる。
上記の画像送信装置において、前記データ量削減部は、前記複数の画像又は選択された前記一部の画像の、前記画像受信装置にて行なう前記認識認証処理に応じた帯域成分を抽出することで、前記複数の画像のデータ量を削減してよい。
この構成によれば、複数の画像又は選択された一部の画像に対して一部の帯域成分を抽出するので、画像入力部に入力された画像の全帯域成分を送信する場合と比較して、データ量が削減されて、ネットワーク負荷及びサーバのコストを低減できるとともに、抽出する帯域成分は認識認証処理に応じた帯域成分であるので、データ量の削減による認識認証処理の精度の低下を抑えることができる。
上記の画像送信装置において、前記データ量削減部は、前記画像受信装置にて行なう前記認識認証処理に応じた解像度に、前記複数の画像又は選択された前記一部の画像を解像度変換することで、前記複数の画像のデータ量を削減してよい。
この構成によれば、複数の画像又は選択された一部の画像を解像度変換（圧縮）するので、画像入力部に入力された画像を解像度変換（圧縮）せずに送信する場合と比較して、データ量が削減され、ネットワーク負荷及びサーバのコストを低減できるとともに、そのような解像度変換を認識認証処理に応じた解像度で行なうので、データ量の削減による認識認証処理の精度の過度の低下を抑えることができる。
上記の画像送信装置において、前記データ量削減部は、前記画像受信装置にて行なう前記認識認証処理に応じた符号化率で、前記複数の画像又は選択された前記一部の画像を符号化することで、前記複数の画像のデータ量を削減してよい。
この構成によれば、複数の画像又は選択された一部の画像を符号化するので、画像入力部に入力された画像を符号化せずに送信する場合と比較して、データ量が削減され、ネットワーク負荷及びサーバのコストを低減できるとともに、そのような符号化を認識認証処理に応じた符号化率で行なうので、データ量の削減による認識認証処理の精度の過度の低下を抑えることができる。
上記の画像送信装置は、さらに、前記画像受信装置にて行う前記認識認証処理のモード情報を受信する受信部と、前記モード情報と前記削減方法との対応付けを記憶した記憶部と、前記記憶部を参照して、前記受信部にて受信した前記モード情報に対応する前記削減方法を決定する削減制御部とを備えていてよく、前記データ量削減部は、前記削減制御部にて決定された前記削減方法に従って前記データ量削減画像を生成してよい。
この構成によれば、画像受信装置からその認識認証処理のモード情報を受けることで、そのモード情報に対応した削減方法で画像のデータ量が削減されてデータ量削減画像が生成されるので、画像受信装置における認識認証処理の精度の低下を抑えることができる。
上記の画像送信装置は、さらに、前記削減方法を示す情報を受信する受信部を備えていてよく、前記データ量削減部は、前記受信部にて受信した前記情報で示される前記削減方法に従って前記データ量削減画像を生成してよい。
この構成によれば、画像受信装置から削減方法を示す情報を受けることで、その削減方法で画像のデータ量が削減されてデータ量削減画像が生成されるので、画像受信装置における認識認証処理の精度の低下を抑えることができる。
本発明の画像送信方法は、複数の連続的な画像を入力する画像入力ステップと、入力された前記複数の画像のデータ量を削減してデータ量削減画像を生成するデータ量削減ステップと、前記データ量削減画像を、前記データ量削減画像に対して認識認証処理を行なう画像受信装置に送信する送信ステップと、を含み、前記データ量削減ステップは、前記画像受信装置にて行なう前記認識認証処理に応じた削減方法で前記複数の画像のデータ量を削減する。
この構成によれば、画像送信装置から画像受信装置に送信される画像のデータ量が認識認証処理に応じた方法で削減されるので、ネットワーク負荷及びサーバのコストを低減できるとともに、そのようなデータ量の削減による認識認証処理の精度の低下を抑えることができる。
本発明の画像送信プログラムは、コンピュータを、複数の連続的な画像を入力する画像入力部と、前記画像入力部に入力された前記複数の画像のデータ量を削減してデータ量削減画像を生成するデータ量削減部と、前記データ量削減画像を、前記データ量削減画像に対して認識認証処理を行なう画像受信装置に送信する送信部と、として機能させる画像送信プログラムであって、前記データ量削減部は、前記画像受信装置にて行なう前記認識認証処理に応じた削減方法で前記複数の画像のデータ量を削減する。
この構成によれば、画像送信装置から画像受信装置に送信される画像のデータ量が認識認証処理に応じた方法で削減されるので、ネットワーク負荷及びサーバのコストを低減できるとともに、そのようなデータ量の削減による認識認証処理の精度の低下を抑えることができる。
本発明の画像認識認証システムは、画像送信装置と画像受信装置とからなる画像認識認証システムであって、前記画像送信装置は、複数の連続的な画像を入力する画像入力部と、前記画像入力部に入力された前記複数の画像のデータ量を削減してデータ量削減画像を生成するデータ量削減部と、前記データ量削減画像を前記画像受信装置に送信する送信部と、を備え、前記画像受信装置は、前記送信部にて送信された前記データ量削減画像を受信する受信部と、前記受信部にて受信した前記データ量削減画像に対して、認識認証処理を行なう認識認証処理部と、を備え、前記データ量削減部は、前記認識認証処理部にて行なう前記認識認証処理に応じた削減方法で前記複数の画像のデータ量を削減する構成を有している。
この構成によれば、画像送信装置から画像受信装置に送信される画像のデータ量が認識認証処理に応じた方法で削減されるので、ネットワーク負荷及びサーバのコストを低減できるとともに、そのようなデータ量の削減による認識認証処理の精度の低下を抑えることができる。
本発明の画像受信装置は、画像送信装置から送信されたデータ量削減画像を受信する受信部と、前記受信部にて受信した前記データ量削減画像に対して、認識認証処理を行なう認識認証処理部と、前記認識認証処理部にて行なう前記認識認証処理のモード情報を前記画像送信装置に送信する送信部と、を備えた構成を有している。
この構成によれば、データ量削減画像を送信してくる画像送信装置に対して、認識認証処理のモード情報を送信するので、画像送信装置では、当該モード情報に対応する削減方法でデータ量削減画像を生成することができ、それによって、認識認証処理部における認識認証処理の精度の低下を抑えることができる。
本発明の別の態様の画像受信装置は、画像送信装置から送信されたデータ量削減画像を受信する受信部と、前記受信部にて受信した前記データ量削減画像に対して、認識認証処理を行なう認識認証処理部と、前記認識認証処理部にて行なう前記認識認証処理のモード情報と前記データ量削減画像を生成するための削減方法との対応付けを記憶した記憶部と、設定されたモード情報に従って、前記記憶部を参照して前記削減方法を決定する削減制御部と、前記削減制御部にて決定された前記削減方法を示す情報を前記画像送信装置に送信する送信部と、を備えた構成を有している。
この構成によれば、データ量削減画像を送信してくる画像送信装置に対して、認識認証処理のモード情報に対応する削減方法を通知するので、画像送信装置では、当該削減方法に従ってデータ量削減画像を生成することができ、それによって、認識認証処理部における認識認証処理の精度の低下を抑えることができる。
本発明によれば、画像送信装置から画像受信装置に送信される画像のデータ量が認識認証処理に応じた方法で削減されるので、ネットワーク負荷及びサーバのコストを低減できるとともに、そのようなデータ量の削減による認識認証処理の精度の低下を抑えることができる。
本発明の実施の形態における画像送信装置の構成を示すブロック図 本発明の実施の形態における画像認識認証システムの構成を示すブロック図 本発明の実施の形態における画像受信装置の構成を示すブロック図 本発明の実施の形態における解析結果の表示例を示す図 本発明の実施の形態における画像受信装置から画像送信装置に対するモード情報の指定を説明する図 本発明の実施の形態における解像度（画素数）と認識認証の精度との関係の例を示すグラフ 本発明の実施の形態におけるパラメータ記憶部に記憶されるテーブルの例を示す表 本発明の実施の形態における画像送信装置における画像送信方法のフロー図 本発明の実施の形態における帯域成分検出部における帯域成分検出処理を示すフロー図 本発明の実施の形態における画像データ量削減部における画像データ量削減処理を示すフロー図 本発明の実施の形態における画像受信装置から画像送信装置に対するパラメータの指定を説明する図 本発明の実施の形態における画像認識認証システムのシステム構成の他の例を示す図 本発明の実施の形態における画像認識認証システムのシステム構成のさらに他の例を示す図
以下、本発明の実施の形態の画像認識認証システムについて、図面を参照しながら説明する。本明細書において、「認識認証」という用語は、「認識及び／又は認証」を意味するものとして使用する。
図２は、本発明の実施の形態の画像認識認証システムの構成を示すブロック図である。図２に示すように、画像認識認証システム１００は、画像送信装置１０と画像受信装置２０とを備えている。画像送信装置１０と画像受信装置２０とは、ネットワークＮＷを介して接続されており、画像送信装置１０から画像受信装置２０へ、また、画像受信装置２０から画像送信装置１０に種々のデータを伝送することができる。特に、画像送信装置１０において撮影によって画像が取得され、その画像が画像受信装置２０に送信される。画像受信装置２０では、画像送信装置１０より受信した画像に対して対象の認識認証処理が行われる。
図２では、画像送信装置１０及び画像受信装置２０がそれぞれ有線でネットワークＮＷに接続されているが、画像送信装置１０及び画像受信装置２０は無線でネットワークＮＷに接続されてよい。特に、画像送信装置１０を移動可能とする場合には、画像送信装置１０が無線でネットワークＮＷに接続する構成とすることが有利である。
画像認識認証システム１００は、後述するモードを設定することにより、様々な用途に用いることができる。画像認識認証システム１００は、監視システム、マーケティング情報収集システム、車両認識システム等として応用できる。例えば、監視システムの場合には、画像送信装置１０は監視対象箇所に設置されて、画像受信装置２０は、監視対象箇所から離れた監視センタに設置され、監視対象である人物の顔の認識認証を行う。また、例えば、車両認識システムの場合には、画像送信装置１０が施設の駐車場の出口に設置されて、画像受信装置２０は施設内の管理室に設置されるとともに施設内に設置された駐車料金清算機とも接続されて、車両のナンバーの認識認証処理を行うことにより、駐車場の出口のゲートの開閉を行う。
図１は、本発明の実施の形態の画像認識認証システムを構成する画像送信装置の構成を示すブロック図である。図１に示すように、画像送信装置１０は、撮像部１１、画像入力部１２、対象検出部１３、対象追跡部１４、データ削減部１５、パラメータ記憶部１６、削減制御部１７、受信部１８、及び送信部１９を備えている。画像送信装置１０は、デジタルビデオカメラとして構成される。
撮像部１１は、レンズ、絞り、撮像素子、及び信号処理回路を備えている。撮像部１１は、認識認証処理の対象となる被写体を撮影して画像を生成する。撮像部１１は、動画像を撮影することで、連続的な（例えば、毎秒３０フレームの）画像を生成する。撮像部１１は、生成した画像を画像入力部１２に出力する。
画像入力部１２は、撮像部１１から出力される画像を連続的に入力する。対象検出部１３は、画像入力部１２に入力された画像に対して、解析を行って所定の認識認証対象（以下単に「対象」という。）を検出する。対象は、例えば人物、人物の顔、車両のナンバープレート、服、靴等である。具体的な対象は、後述する削減制御部１７より指定される。対象の検出には、既知の技術（例えば、特許第４３１８４６５号公報、特許第３９３０５０４号公報等を参照）を用いることができる。
対象追跡部１４は、対象検出部１３で検出された対象を追跡し、同一対象どうしを時系列方向に結びつける。対象の追跡には、既知の技術（例えば、特開２００４−３１０２８１号公報、特許第３９３０５０４号公報、特許第４５７８８６４号公報等を参照）を用いることができる。
データ削減部１５は、入力される複数の連続する画像のデータ量を削減してデータ量削減画像を生成する。データ削減部１５は、複数の連続する画像から一部の画像を選択すること、及び選択された画像自体のデータ量を削減することにより、画像送信装置１０から画像受信装置２０に送信する画像のデータ量を削減する。即ち、データ削減部１５は、入力される複数の画像をすべて画像受信装置２０に送信するのではなく、ベストショットと判断した画像のみを送信する（送信する画像の数を削減する）ことで、画像送信装置１０から画像受信装置２０に送信する画像のデータ量を削減するとともに、その送信する画像についても、その画像自体のデータ量を画像送信装置１０にて削減した上で画像受信装置２０に送信するので、この点でも画像送信装置１０から画像受信装置２０に送信する画像のデータ量が削減される。
データ削減部１５は、送信する画像の数を削減するための構成としてベストショット判定部１５１を備え、送信する画像自体のデータ量を削減するための構成として画像データ量削減部１５２を備える。ベストショット判定部１５１及び画像データ量削減部１５２は、それぞれ画像受信装置２０における認識認証処理に適した削減方法で、送信する画像のデータ量を削減する。このために、画像送信装置１０は、パラメータ記憶部１６、削減制御部１７、及び受信部１８を備えている。
受信部１８は、画像受信装置２０から認識認証処理のモード情報を受信する。このモード情報は、画像認識認証システム１００の上述した各種の用途に対応している。パラメータ記憶部１６には、モード情報と各種の削減パラメータとが対応付けて記憶されている。削減制御部１７は、受信部１８で受信したモード情報に対応する削減パラメータをパラメータ記憶部１６から読み出して、対象検出部１３及びデータ削減部１５の各種処理に用いるパラメータを設定する。モード情報と削減パラメータとの関係、及び削減パラメータを用いた各種処理については、後述する。
ベストショット判定部１５１は、対象特徴解析部１５３、帯域成分検出部１５４、及び画像選択部１５５からなる。対象特徴解析部１５３は、対象検出部１３で検出された対象に対して特徴解析をして、信頼度（例えば顔らしさ）や対象物の方向（例えば顔の向き）等を算出する。特徴解析には、既知の技術（例えば、特開２００５−２２７９５７号公報等を参照）を用いることができる。帯域成分検出部１５４は、削減制御部１７によって設定された削減パラメータに従って、画像受信装置２０で行う認識認証処理にて重視される帯域成分を検出する。
画像選択部１５５は、対象特徴解析部１５３による特徴解析の結果、及び帯域成分検出部１５４による帯域成分検出の結果に基づいて、同一の対象を含む複数の画像の中からベストショット（最良の画像）を選択して、画像データ量削減部１５２に出力する（以下、ベストショット判定部１５１で選択された画像を「選択画像」という。）。具体的には、削減制御部１７によって設定されたパラメータに従って、対象特徴解析部１５３によって得られた信頼度や方向、及び帯域成分検出部１５４によって得られた帯域成分のうち、いずれをどの程度重視するかを決定して、それを選択基準として画像を選択する。画像選択部１５５は、例えば、画像受信装置２０での認識認証処理として年齢判定が行なわれる場合には、顔の方向よりも高周波成分を多く含む画像を重視するという基準で、画像を選択する。
画像データ量削減部１５２は、必要領域抽出部１５６、必要帯域抽出部１５７、解像度変換部１５８、及び画像符号化部１５９を備えている。必要領域抽出部１５６は、削減制御部１７によって設定された削減パラメータに従って、選択画像から画像受信装置２０で認識認証処理を行うのに好適な領域を算出して抽出（トリミング）する。必要帯域抽出部１５７は、削減制御部１７によって設定された削減パラメータに従って、選択画像から画像受信装置２０で認識認証処理を行うのに好適な帯域を算出して抽出する。解像度変換部１５８は、削減制御部１７によって設定された削減パラメータに従って、画像受信装置２０で認識認証処理を行うのに必要な最小限の解像度（画素数）になるよう選択画像の解像度変換（リサイズ）を行う。画像符号化部１５９は、削減制御部１７によって設定された削減パラメータに従って、画像受信装置２０で認識認証処理を行うのに必要な最小限の符号化率になるよう選択画像を符号化（エンコード）する。
送信部１９は、データ削減部１５から出力される画像とその画像に関する付属情報を画像受信装置２０に送信する。上述のように、送信部１９によって画像受信装置２０に送信される画像は、画像入力部１２に撮像部１１から連続的に入力される複数の画像から一部を選択画像として選択した上で、選択画像に対してトリミング、リサイズ、及びエンコードを行うことでそのデータ量を削減された画像（データ量削減画像）である。このように、画像送信装置１０では、複数の画像から一部を選択するとともに、その選択画像自体のデータ量を削減する処理（トリミング、リサイズ、エンコード）をするので、画像送信装置１０から画像受信装置２０に送信される画像のデータ量を削減することができ、よって、ネットワークＮＷの負荷及び画像受信装置２０の処理負荷やデータベースの必要容量を低減できる。
その一方で、ベストショット判定部１５１では画像受信装置２０の認識認証処理に適した画像が選択され、また、画像データ量削減部１５２によるトリミングでは、画像受信装置２０の認識認証処理に必要な領域が抽出され、画像データ量削減部１５２によるリサイズ及びエンコードでは、画像受信装置２０の認識認証処理に必要な限度でデータ量の削減が行なわれる。よって、ベストショット判定部１５１及び画像データ量削減部１５２によるデータ量の削減によっても、画像受信装置２０での認識認証処理の精度の低下を抑えることができる。
図３は、画像受信装置２０の構成を示すブロック図である。図３に示すように、画像受信装置２０は、受信部２１、画像復号部２２、対象解析部２３、データベース２４、モード設定部２５、及び送信部２６を備えている。画像受信装置２０は、デジタルビデオカメラとして構成される画像送信装置１０に接続された画像認識認証サーバとして構成される。
受信部２１は、画像送信装置１０の送信部１９から送信されてくるデータ量削減画像とその画像の付属情報を受信する。画像復号部２２は、受信した画像を復号する。対象解析部２３は、復号された画像及び付属情報を解析して、対象の認識認証処理を行う。ここでの認識認証処理は、例えば、人物の顔からの年齢及び性別の認識、人物の顔からの特定の人物の認証、車両のナンバープレートの認識等である。データベース２４は、画像復号部２２にて復号された画像及び対象解析部２３で得られた解析結果を保存する。
図３に示すように、画像受信装置２０にはさらに結果表示装置３０が接続されている。結果表示装置３０は、例えば液晶表示パネルであり、データベース２４に保存される画像及び／又は解析結果を表示する。図４は、解析結果の表示例を示す図である。図４の例では、人物の顔を対象として、年齢及び性別の認識が行われて、その統計がグラフで示されている。撮像部１１を店舗に設置したうえで、このような解析結果を用いることで、当該店舗におけるマーケティング活動に役立てることができる。
図３に戻って、モード設定部２５は、対象解析部２３で行う認識認証処理のモードを設定する。対象解析部２３は、モード設定部２５で設定されたモードに従って認識認証処理を実行する。送信部２６は、モード設定部２５で設定されたモードを示す情報（モード情報）を画像送信装置１０に送信する。
図５は、画像受信装置２０から画像送信装置１０に対するモードの指定を説明する図である。図５に示すように、画像受信装置２０から画像送信装置１０にモード情報が送信される。送信されるこのモード情報は、上述のように、画像送信装置１０の受信部１８にて受信され、削減制御部１７における制御に用いられる。データ削減部１５では、このモード情報に応じた削減方法で、データ量削減画像が生成される。そのようにして生成されたデータ量削減画像は、画像送信装置１０から画像受信装置２０に送信される。即ち、画像受信装置２０は、モード設定部２５で設定された認識認証処理のモード情報を画像送信装置１０に対して送信すると、画像送信装置１０からそのモード情報に従って適切に選択されてデータ量が削減されたデータ量削減画像が送信されてくる。
次に、画像の認識認証処理のモードと、画像送信装置１０から送信する画像のデータ量の削減（ベストショットの選択、及び画像自体のデータ量の削減）の方法との関係を詳細に説明する。上述のように、画像送信装置１０では、ベストショット判定部１５１で複数の画像から一部を選択するとともに、画像データ量削減部１５２でその選択画像自体のデータ量を削減する処理（トリミング、リサイズ、エンコード）をすることで、ネットワークＮＷの負荷及び画像受信装置２０の処理負荷やデータベースの必要容量を低減できるが、同一の対象について画像受信装置２０が受信する画像の数が制限されることで、画像受信装置２０における認識認証処理の精度が低下してしまう恐れがあり、また、画像受信装置２０にて受信する画像のデータ量が削減されていることでも認識認証処理の精度が低下する恐れがある。
そこで、本実施の形態の画像認識認証システム１００では、ベストショット判定部１５１で画像を選択する際の基準を、画像受信装置２０の認識認証処理にとって好適な画像が選択されるように設定することで、同一の対象について画像受信装置２０が受信する画像の数が制限されることによる認識認証処理の精度の低下を抑制し、かつ、画像データ量削減部１５２で画像のデータ量を削減する際の削減方法を、画像受信装置２０の認識認証処理に必要な範囲でデータ量が削減されるように設定することで、画像受信装置２０にて受信する画像のデータ量が削減されていることによる認識認証処理の精度の低下を抑制する。
図６は、解像度（画素数）と認識認証の精度との関係の例を示すグラフである。図６に示すように、認識認証処理として顔の検出（顔であるとの認識）を行う場合には、１２×１２程度の解像度があれば８０％程度の精度で判定できる。また、認識認証処理として性別判定を行う場合には、６０×６０程度の解像度で、８０％程度の精度で判定できる。認識認証処理として年齢判定を行う場合には、８０％程度の精度を得るために、８０×８０程度の解像度が必要となる。このように、認識認証処理の内容に応じて一定の精度を得るために必要とされる解像度は異なる。即ち、上記の画像認識認証システム１００において、画像送信装置１０で行う顔の検出処理と、画像受信装置２０で行う性別判定処理或いは年齢判定処理とでは、必要な解像度が異なる為、画像受信装置２０で行う認識認証処理を考慮せずに画像送信装置１０で画像を選択した場合、画像受信装置２０での判定にとっては好適でない場合が生じ、精度劣化が生じる。
図６から分かるように、いずれの認識認証処理においても、一定の解像度以上では、認識認証の精度の上昇の度合いが緩やかになり、よって、一定以上の解像度としても、ネットワークにかかる負荷や認識認証処理にかかる負荷等が増加する割には認識認証の精度の上昇は期待できない。
画像送信装置１０のパラメータ記憶部１６には、認識認証処理の内容（モード）と、解像度や高周波成分の必要度を含む削減パラメータとの対応関係を規定したテーブルが記憶されている。図７は、パラメータ記憶部１６に記憶されるテーブルの例を示す表である。画像受信装置２０での認識認証処理のモードには、年齢判定モード、性別判定モード、人物認証モード、ファッション流行解析モード、体型判定モード、人種判定モード、車種判定モード、ナンバー判定モード、ペット判定モード、及び人サムネル表示モードがある。
テーブルでは、各モードについて、「検出ターゲット」、「解析ターゲット」、「帯域」、「領域」、「解像度」、及び「画質」のパラメータが規定されている。図６では、「解像度」について、各モードに必要とされる解像度を説明したが、「帯域」及び「画質」についても、同様のことがいえる。即ち、一定の精度の認識認証処理を行うのに、高周波成分の多い画像が必要となるが、その度合いは顔の検出、性別判定、年齢判定の順に高くなる。そして、高周波成分がある程度多くなると、それ以上は高周波成分の多さに対する認識認証処理の精度の上昇は緩やかになる。また、一定の精度の認識認証処理を行うのに、画質のよい画像が必要となるが、その度合いは、顔の検出、性別判定、年齢判定の順に高くなる。そして、画質がある程度よくなると、それ以上は画質のよさに対する認識認証処理の精度の上昇は緩やかになる。
図７を参照して具体的に説明すると、例えば、年齢判定モードでは、まず「検出ターゲット」は当然人となる。また、対象解析部２３は、人物の顔画像を基にその人物の年齢を判定するので、「解析ターゲット」は顔画像となる。また、顔画像から年齢を判定するためには顔の皺や各部位の詳細な位置等の細かな情報が必要となるので、ボケやブレが少なく、高周波成分を多く含む顔画像が必要であり、よって、「帯域」は、要高周波成分となる。
年齢判定に必要な領域は顔の領域のみであり、髪の部分等の情報は必要でないので、「領域」は顔領域となる。また、年齢判定には、図６に示したように、８０×８０程度の解像度が必要であるので、「解像度」は高解像度となる。また、同様に、顔画像から年齢を判定するために、細かい解析が行われるので、十分な量の情報が必要であり、画質は高画質となる。なお、画質は符号化における符号量に対応しており、高画質とは符号化後の符号量が多いことを意味する。
削減制御部１７は、パラメータ記憶部１６に記憶されたテーブルを参照することで、受信部１８より受けたモード情報に対応する各パラメータを取得して、データ削減部１５等に対して取得したパラメータを設定する。具体的には、削減制御部１７は、「検出ターゲット」を対象検出部に設定し、「解析ターゲット」を対象特徴解析部１５３に設定し、「帯域」を帯域成分検出部１５４及び必要帯域抽出部１５７に設定し、「領域」を必要領域抽出部１５６に設定し、「解像度」を解像度変換部１５８に設定し、「画質」を画像符号化部１５９に設定する。
次に、図８を参照して、画像送信装置１０の動作を説明する。図８は、画像送信装置１０における画像送信方法のフロー図である。図８に示すフロー図は、画像送信装置１０に画像送信プログラムがインストールされることで、この画像送信プログラムに従って実行される。
まず、画像入力部１２が、撮像部１１が撮影した画像を入力する（ステップＳ８１）。上述のように、画像入力部１２には撮像部１１から連続的に画像が入力されるが、以下のフローは１画像（フレーム）ごとに繰り返される。１フレームの画像が入力されると、対象検出部１３にて対象が検出される（ステップＳ８２）。このとき、対象検出部１３にて検出すべき対象は、「検出ターゲット」として削減制御部１７によって設定される。そして、対象追跡部１４にて検出された対象の追跡が行われる（ステップＳ８３）。
次に、対象追跡部１４は、カウント値が閾値に達しているかを判断する（ステップＳ８４）。このカウント値は、対象を検出できなかった連続するフレームの数であり、この閾値は、対象を検出できなかった連続するフレームの許容数である。なお、このカウント値は、対象毎に保持しており、以下のフローは対象毎に行われ、例えば画面内に対象が２つ存在する場合には、その２つの対象に対して各々行われる。カウント値が閾値に達していない場合（ステップＳ８４にてＮＯ）、対象が検出されたか否かを判断する（ステップＳ８５）。対象が検出された場合には（ステップＳ８５にてＹＥＳ）、カウント値をリセットして（ステップＳ８６）、対象特徴解析部１５３が対象の特徴解析を行う（ステップＳ８７）。このときの特徴解析の対象は、削減制御部１７によって「解析ターゲット」として設定される。次に、帯域成分検出部１５４が帯域成分を検出する（ステップＳ８８）。
図９は、帯域成分検出部１５４における帯域成分検出処理（図８のステップＳ８８）を示すフロー図である。帯域成分検出部１５４は、まず、画像内の対象が検出された（ステップＳ８２）領域の周波数を解析する（ステップＳ８８１）。帯域成分検出部１５４は、次に、削減制御部１７より設定された「帯域」の成分量を算出する（ステップＳ８８２）。
図８に戻って、次に、画像選択部１５５は、ベストショットの判定をする（ステップＳ８９）。具体的には、画像選択部１５５は、一時保存バッファ内にベストショットとして保存されている画像とそのとき扱っている画像とを比較し、対象特徴解析部１５３による特徴解析の結果、及び帯域成分検出部１５４による帯域成分検出の結果に基づいて、よりよい画像であれば（ステップＳ８９にてＹＥＳ）、一時保存バッファの画像をそのとき扱っている画像に更新するために、画像データ削減処理を行う（ステップＳ９０）。保存されている画像のほうがよい画像であるときは（ステップＳ８９にてＮＯ）、一時保存バッファを更新せずに、その画像（フレーム）の処理を終了する。
図１０は、画像データ量削減部１５２における画像データ量削減処理（図８のステップ９０）を示すフロー図である。必要領域抽出部１５６は、削減制御部１７によって設定された「領域」に従って、画像内の必要な領域を抽出する（ステップＳ９０１）。次に、必要帯域抽出部１５７は、削減制御部１７によって設定された「帯域」に従って、必要な帯域を抽出する（ステップＳ９０２）。次に、解像度変換部１５８は、削減制御部１７によって設定された「解像度」に従って、画像の解像度変換を行う（ステップＳ９０３）。次に、画像符号化部１５９は、削減制御部１７によって設定された「画質」に従って、画像を符号化する（ステップＳ９０４）。
図８に戻って、画像データ量削減部１５２は、一時保存バッファに記憶されている画像を、画像データ量削減処理によってデータ量が削減された画像（データ量削減画像）に書き換えて（ステップＳ９１）、その画像（フレーム）の処理を終了する。このような処理を繰り返して、対象が一時的に画像内に現れなくなると、ステップＳ８５で対象が検出されなくなるので（ステップＳ８５にてＮＯ）、カウント値をインクリメントして（ステップＳ９２）、その画像（フレーム）の処理を終了する。
対象が検出されないフレームが連続すると、ステップＳ８５からステップＳ９２を経て処理を終了する処理が連続することとなり、このようにしてカウント値がリセットされないまま所定の閾値に達すると（ステップＳ８４にてＮＯ）、追跡が完了した（追跡対象がカメラの前から完全にいなくなった）と判断して、送信部１９は、そのときに一時保存バッファに保存されている画像（データ量削減画像）を送信する（ステップＳ９３）。
以上のように、本実施の形態の画像認識認証システム１００によれば、画像送信装置１０のベストショット判定部１５１が、入力される画像のうちのベストショットを選択するので、画像送信装置１０から画像受信装置２０に送信される画像の数が制限されて、これによって、ネットワークの負荷や画像受信装置２０での認識認証処理の負荷や画像保存の必要容量を削減できる。また、画像送信装置１０の画像データ量削減部１５２が、送信される画像に対して、トリミング、リサイズ、エンコード等の方法でデータ量を削減する処理をするので、この点でも、ネットワークの負荷や画像受信装置２０での認識認証処理の負荷や画像保存の必要容量を削減できる。なお、上記のベストショット判定部１５１によるベストショットの選択及び画像データ量削減部１５２による画像データ量の削減は、そのいずれかのみが行われてもよいものである。
本実施の形態の画像認識認証システム１００ではさらに、画像送信装置１０における上記のベストショット判定及び画像データ量削減の処理を、画像受信装置２０における画像の認識認証処理に適した方法で行うので、単に送信されるデータの量を削減するだけでなく、そのようなデータ量の削減による画像受信装置２０での認識認証処理の精度の低下を抑えることができる。
上記の画像認識認証システム１００に対しては、種々の変形が可能である。以下、その具体例をいくつか説明する。ベストショット判定部１５１及び画像データ量削減部１５２のいずれかを省略できることは上述したとおりである。さらに、画像データ量削減部１５２の一部の構成のみを省略することも可能である。
また、上記の実施の形態では、画像送信装置１０が、画像の認識認証のモードと送信すべきデータ量の削減方法に関する各種パラメータとの対応関係を規定したテーブルを記憶したパラメータ記憶部１６を備えており、受信部１８が画像受信装置２０からモード情報を受信することで、削減制御部１７がそのモード情報に対応する各種パラメータを設定したが、本発明はこれに限られない。例えば、モード情報は、画像受信装置２０以外から受信してもよい。また、受信部１８の代わりに入力部を備え、モード情報は画像送信装置１０においてユーザが入力するようにしてもよい。
また、上記の実施の形態では、画像選択部１５５が削減制御部１７にて設定された条件に従って最も良い画像（ベストショット）１つのみを選択したが、画像選択部１５５は、最良の所定枚数の画像を選択しても良いし、所定の条件を満たす画像を（数に制限なく）すべて選択してよい。
さらに、画像受信装置２０が上記のテーブルを記憶したパラメータ記憶部を備えており、画像の認識認証処理のモードに対応した各種パラメータを画像送信装置１０に送信してもよい。この場合には、画像送信装置１０には、パラメータ記憶部１６は不要であり、受信部１８が各種パラメータを受信して、削減制御部１７がこれを設定する。図１１は、この変形例を示す図である。
画像受信装置２０は、モードを設定されると、テーブルを参照して、そのモードに対応する各種のパラメータを読み出し、削減方法を示す情報としてこれらのパラメータを画像送信装置１０に送信する。画像送信装置１０では、受信部１８にてこの情報を受信して、削減制御部１７がこの情報に従って各種のパラメータを設定することで、そのパラメータに従った削減方法でデータ量削減画像を生成して画像受信装置２０に送信する。画像受信装置２０では、画像送信装置１０から送信されてきたデータ量削減画像に対して認識認証処理を実行するが、このときに、仮に認識認証の精度がよくなければ、さらに、認識認証の精度をよくするようなパラメータを画像送信装置１０に指定する。画像送信装置１０は、画像受信装置２０より指定されたパラメータに従ってデータ量削減画像を生成して画像受信装置２０に送信する。
また、上記の実施の形態の画像認識認証システム１０は、１つの画像送信装置１０と１つの画像受信装置２０とがネットワークＮＷを介して接続されていたが、システム構成はこれに限られない。図１２は、システム構成の他の例を示す図である。この例では、画像送信装置１０と画像受信装置２０とはネットワークを介さずに直接接続される。図１３は、システム構成のさらに他の例を示す図である。図１３に示すように、複数の画像送信装置１０と複数の画像受信装置２０がネットワークＮＷを介して接続されていてもよい。なお、画像送信装置１０のみが複数あって、１つの画像受信装置２０とネットワークＮＷを介して接続されてもよい。
本発明は、ネットワーク負荷及びサーバのコストを低減できるとともに、そのようなデータ量の削減による認識認証処理の精度の低下を抑えることができるという効果を有し、連続的に入力される画像の認識又は認識を行う画像認識認証システム等として有用である。
１００ 画像認識認証システム
１０ 画像送信装置
１１ 撮像部
１２ 画像入力部
１３ 対象検出部
１４ 対象追跡部
１５ データ削減部
１５１ ベストショット判定部
１５２ 画像データ量削減部
１５３ 対象特徴解析部
１５４ 帯域成分検出部
１５５ 画像選択部
１５６ 必要領域抽出部
１５７ 必要帯域検出部
１５８ 解像度変換部
１５９ 画像符号化部
１６ パラメータ記憶部
１７ 削減制御部
１８ 受信部
１９ 送信部
２０ 画像受信装置
２１ 受信部
２２ 画像復号部
２３ 対象解析部
２４ データベース
３０ 結果表示装置

Claims (13)

  1. 複数の連続的な画像を入力する画像入力部と、
    前記画像入力部に入力された前記複数の画像のデータ量を削減してデータ量削減画像を生成するデータ量削減部と、
    前記データ量削減画像を、前記データ量削減画像に対して認識認証処理を行なう画像受信装置に送信する送信部と、
    を備え、
    前記データ量削減部は、前記画像受信装置にて行なう前記認識認証処理に応じた削減方法で前記複数の画像のデータ量を削減する
    ことを特徴とする画像送信装置。
  2. 前記データ量削減部は、前記画像受信装置にて行なう前記認識認証処理に応じた基準で、前記複数の画像の中から一部の画像を選択することで、前記複数の画像のデータ量を削減することを特徴とする請求項１に記載の画像送信装置。
  3. 前記データ量削減部は、前記複数の画像又は選択された前記一部の画像の、前記画像受信装置にて行なう前記認識認証処理に応じた領域をトリミングすることで、前記複数の画像のデータ量を削減することを特徴とする請求項１又は２に記載の画像送信装置。
  4. 前記データ量削減部は、前記複数の画像又は選択された前記一部の画像の、前記画像受信装置にて行なう前記認識認証処理に応じた帯域成分を抽出することで、前記複数の画像のデータ量を削減する請求項１ないし３のいずれかに記載の画像送信装置。
  5. 前記データ量削減部は、前記画像受信装置にて行なう前記認識認証処理に応じた解像度に、前記複数の画像又は選択された前記一部の画像を解像度変換することで、前記複数の画像のデータ量を削減する請求項１ないし４のいずれかに記載の画像送信装置。
  6. 前記データ量削減部は、前記画像受信装置にて行なう前記認識認証処理に応じた符号化率で、前記複数の画像又は選択された前記一部の画像を符号化することで、前記複数の画像のデータ量を削減することを特徴とする請求項１ないし５のいずれかに記載の画像送信装置。
  7. 前記画像受信装置にて行う前記認識認証処理のモード情報を受信する受信部と、
    前記モード情報と前記削減方法との対応付けを記憶した記憶部と、
    前記記憶部を参照して、前記受信部にて受信した前記モード情報に対応する前記削減方法を決定する削減制御部と、
    を備え、
    前記データ量削減部は、前記削減制御部にて決定された前記削減方法に従って前記データ量削減画像を生成する
    ことを特徴とする請求項１ないし６のいずれかに記載の画像送信装置。
  8. 前記削減方法を示す情報を受信する受信部を備え、
    前記データ量削減部は、前記受信部にて受信した前記情報で示される前記削減方法に従って前記データ量削減画像を生成する
    ことを特徴とする請求項１ないし６のいずれかに記載の画像送信装置。
  9. 複数の連続的な画像を入力する画像入力ステップと、
    入力された前記複数の画像のデータ量を削減してデータ量削減画像を生成するデータ量削減ステップと、
    前記データ量削減画像を、前記データ量削減画像に対して認識認証処理を行なう画像受信装置に送信する送信ステップと、
    を含み、
    前記データ量削減ステップは、前記画像受信装置にて行なう前記認識認証処理に応じた削減方法で前記複数の画像のデータ量を削減する
    ことを特徴とする画像送信方法。
  10. コンピュータを、
    複数の連続的な画像を入力する画像入力部と、
    前記画像入力部に入力された前記複数の画像のデータ量を削減してデータ量削減画像を生成するデータ量削減部と、
    前記データ量削減画像を、前記データ量削減画像に対して認識認証処理を行なう画像受信装置に送信する送信部と、
    として機能させる画像送信プログラムであって、
    前記データ量削減部は、前記画像受信装置にて行なう前記認識認証処理に応じた削減方法で前記複数の画像のデータ量を削減する
    ことを特徴とする画像送信プログラム。
  11. 画像送信装置と画像受信装置とからなる画像認識認証システムであって、
    前記画像送信装置は、
    複数の連続的な画像を入力する画像入力部と、
    前記画像入力部に入力された前記複数の画像のデータ量を削減してデータ量削減画像を生成するデータ量削減部と、
    前記データ量削減画像を前記画像受信装置に送信する送信部と、
    を備え、
    前記画像受信装置は、
    前記送信部にて送信された前記データ量削減画像を受信する受信部と、
    前記受信部にて受信した前記データ量削減画像に対して、認識認証処理を行なう認識認証処理部と、
    を備え、
    前記データ量削減部は、前記認識認証処理部にて行なう前記認識認証処理に応じた削減方法で前記複数の画像のデータ量を削減する
    ことを特徴とする画像認識認証システム。
  12. 画像送信装置から送信されたデータ量削減画像を受信する受信部と、
    前記受信部にて受信した前記データ量削減画像に対して、認識認証処理を行なう認識認証処理部と、
    前記認識認証処理部にて行なう前記認識認証処理のモード情報を前記画像送信装置に送信する送信部と、
    を備えたことを特徴とする画像受信装置。
  13. 画像送信装置から送信されたデータ量削減画像を受信する受信部と、
    前記受信部にて受信した前記データ量削減画像に対して、認識認証処理を行なう認識認証処理部と、
    前記認識認証処理部にて行なう前記認識認証処理のモード情報と前記データ量削減画像を生成するための削減方法との対応付けを記憶した記憶部と、
    設定されたモード情報に従って、前記記憶部を参照して前記削減方法を決定する削減制御部と、
    前記削減制御部にて決定された前記削減方法を示す情報を前記画像送信装置に送信する送信部と、
    を備えたことを特徴とする画像受信装置。
JP2012160453A 2012-07-19 2012-07-19 画像送信装置、画像送信方法、画像送信プログラム及び画像認識認証システム Active JP6024952B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2012160453A JP6024952B2 (ja) 2012-07-19 2012-07-19 画像送信装置、画像送信方法、画像送信プログラム及び画像認識認証システム
DE102013213153.4A DE102013213153A1 (de) 2012-07-19 2013-07-04 Bildübermittlungsvorrichtung, Bildübermittlungsverfahren, Bildübermittlungsprogramm, Bilderkennungs- und authentifizierungssystem und Bildempfangsvorrichtung
US13/943,898 US9842409B2 (en) 2012-07-19 2013-07-17 Image transmission device, image transmission method, image transmission program, image recognition and authentication system, and image reception device
GB1312823.6A GB2506477B (en) 2012-07-19 2013-07-18 Image transmission device, image transmission method, image transmission program, image recognition and authentication system, and image reception device
CN201310306018.XA CN103577802B (zh) 2012-07-19 2013-07-19 图像发送装置、方法及程序、图像识别认证系统及图像接收装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012160453A JP6024952B2 (ja) 2012-07-19 2012-07-19 画像送信装置、画像送信方法、画像送信プログラム及び画像認識認証システム

Publications (2)

Publication Number Publication Date
JP2014022970A true JP2014022970A (ja) 2014-02-03
JP6024952B2 JP6024952B2 (ja) 2016-11-16

Family

ID=49081438

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012160453A Active JP6024952B2 (ja) 2012-07-19 2012-07-19 画像送信装置、画像送信方法、画像送信プログラム及び画像認識認証システム

Country Status (4)

Country Link
US (1) US9842409B2 (ja)
JP (1) JP6024952B2 (ja)
DE (1) DE102013213153A1 (ja)
GB (1) GB2506477B (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014174763A1 (ja) * 2013-04-22 2014-10-30 パナソニックＩｐマネジメント株式会社 処理装置、集積回路、処理方法、およびプログラム
JP2016018571A (ja) * 2014-07-07 2016-02-01 株式会社リコー 画像記憶再生制御装置、画像記憶再生制御方法、画像記憶再生制御システム、及びプログラム
JP2017076909A (ja) * 2015-10-15 2017-04-20 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP2017158105A (ja) * 2016-03-03 2017-09-07 沖電気工業株式会社 情報処理装置、情報処理方法、プログラム、及び情報処理システム
WO2018012084A1 (ja) * 2016-07-15 2018-01-18 パナソニックＩｐマネジメント株式会社 画像認識システム
JP2018033103A (ja) * 2016-08-26 2018-03-01 富士通株式会社 フレームレート判定装置、フレームレート判定方法及びフレームレート判定用コンピュータプログラム
JP2019057815A (ja) * 2017-09-21 2019-04-11 株式会社東芝 監視システム
WO2019220548A1 (ja) * 2018-05-15 2019-11-21 富士通株式会社 認証方法、認証プログラムおよび認証装置
US10529205B2 (en) 2017-02-27 2020-01-07 Panasonic Intellectual Property Management Co., Ltd. Surveillance camera system and surveillance method
US11102456B2 (en) 2017-12-18 2021-08-24 Panasonic I-Pro Sensing Solutions Co., Ltd. Video encoding system and video encoding method

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6292912B2 (ja) * 2014-02-07 2018-03-14 キヤノン株式会社 通信機器及び通信機器の制御方法
US9679197B1 (en) 2014-03-13 2017-06-13 Leap Motion, Inc. Biometric aware object detection and tracking
US20150294373A1 (en) * 2014-04-09 2015-10-15 Daniel D. Schuh Data Acquisition and Management System for Advertisement and Retail Use
US10782657B2 (en) * 2014-05-27 2020-09-22 Ultrahaptics IP Two Limited Systems and methods of gestural interaction in a pervasive computing environment
DE202014103729U1 (de) 2014-08-08 2014-09-09 Leap Motion, Inc. Augmented-Reality mit Bewegungserfassung
RU2613734C1 (ru) 2015-10-22 2017-03-21 Общество с ограниченной ответственностью "Аби Девелопмент" Захват видео в сценарии ввода данных
GB201908045D0 (en) * 2019-06-05 2019-07-17 V Nova Int Ltd Object analysis
JP2021118478A (ja) 2020-01-28 2021-08-10 パナソニックｉ−ＰＲＯセンシングソリューションズ株式会社 監視カメラ、カメラパラメータ決定方法およびプログラム
CN113573140B (zh) * 2021-07-09 2022-05-03 西安交通大学 一种支持人脸检测与实时超分辨率的码率自适应决策方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002191044A (ja) * 2001-10-15 2002-07-05 Toshiba Corp 顔画像監視システム
JP2002262288A (ja) * 2001-02-26 2002-09-13 Sanyo Electric Co Ltd 画像データ送信装置および画像データ受信装置
JP2003116139A (ja) * 2001-10-03 2003-04-18 Olympus Optical Co Ltd 映像配信サーバ及び映像受信クライアントシステム
JP2010136032A (ja) * 2008-12-04 2010-06-17 Hitachi Ltd 映像監視システム

Family Cites Families (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB217922A (en) 1922-04-05 1924-07-28 Harry Pierce Improvements in power operated ironing and pressing machine
JPS5622178A (en) 1979-07-31 1981-03-02 Fujitsu Ltd Optical character recognizer
JPH0330504A (ja) 1989-06-27 1991-02-08 Nec Corp 電界効果トランジスタ
JPH0421873A (ja) 1990-05-17 1992-01-24 Canon Inc 画像形成装置
JPH04208450A (ja) 1990-11-30 1992-07-30 Unitika Ltd ラミネートフィルム簡易開封袋の製造法
KR930011288B1 (ko) * 1991-01-17 1993-11-29 삼성전자 주식회사 영상신호 대역 압축 전송을 위한 dc 성분 추출장치
US5818970A (en) * 1991-04-26 1998-10-06 Canon Kabushiki Kaisha Image encoding apparatus
JPH07152865A (ja) * 1993-11-30 1995-06-16 Canon Inc 情報認識装置及びその方法
US6275988B1 (en) * 1995-06-30 2001-08-14 Canon Kabushiki Kaisha Image transmission apparatus, image transmission system, and communication apparatus
JP3198980B2 (ja) * 1996-10-22 2001-08-13 松下電器産業株式会社 画像表示装置及び動画像検索システム
JP3930504B2 (ja) 1998-01-07 2007-06-13 株式会社東芝 物体抽出装置
JP2000278672A (ja) * 1999-01-21 2000-10-06 Matsushita Electric Ind Co Ltd ネットワーク型監視装置
JP3727798B2 (ja) 1999-02-09 2005-12-14 株式会社東芝 画像監視システム
JP4377472B2 (ja) 1999-03-08 2009-12-02 株式会社東芝 顔画像処理装置
US7184100B1 (en) * 1999-03-24 2007-02-27 Mate - Media Access Technologies Ltd. Method of selecting key-frames from a video sequence
US6944319B1 (en) * 1999-09-13 2005-09-13 Microsoft Corporation Pose-invariant face recognition system and process
JP2001313819A (ja) * 2000-04-27 2001-11-09 Fuji Xerox Co Ltd 画像処理装置、記憶媒体
JP4560897B2 (ja) * 2000-06-02 2010-10-13 ソニー株式会社 通信装置、通信方法及び媒体
US6680745B2 (en) * 2000-11-10 2004-01-20 Perceptive Network Technologies, Inc. Videoconferencing method with tracking of face and dynamic bandwidth allocation
WO2003021969A2 (en) * 2001-08-30 2003-03-13 Faroudja Cognition Systems, Inc. Multi-layer video compression system with synthetic high frequencies
US20030179827A1 (en) * 2002-03-19 2003-09-25 Kenji Sugiyama Video emphasis encoding method and apparatus, video de-emphasis decoding method and apparatus, video emphasis transmitting method and apparatus and video de-emphasis receiving method and apparatus
JP4318465B2 (ja) 2002-11-08 2009-08-26 コニカミノルタホールディングス株式会社 人物検出装置および人物検出方法
US7116833B2 (en) * 2002-12-23 2006-10-03 Eastman Kodak Company Method of transmitting selected regions of interest of digital video data at selected resolutions
JP2004310281A (ja) 2003-04-03 2004-11-04 Nissan Motor Co Ltd 物体追跡装置
JP2005227957A (ja) 2004-02-12 2005-08-25 Mitsubishi Electric Corp 最適顔画像記録装置及び最適顔画像記録方法
JP4021873B2 (ja) 2004-06-03 2007-12-12 株式会社東芝 顔画像監視システム
JP4578864B2 (ja) 2004-06-03 2010-11-10 パナソニック株式会社 自動追尾装置及び自動追尾方法
EP1806786A1 (en) * 2005-02-09 2007-07-11 Matsushita Electric Industrial Co., Ltd. Monitoring camera device, monitoring system using the same, and monitoring image transmission method
JP4332674B2 (ja) * 2005-03-30 2009-09-16 富士フイルム株式会社 電子メール送受信装置及び電子メール送受信プログラム
US7765231B2 (en) * 2005-04-08 2010-07-27 Rathus Spencer A System and method for accessing electronic data via an image search engine
KR100703772B1 (ko) * 2005-04-13 2007-04-06 삼성전자주식회사 인코더-디코더 간 불일치를 감소시키는 ｍｃｔｆ 기반의비디오 코딩 방법 및 장치
US20060251382A1 (en) * 2005-05-09 2006-11-09 Microsoft Corporation System and method for automatic video editing using object recognition
US8306280B2 (en) * 2006-04-11 2012-11-06 Nikon Corporation Electronic camera and image processing apparatus
KR20080114388A (ko) * 2007-06-27 2008-12-31 삼성전자주식회사 스케일러블 영상 부호화장치 및 방법과 그 영상 복호화장치및 방법
CN102325257A (zh) * 2007-07-20 2012-01-18 富士胶片株式会社 图像处理设备和图像处理方法
JP4957563B2 (ja) 2008-01-21 2012-06-20 パナソニック株式会社 画像送信装置
WO2010007760A2 (en) * 2008-07-16 2010-01-21 Thomson Licensing Encoding apparatus of video and audio data, encoding method thereof, and video editing system
US8077773B2 (en) * 2008-07-19 2011-12-13 Worldplay (Barbados) Inc. Systems and methods for highly efficient video compression using selective retention of relevant visual detail
JP5072757B2 (ja) * 2008-07-24 2012-11-14 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
US8264524B1 (en) * 2008-09-17 2012-09-11 Grandeye Limited System for streaming multiple regions deriving from a wide-angle camera
US20110055895A1 (en) * 2009-08-31 2011-03-03 Third Iris Corp. Shared scalable server to control confidential sensory event traffic among recordation terminals, analysis engines, and a storage farm coupled via a non-proprietary communication channel
US8558888B2 (en) * 2009-02-27 2013-10-15 Third Iris Corp. Bandwidth shaping client to capture, transform, cache, and upload images from a remote point of recordation to a network service
JP5523027B2 (ja) * 2009-09-02 2014-06-18 キヤノン株式会社 情報送信装置及び情報送信方法
KR101487944B1 (ko) * 2010-02-24 2015-01-30 아이피플렉 홀딩스 코포레이션 시각 장애인들을 지원하는 증강 현실 파노라마
JP2012010222A (ja) * 2010-06-28 2012-01-12 Kyocera Corp 携帯無線通信端末装置
JP5631106B2 (ja) * 2010-08-18 2014-11-26 キヤノン株式会社 画像処理装置、その制御方法、及びプログラム、並びに撮像装置
US8806614B2 (en) * 2010-09-22 2014-08-12 Canon Kabushiki Kaisha Image processing apparatus, controlling method of image processing apparatus, and computer program
JP5092000B2 (ja) * 2010-09-24 2012-12-05 株式会社東芝 映像処理装置、方法、及び映像処理システム
DE102011003497B4 (de) 2011-02-02 2012-12-27 Automotive Lighting Reutlingen Gmbh Modular aufgebautes Projektionslichtmodul eines Kraftfahrzeugscheinwerfers
JP2012186567A (ja) 2011-03-03 2012-09-27 Panasonic Corp 監視システム
US8608073B2 (en) * 2012-01-26 2013-12-17 Apple Inc. System and method for robust real-time 1D barcode detection

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002262288A (ja) * 2001-02-26 2002-09-13 Sanyo Electric Co Ltd 画像データ送信装置および画像データ受信装置
JP2003116139A (ja) * 2001-10-03 2003-04-18 Olympus Optical Co Ltd 映像配信サーバ及び映像受信クライアントシステム
JP2002191044A (ja) * 2001-10-15 2002-07-05 Toshiba Corp 顔画像監視システム
JP2010136032A (ja) * 2008-12-04 2010-06-17 Hitachi Ltd 映像監視システム

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014174763A1 (ja) * 2013-04-22 2014-10-30 パナソニックＩｐマネジメント株式会社 処理装置、集積回路、処理方法、およびプログラム
JP2016018571A (ja) * 2014-07-07 2016-02-01 株式会社リコー 画像記憶再生制御装置、画像記憶再生制御方法、画像記憶再生制御システム、及びプログラム
JP2017076909A (ja) * 2015-10-15 2017-04-20 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP2017158105A (ja) * 2016-03-03 2017-09-07 沖電気工業株式会社 情報処理装置、情報処理方法、プログラム、及び情報処理システム
US10853964B2 (en) 2016-07-15 2020-12-01 Panasonic Intellectual Property Management Co., Ltd. Image recognition system
WO2018012084A1 (ja) * 2016-07-15 2018-01-18 パナソニックＩｐマネジメント株式会社 画像認識システム
JP2018033103A (ja) * 2016-08-26 2018-03-01 富士通株式会社 フレームレート判定装置、フレームレート判定方法及びフレームレート判定用コンピュータプログラム
US10977917B2 (en) 2017-02-27 2021-04-13 Panasonic I-Pro Sensing Solutions Co., Ltd. Surveillance camera system and surveillance method
US10529205B2 (en) 2017-02-27 2020-01-07 Panasonic Intellectual Property Management Co., Ltd. Surveillance camera system and surveillance method
JP2019057815A (ja) * 2017-09-21 2019-04-11 株式会社東芝 監視システム
US10706502B2 (en) 2017-09-21 2020-07-07 Kabushiki Kaisha Toshiba Monitoring system
US11102456B2 (en) 2017-12-18 2021-08-24 Panasonic I-Pro Sensing Solutions Co., Ltd. Video encoding system and video encoding method
WO2019220548A1 (ja) * 2018-05-15 2019-11-21 富士通株式会社 認証方法、認証プログラムおよび認証装置

Also Published As

Publication number Publication date
US20140023247A1 (en) 2014-01-23
GB2506477A (en) 2014-04-02
GB2506477B (en) 2020-04-01
GB201312823D0 (en) 2013-08-28
JP6024952B2 (ja) 2016-11-16
US9842409B2 (en) 2017-12-12
CN103577802A (zh) 2014-02-12
DE102013213153A1 (de) 2014-02-20

Similar Documents

Publication Publication Date Title
JP6024952B2 (ja) 画像送信装置、画像送信方法、画像送信プログラム及び画像認識認証システム
US9384386B2 (en) Methods and systems for increasing facial recognition working rang through adaptive super-resolution
KR101687530B1 (ko) 촬상 시스템에 있어서의 제어방법, 제어장치 및 컴퓨터 판독 가능한 기억매체
US8938092B2 (en) Image processing system, image capture apparatus, image processing apparatus, control method therefor, and program
US9965835B2 (en) Defogging images and video
CN110366048B (zh) 视频传输方法、装置、电子设备和计算机可读存储介质
KR20160126861A (ko) 비디오 카메라 내의 비디오 스트림을 프로세싱하는 방법 및 디바이스
CN110855957B (zh) 图像处理方法及装置、存储介质和电子设备
CN106060544B (zh) 一种图像编码方法、相关设备及系统
KR102233402B1 (ko) 미세먼지 농도 추정 방법 및 이를 수행하기 위한 장치
TWI521473B (zh) 影像分析裝置、方法及電腦可讀取媒體
KR20180086048A (ko) 카메라 및 카메라의 영상 처리 방법
US10878272B2 (en) Information processing apparatus, information processing system, control method, and program
JP2020091649A (ja) 画像処理装置、画像処理システム、画像処理装置の制御方法、及び、プログラム
CN107516074B (zh) 一种认证识别方法及系统
US10051281B2 (en) Video coding system with efficient processing of zooming transitions in video
US9363432B2 (en) Image processing apparatus and image processing method
CN110933314B (zh) 追焦拍摄方法及相关产品
US20230188679A1 (en) Apparatus and method for transmitting images and apparatus and method for receiving images
JP5769468B2 (ja) 物体検出システム及び物体検出方法
CN114640815A (zh) 一种视频的处理方法、装置、电子设备及存储介质
JP2014120139A (ja) 画像処理装置およびその制御方法、撮像装置、および表示装置
CN112541429A (zh) 一种智能抓图方法、装置、电子设备以及存储介质
JP2019033469A (ja) 撮像装置、制御方法及びプログラム
KR20110037485A (ko) 상황 변화 인식 방법 및 이를 이용한 영상 처리 장치

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20141003

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20141008

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20150223

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150224

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20151029

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160225

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160301

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160428

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160607

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160808

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160830

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160928

R150 Certificate of patent or registration of utility model

Ref document number: 6024952

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

SZ03 Written request for cancellation of trust registration

Free format text: JAPANESE INTERMEDIATE CODE: R313Z03

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250