JP2016111511A - 管理装置及び画像処理システム - Google Patents

管理装置及び画像処理システム Download PDF

Info

Publication number
JP2016111511A
JP2016111511A JP2014246924A JP2014246924A JP2016111511A JP 2016111511 A JP2016111511 A JP 2016111511A JP 2014246924 A JP2014246924 A JP 2014246924A JP 2014246924 A JP2014246924 A JP 2014246924A JP 2016111511 A JP2016111511 A JP 2016111511A
Authority
JP
Japan
Prior art keywords
data
resolution
image data
unit
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014246924A
Other languages
English (en)
Other versions
JP6489413B2 (ja
JP2016111511A5 (ja
Inventor
小林　正明
Masaaki Kobayashi
正明 小林
正克 松尾
Masakatsu Matsuo
正克 松尾
武藤　浩二
Koji Muto
浩二 武藤
勝則 古賀田
Katsunori Kogata
勝則 古賀田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2014246924A priority Critical patent/JP6489413B2/ja
Priority to US15/524,108 priority patent/US10230997B2/en
Priority to EP15864842.8A priority patent/EP3229465B1/en
Priority to PCT/JP2015/005939 priority patent/WO2016088347A1/ja
Publication of JP2016111511A publication Critical patent/JP2016111511A/ja
Publication of JP2016111511A5 publication Critical patent/JP2016111511A5/ja
Application granted granted Critical
Publication of JP6489413B2 publication Critical patent/JP6489413B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/231—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/08—Key distribution or management, e.g. generation, sharing or updating, of cryptographic keys or passwords
    • H04L9/0816—Key establishment, i.e. cryptographic processes or cryptographic protocols whereby a shared secret becomes available to two or more parties, for subsequent use
    • H04L9/085—Secret sharing or secret splitting, e.g. threshold schemes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/08—Key distribution or management, e.g. generation, sharing or updating, of cryptographic keys or passwords
    • H04L9/0894—Escrow, recovery or storing of secret information, e.g. secret key escrow or cryptographic key storage
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/88—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving rearrangement of data among different coding units, e.g. shuffling, interleaving, scrambling or permutation of pixel data or permutation of transform coefficient data among different blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2347—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving video stream encryption
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6125—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6156—Network physical structure; Signal processing specially adapted to the upstream path of the transmission network
    • H04N21/6175—Network physical structure; Signal processing specially adapted to the upstream path of the transmission network involving transmission via Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/913—Television signal processing therefor for scrambling ; for copy protection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/913—Television signal processing therefor for scrambling ; for copy protection
    • H04N2005/91357—Television signal processing therefor for scrambling ; for copy protection by modifying the video signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Graphics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Signal Processing For Recording (AREA)
  • Storage Device Security (AREA)

Abstract

【課題】分散データを多く集める程、より解像度の高い画像データを再生することができると共に、各々の分散データにおいて著作権やプライバシー等に対するセキュリティを確保すること。【解決手段】解像度変換部１０４は、入力画像データを、互いに解像度が異なるＮ種類（Ｎは複数）の画像データに変換する。秘密分散処理部１０６は、複数の画像データのそれぞれをｎ個（ｎはＮ＋１以上の整数であって、全ての画像データにおいて同一の値）の分散データに分割し、その中のｋ個（ｋは２以上ｎ以下の整数であって、画像データ毎に互いに異なる値）を用いると元の画像データに復元できるように秘密分散処理を行う。データ結合部１０７は、各解像度から重複しないように１つずつ選択された分散データを結合してｎ個の結合データを生成し、各結合データを互いに異なるストレージに保存させる。【選択図】図２

Description

本発明は、映像データを分散して秘密に管理するための管理装置及びこれを用いた画像処理システムに関する。
特許文献１には、第１の経路（放送波）で主映像データを受信して、必要な場合には第２の経路（ネットワーク）で高画質化の差分データを受信し主映像データと差分データを合成する技術が開示されている。
特開２０１４−１３８３１４号公報
しかしながら、特許文献１に示された技術は、主映像データを取得されるだけで、当該映像データが再生されてしまうため、コンテンツ映像や監視カメラ映像等をネットワーク環境で伝送・蓄積する場合、著作権やプライバシー等に対してセキュリティが低い。
本発明の目的は、分散データを多く集める程、より解像度の高い画像データを再生することができると共に、各々の分散データにおいて著作権やプライバシー等に対するセキュリティを確保することができる管理装置及び画像処理システムを提供することである。
本発明は、入力画像データを、互いに解像度が異なるＮ種類（Ｎは複数）の画像データに変換する解像度変換部と、前記複数の画像データのそれぞれをｎ個（ｎはＮ＋１以上の整数であって、全ての画像データにおいて同一の値）の分散データに分割し、その中のｋ個（ｋは２以上ｎ以下の整数であって、画像データ毎に互いに異なる値）を用いると元の画像データに復元できるように秘密分散処理を行う秘密分散処理部と、各解像度から重複しないように１つずつ選択された分散データを結合してｎ個の結合データを生成し、各結合データを互いに異なるストレージに保存させるデータ結合部と、を具備する管理装置である。
本発明は、上記の管理装置と、結合データを保存するストレージと、を具備する画像処理システムである。
本発明によれば、分散データを多く集める程、より解像度の高い画像データを再生することができると共に、各々の分散データにおいて著作権やプライバシー等に対するセキュリティを確保することができる。
本発明の実施の形態１に係る画像処理システムの構成を示す図 本発明の実施の形態１に係る映像管理サーバの内部構成を示すブロック図 本発明の実施の形態１に係る映像管理サーバに保存される情報の一例を示す図 秘密分散処理を説明する図 本発明の実施の形態１に係る映像管理サーバが行う処理の手順を示す図 本発明の実施の形態１に係る映像管理サーバが行う処理の具体例を示す図 本発明の実施の形態１に係る受信装置の内部構成を示すブロック図 本発明の実施の形態１に係る受信装置が行う処理の手順を示す図 本発明の実施の形態２に係る映像管理サーバの内部構成を示すブロック図 本発明の実施の形態２に係る映像管理サーバが行う処理の手順を示す図 本発明の実施の形態２に係る映像管理サーバが行う処理の具体例を示す図 本発明の実施の形態２に係る受信装置の内部構成を示すブロック図 本発明の実施の形態２に係る受信装置が行う処理の手順を示す図
本発明の実施の形態に係る画像処理システムについて、図面を参照しながら説明する。
（実施の形態１）
実施の形態１では、可逆方式の秘密分散処理を用いる場合について説明する。
図１は、本実施の形態の画像処理システムの構成を示す図である。画像処理システムは、映像・コンテンツ作成部１０と、映像・コンテンツ蓄積部２０と、映像・コンテンツ閲覧部３０と、から主に構成される。
映像・コンテンツ作成部１０は、カメラ１１、１２等で作成された映像データやパーソナルコンピュータ１３に保存されている映像データ等を、インターネットと接続するルータ／モデム等の通信装置１４を介して、映像・コンテンツ蓄積部２０に送信する。
映像・コンテンツ蓄積部２０は、映像・コンテンツ作成部１０から受信した映像データを映像管理サーバ２１で加工して分散データを作成し、複数のストレージ２２（２２−１、２２−２、・・・、２２−ｎ）に分散データを分散して保存する。なお、映像管理サーバ２１の内部構成、及び、ストレージ２２の分散データの保存の様子については後述する。
映像・コンテンツ閲覧部３０は、複数のストレージ２２に保存された分散データを、ルータ／モデム等の通信装置３１を介して受信装置３３で受信し、受信装置３３は受信した分散データを合成して映像データを復元し、復元された映像データをディスプレイ３４に出力する。なお、受信装置３３で実施される処理は、モバイル端末３２や、パーソナルコンピュータ３５、３６の内部で実施されても構わない。また、受信装置３３の内部構成については後述する。
次に、映像管理サーバ２１の内部構成について、図２のブロック図を用いて説明する。図２に示すように、映像管理サーバ２１は、データ受信部１０１と、記憶部１０２と、制御部１０３と、解像度変換部１０４と、画像符号化部１０５と、秘密分散処理部１０６と、データ結合部１０７と、データ送信部１０８と、から主に構成される。
データ受信部１０１は、映像・コンテンツ作成部１０から送信された映像データを、インターネットを介して受信し、制御部１０３及び解像度変換部１０４に出力する。
記憶部１０２には、変換前の画像データである元画像データの解像度毎に、Ｎ種類（Ｎは２以上の整数）の変換後の解像度と、変換後の解像度毎の解像度変換パラメータ（横画素数、縦画素数）と、秘密分散パラメータ（ｎ（分散数）、ｋ（閾値））とが、関連付けてテーブル形式で保存される（図３参照）。なお、ｎは、Ｎ＋α（αは１以上の整数）である。また、ｋは、２以上ｎ以下の整数である。また、本実施の形態では、ｋは、変換後の解像度毎に互いに異なる値を採り、解像度が高い程、大きな値を採る。
制御部１０３は、データ受信部１０１から入力した映像データの画像データの解像度（画素数）に基づいて、Ｎ種類の変換後の解像度を選択し、解像度変換部１０４に変換後の解像度を指示する。
解像度変換部１０４は、制御部１０３に指示された各解像度となるように、記憶部１０２に保存された情報（各解像度に対応する解像度変換パラメータ）に基づいて、データ受信部１０１から入力した映像データ（元画像データ）の解像度を変換し、Ｎ種類の解像度の映像データを生成して画像符号化部１０５に出力する。なお、Ｎ種類の解像度の映像データに加え、サムネール（縮小画像）を付ける場合、解像度変換部１０４は、元画像データの解像度をサムネール用の解像度ＲＳに変換して、サムネールを生成し、画像符号化部１０５に出力する。
画像符号化部１０５は、解像度変換部１０４から出力された各解像度の画像データに対して圧縮符号化処理を行い、秘密分散処理部１０６に出力する。なお、サムネールを付ける場合、画像符号化部１０５は、サムネールに対して圧縮符号化処理を行い、データ結合部１０７に出力する。
秘密分散処理部１０６は、記憶部１０２に保存された情報（各解像度に対応する秘密分散パラメータ）に基づいて、画像符号化部１０５から出力された圧縮符号化処理後の各画像データに対して秘密分散処理を行い、解像度毎にｎ個の分散データを生成してデータ結合部１０７に出力する。なお、秘密分散処理とは、秘密にしたい一つのデータｓを複数のｎ個の分散データに分割し、その中のｋ個（ｋ≦ｎ）を用いると元のデータｓに復元できるが、ｋ個未満の分散データからでは元のデータｓに復元できないようにする処理である（図４参照）。秘密分散処理を行うことにより、分散データを盗まれたとしても、その数がｋ個未満であれば元のデータｓを復元できないことから個々の分散データに対して高いセキュリティを実現できる。また、解像度毎に復元に必要な分散データの数ｋを、解像度が低い画像データ程、ｋが小さくなるように設定することにより、少ない分散データでも解像度の低い画像を復元することができると共に、分散データを多く集めるほど高解像度の映像を再生できるようになる。
データ結合部１０７は、各分散データに先頭マーカ、秘密分散パラメータ、終端マーカを付加し、各解像度から重複しないように１つずつ選択された分散データを結合して結合データを生成する。従って、結合データは合計ｎ個生成される。なお、サムネールを付ける場合、データ結合部１０７は、圧縮符号化後のサムネールを全ての結合データに付加する。
データ送信部１０８は、生成されたｎ個の結合データを互いに異なるストレージ２２−ｉ（ｉは１以上ｎ以下の整数）に送信し、保存する。なお、ストレージ２２−ｉはイントラネットを介して接続されていてもよいし、インターネットを介して接続されていてもよい。
さらに、データ送信部１０８は、受信装置３３の要求に応じて、ストレージ２２−iからｊ個（ｊは２以上ｎ以下の整数）の結合データを選択して、受信装置３３に送信する機能を備えている場合もある。
次に、映像管理サーバ２１が行う処理の手順について、図５を用いて説明する。
まず、解像度変換部１０４が、元画像データの解像度を変換し、Ｎ種類の解像度の画像データを生成する。なお、サムネールを付ける場合には、解像度変換部１０４が、サムネール用の解像度の画像データも生成する（Ｓ２０１）。
次に、画像符号化部１０５が、Ｎ種類の各解像度の画像データに対して圧縮符号化処理を行う。なお、サムネールを付ける場合には、画像符号化部１０５が、サムネール用の画像データに対しても圧縮符号化処理を行う（Ｓ２０２）。
次に、秘密分散処理部１０６が、サムネールを除く、Ｎ種類の各解像度の圧縮符号化後の画像データに対して秘密分散処理を行い、解像度毎にｎ個の分散データを生成する（Ｓ２０３）。
次に、データ結合部１０７が、各解像度から重複しないように１つずつ選択された分散データを結合してｎ個の結合データを生成する。なお、サムネールを付ける場合には、サムネールはすべての結合データに付加される（Ｓ２０４）。
次に、映像管理サーバ２１が行う処理の具体例について、図６を用いて説明する。図６の例では、元画像データが解像度Ｒ１（3840×2160ドット）であり、Ｎ＝３、ｎ＝４、サムネール付の場合の例を示している。
この場合、解像度Ｒ１（3840×2160ドット）、解像度Ｒ２（1920×1080ドット）、解像度Ｒ３（640×480ドット）の３種類の解像度の画像データとサムネールが生成される。そして、各解像度の画像データは、秘密分散処理により、それぞれ、４個の分散データに分割される。
ここで、解像度Ｒ１の画像データについては、４個の分散データを用いると元の画像データに復元することができる。また、解像度Ｒ２の画像データについては、３個の分散データを用いると元の画像データに復元することができる。また、解像度Ｒ３の画像データについては、２個の分散データを用いると元の画像データに復元することができる。なお、サムネールは、元画像データを縮小したものであって、例えばコンテンツ映像において著作権を主張できない程度に劣化した、あるいは監視カメラ映像においてプライバシー情報が含まれない程度に劣化した、映像としての価値が低い状態のものである。サムネールを再生しても、著作権やプライバシーに対するセキュリティは確保される。また、サムネールから元画像データを復元することはできない。
秘密分散処理の後、各解像度Ｒ１、Ｒ２、Ｒ３から重複しないように１つずつ選択された分散データ１−１、２−１、３−１とサムネールが結合されて、ストレージ２２−１に保存される。同様に、各解像度Ｒ１、Ｒ２、Ｒ３から重複しないように１つずつ選択された分散データ１−２、２−２、３−２とサムネールが結合されて、ストレージ２２−２に保存され、各解像度Ｒ１、Ｒ２、Ｒ３から重複しないように１つずつ選択された分散データ１−３、２−３、３−３とサムネールが結合されて、ストレージ２２−３に保存され、各解像度Ｒ１、Ｒ２、Ｒ３から重複しないように１つずつ選択された分散データ１−４、２−４、３−４とサムネールが結合されて、ストレージ２２−４に保存される。
次に、受信装置３３の内部構成について、図７のブロック図を用いて説明する。図７に示すように、受信装置３３は、データ受信部３０１と、制御部３０２と、データ分離部３０３と、秘密分散復元部３０４と、画像復号部３０５と、データ送信部３０６と、から主に構成される。
データ受信部３０１は、ストレージ２２−ｉ（ｉは１からｎまでの整数）からｊ個（ｊは２以上ｎ以下の整数）の結合データを、インターネットを介して受信し、制御部３０２及びデータ分離部３０３に出力する。
ここで、データ受信部３０１が受信できる結合データの数は、ユーザの権限等に基づいて決定される。例えば、データ受信部３０１は、（システムに対してより高額の料金を納めている、あるいは、データ管理者でより高いアクセス権限を有している等の）権限の高いユーザ程、より多くの結合データにアクセスすることができ、受信することができる。これにより、権限の高いユーザ程、高画質の画像データを閲覧することができる。
なお、データ受信部３０１が受信するデータは、受信装置３３の要求に応じて、映像管理サーバ２１がｊ個の結合データをストレージ２２−ｉから選択して送信する構成であってもよい。
制御部３０２は、データ受信部３０１から入力した結合データの数ｊ＝ｋに基づいて、復元される画像データ（以下、「復元画像データ」という）の解像度を選択し、データ分離部３０３に、選択した解像度の分散データを指示する。
例えば、図６で例示したようにＮ＝３、ｎ＝４で分散データが作成される場合、ｊ＝ｋ＝３であれば、解像度Ｒ２が復元できるので、復元画像データの解像度はＲ２となり、データ分離部３０３には解像度Ｒ２の３個の分散データ（例えば、分散データ２−１、２−２、２−３）が指示される。
データ分離部３０３は、制御部３０２に指示された分散データを各結合データから分離し、秘密分散復元部３０４に出力する。
秘密分散復元部３０４は、データ分離部３０３から出力された分散データに対して秘密分散復元処理を行い、復元画像データを画像復号部３０５に出力する。なお、秘密分散復元部３０４で復元される画像データは、符号化された状態のものである。
画像復号部３０５は、秘密分散復元部３０４から出力された復元画像データに対して、画像符号化部１０５の圧縮符号化に対応する復号処理を行い、ユーザが視聴可能な復元画像データを生成し、データ送信部３０６に出力する。
データ送信部３０６は、画像復号部３０５から出力された復元画像データをディスプレイ３４に出力し、復元画像データはディスプレイ３４で表示される。
次に、受信装置３３が行う処理の手順について、図８を用いて説明する。
まず、データ分離部３０３が、ｊ個の結合データから、ｊ＝ｋに対応する解像度のｋ個の分散データを分離する（Ｓ４０１）。
次に、秘密分散復元部３０４が、ｋ個の分散データに対して秘密分散復元処理を行い、さらに、画像復号部３０５が復号処理を行い、ユーザが視聴可能な復元画像データを生成する（Ｓ４０２、Ｓ４０３）。
なお、画像復号部３０５で生成された復元画像データは、ディスプレイ３４で表示される。また、受信装置３３が行う処理はモバイル端末３２や、パーソナルコンピュータ３５、３６の内部で実施されても構わない。
以上のように、本実施の形態によれば、互いに解像度が異なる複数の画像データのそれぞれをｎ個（ｎは３以上の整数であって、全ての画像データにおいて同一の値）の分散データに分割し、その中のｋ個（ｋは２以上ｎ以下の整数であって、画像データ毎に互いに異なる値）を用いると元の画像データに復元できるように秘密分散処理を行い、各解像度から重複しないように１つずつ選択された分散データを結合してｎ個の結合データを生成し、各結合データを互いに異なるストレージに保存させる。これにより、分散データを多く集める程、より解像度の高い画像データを再生することができると共に、各々の分散データにおいて著作権やプライバシー等に対するセキュリティを確保することができる。
（実施の形態２）
実施の形態２では、非可逆方式の秘密分散処理を用いる場合について説明する。なお、本実施の形態の画像処理システムの構成は、実施の形態１で用いた図１のものと同一である。
まず、本実施の形態に係る映像管理サーバ２１ａの内部構成について、図９を用いて説明する。なお、図９に示す映像管理サーバ２１ａにおいて、図２に示した映像管理サーバ２１と共通する部分に、図２と同一符号を付してその詳しい説明を省略する。
図９に示す映像管理サーバ２１ａは、図２に示した映像管理サーバ２１に対して差分画像生成部５０１を追加した構成を採る。
解像度変換部１０４は、Ｎ種類の解像度の画像データ及びサムネールを生成して差分画像生成部５０１に出力する。
差分画像生成部５０１は、Ｎ種類の解像度の画像データとサムネールからＮ個の差分データを生成する。具体的には、差分画像生成部５０１は、解像度Ｒｍ（ｍは１以上Ｎ−１以下の整数、ｍが少ない程、解像度が高い）の画像データと解像度Ｒｍ＋１の画像データとの差分を採ることにより、解像度Ｒｍの差分データを生成する。また、差分画像生成部５０１は、解像度ＲＮの画像データとサムネールとの差分を採ることにより、解像度ＲＮの差分データを生成する。差分画像生成部５０１は、Ｎ個の差分データを画像符号化部１０５に出力する。
画像符号化部１０５は、差分画像生成部５０１から出力された各差分データに対して圧縮符号化処理を行い、秘密分散処理部１０６に出力する。また、画像符号化部１０５は、サムネール用の解像度の画像データに対して圧縮符号化処理を行い、データ結合部１０７に出力する。
秘密分散処理部１０６は、画像符号化部１０５から出力された圧縮符号化処理後の各差分データに対して秘密分散処理を行い、差分データ毎にｎ個の分散データを生成してデータ結合部１０７に出力する。
次に、映像管理サーバ２１ａが行う処理の手順について、図１０を用いて説明する。
まず、解像度変換部１０４が、元画像データの解像度を変換し、Ｎ種類の解像度の画像データ及びサムネール用の解像度の画像データを生成する（Ｓ６０１）。
次に、差分画像生成部５０１が、Ｎ種類の各解像度の画像データ及びサムネールからＮ個の差分データを生成する（Ｓ６０２）。
次に、画像符号化部１０５が、各差分データとサムネールに対して圧縮符号化処理を行う（Ｓ６０３）。
次に、秘密分散処理部１０６が、Ｎ個の圧縮符号化後の差分データに対して秘密分散処理を行い、差分データ毎にｎ個の分散データを生成する（Ｓ６０４）。
次に、データ結合部１０７が、各差分データから重複しないように１つずつ選択された分散データを結合してｎ個の結合データを生成する。なお、サムネールは、全ての結合データに付加される（Ｓ６０５）。
次に、映像管理サーバ２１ａが行う処理の具体例について、図１１を用いて説明する。図１１の例では、元画像データが解像度Ｒ１（3840×2160ドット）であり、Ｎ＝３、ｎ＝４、サムネール付の場合の例を示している。
この場合、解像度Ｒ１（3840×2160ドット）、解像度Ｒ２（1920×1080ドット）、解像度Ｒ３（640×480ドット）の３種類の解像度の画像データとサムネールが生成される。
そして、解像度Ｒ１の画像データと解像度Ｒ２の画像データとの差分である解像度Ｒ１の差分データが生成される。同様に、解像度Ｒ２の画像データと解像度Ｒ３の画像データとの差分である解像度Ｒ２の差分データが生成される。同様に、解像度Ｒ３の画像データとサムネールとの差分である解像度Ｒ３の差分データが生成される。そして、各解像度の差分データは、秘密分散処理により、それぞれ、４個の分散データに分割される。
なお、解像度Ｒ１の差分データについては、４個の分散データを用いると元の差分データに復元することができる。解像度Ｒ２の差分データについては、３個の分散データを用いると元の差分データに復元することができる。また、解像度Ｒ３の差分データについては、２個の分散データを用いると元の差分データに復元することができる。
また、サムネールと解像度Ｒ３の差分データを用いて解像度Ｒ３の画像データに復元することができる。また、解像度Ｒ３の画像データと解像度Ｒ２の差分データを用いて解像度Ｒ２の画像データに復元することができる。また、解像度Ｒ２の画像データと解像度Ｒ１の差分データを用いて解像度Ｒ１の画像データに復元することができる。
秘密分散処理の後、各解像度Ｒ１、Ｒ２、Ｒ３から重複しないように１つずつ選択された分散データ１−１、２−１、３−１とサムネールが結合されて、ストレージ２２−１に保存される。同様に、各解像度Ｒ１、Ｒ２、Ｒ３から重複しないように１つずつ選択された分散データ１−２、２−２、３−２とサムネールが結合されて、ストレージ２２−２に保存され、各解像度Ｒ１、Ｒ２、Ｒ３から重複しないように１つずつ選択された分散データ１−３、２−３、３−３とサムネールが結合されて、ストレージ２２−３に保存され、各解像度Ｒ１、Ｒ２、Ｒ３から重複しないように１つずつ選択された分散データ１−４、２−４、３−４とサムネールが結合されて、ストレージ２２−４に保存される。
次に、本実施の形態に係る受信装置３３ａの内部構成について、図１２を用いて説明する。なお、図１２に示す受信装置３３ａにおいて、図７に示した受信装置３３と共通する部分に、図７と同一符号を付してその詳しい説明を省略する。
図１２に示す受信装置３３ａは、図７に示した受信装置３３に対して差分画像合成部７０１を追加した構成を採る。
制御部３０２は、データ受信部３０１から入力した結合データの数ｊ＝ｋに基づいて、復元画像データの解像度を選択し、データ分離部３０３に、選択した解像度の復元画像データを生成するために必要な分散データを指示する。例えば、解像度Ｒｍの復元画像データを生成するためには、解像度Ｒｍ及び解像度Ｒｍより低い解像度の差分データ、及び、サムネールが必要となり、各差分データを復元するために、各解像度に対応する分散データが必要となる。必要な分散データの数は各解像度によって異なり、解像度が低いほど必要な分散データの数は少ない。
データ分離部３０３は、制御部３０２に指示された分散データ及びサムネールを各結合データから分離し、分散データを秘密分散復元部３０４に出力し、サムネールを画像複合部３０５に出力する。
秘密分散復元部３０４は、データ分離部３０３から出力された分散データに対して秘密分散復元処理を行い、復元された差分データ（以下、「復元差分データ」という）を画像復号部３０５に出力する。なお、秘密分散復元部３０４で復元される差分データは、符号化された状態のものである。
画像復号部３０５は、データ分離部３０３から出力されたサムネール及び秘密分散復元部３０４から出力された復元差分データに対して、画像符号化部１０５の圧縮符号化に対応する復号処理を行い、差分画像合成部７０１に出力する。
差分画像合成部７０１は、画像復号部３０５から出力されたサムネール及び復元差分データに対して合成処理を行い、ユーザが視聴可能な復元画像データを生成する。
次に、受信装置３３ａが行う処理の手順について、図１３を用いて説明する。
まず、データ分離部３０３が、ｊ個の結合データから、ｊ＝ｋに対応する解像度Ｒ(N-j+2)の分散データ及び当該解像度より低い解像度（Ｒ(N-j+3)からＲＮ）の分散データを分離する（Ｓ８０１）。
次に、秘密分散復元部３０４が、各解像度の分散データに対して秘密分散復元処理を行う。ここで、秘密分散復元処理に必要な分散データの数ｋは各解像度によって異なり、解像度が低いほど必要な分散データの数は少ない。さらに、画像復号部３０５が復号処理を行い、サムネール及び復元差分データを生成する（Ｓ８０２、Ｓ８０３）。
次に、差分画像合成部７０１が、サムネール及び復元差分データに対して合成処理を行い、ユーザが視聴可能な復元画像データを生成する（Ｓ８０４）。
なお、差分画像合成部７０１で生成された復元画像データは、ディスプレイ３４で表示される。また、受信装置３３ａが行う処理はモバイル端末３２や、パーソナルコンピュータ３５、３６の内部で実施されても構わない。
以上のように、本実施の形態によれば、互いに解像度が異なる複数の画像データから複数の差分データを生成し、差分データのそれぞれをｎ個（ｎは３以上の整数であって、全ての差分データにおいて同一の値）の分散データに分割し、その中のｋ個（ｋは２以上ｎ以下の整数であって、差分データ毎に互いに異なる値）を用いると元の差分データに復元できるように秘密分散処理を行い、各解像度から重複しないように１つずつ選択された分散データを結合してｎ個の結合データを生成し、各結合データを互いに異なるストレージに保存させる。これにより、分散データを多く集める程、より解像度の高い画像データを再生することができると共に、各々の分散データにおいて著作権やプライバシー等に対するセキュリティを確保することができる。
上記実施例１、２において、映像管理サーバ２１で実施される処理は、パーソナルコンピュータ１３等で実施されても構わない。また、受信装置３３で実施される処理はモバイル端末３２や、パーソナルコンピュータ３５、３６で実施されても構わない。
また、ストレージ２２−ｉはクラウドストレージであっても構わないし、オンプレミスのサーバストレージや、パソコン、カメラ、モバイル端末のストレージの一部を利用しても構わない。
また、ストレージ２２−ｉに保存された分散データを復元する際は、復元に必要な分散データを映像管理サーバ２１が選択して、受信装置３３や３３ａに送信する構成であっても構わないし、必要な分散データを受信装置３３や３３ａが選択して、ストレージ２２−ｉからダウンロードする構成であっても構わない。
また、データ結合部において、各解像度から重複しないように１つずつ選択された分散データをファイルとして結合する構成を示したが、これらの分散データをファイルとして結合することなく、１つのグループとして、それぞれのグループの分散データが互いに異なるストレージに保存される構成でも構わない。この構成において、ユーザの権限等に基づいてアクセスできるストレージを管理すれば、ファイル結合した場合と同様の効果が得られる。
また、本実施例において、映像データを対象に説明を行ったが、本発明は映像データだけでなく、静止画像データにも適用することができる。
本発明は、映像データを分散して秘密に管理するための画像処理システムに用いるに好適である。
１０ 映像・コンテンツ作成部
２０ 映像・コンテンツ蓄積部
２１、２１ａ 映像管理サーバ
２２ ストレージ
３０ 映像・コンテンツ閲覧部
３３、３３ａ 受信装置
１０１、３０１ データ受信部
１０２ 記憶部
１０３、３０２ 制御部
１０４ 解像度変換部
１０５ 画像符号化部
１０６ 秘密分散処理部
１０７ データ結合部
１０８、３０６ データ送信部
３０３ データ分離部
３０４ 秘密分散復元部
３０５ 画像復号部
５０１ 差分画像生成部
７０１ 差分画像合成部

Claims (10)

  1. 入力画像データを、互いに解像度が異なるＮ種類（Ｎは複数）の画像データに変換する解像度変換部と、
    前記複数の画像データのそれぞれをｎ個（ｎはＮ＋１以上の整数であって、全ての画像データにおいて同一の値）の分散データに分割し、その中のｋ個（ｋは２以上ｎ以下の整数であって、画像データ毎に互いに異なる値）を用いると元の画像データに復元できるように秘密分散処理を行う秘密分散処理部と、
    各解像度から重複しないように１つずつ選択された分散データを結合してｎ個の結合データを生成し、各結合データを互いに異なるストレージに保存させるデータ結合部と、
    を具備する管理装置。
  2. 前記入力画像データの解像度に基づいて、変換後の解像度を選択し、前記解像度変換部に変換後の解像度を指示する制御部を更に具備する、
    請求項１に記載の管理装置。
  3. 前記解像度変換部から出力された各解像度の画像データに対して圧縮符号化処理を行う画像符号化部を更に具備し、
    前記秘密分散処理部は、圧縮符号化処理された画像データに対して秘密分散処理を行う、
    請求項１または請求項２に記載の管理装置。
  4. 前記解像度変換部は、前記複数の画像データの中の一つとして前記入力画像データをそのまま出力する、
    請求項１から請求項３のいずれか一項に記載の管理装置。
  5. 前記秘密分散処理部は、解像度が低い画像データ程、ｋが小さくなるように秘密分散処理を行う、
    請求項１から請求項４のいずれか一項に記載の管理装置。
  6. 前記解像度変換部は、前記入力画像データのサムネールを生成し、
    前記データ結合部は、前記各結合データに前記サムネールを含める、
    請求項１から請求項５のいずれか一項に記載の管理装置。
  7. ユーザからの要求に応じて、ｊ個（ｊは２以上ｎ以下の整数）の結合データを前記ユーザ宛に送信するデータ送信部を更に具備する、
    請求項１から請求項６のいずれか一項に記載の管理装置。
  8. 前記データ送信部は、前記要求を出したユーザの権限に応じて、送信する結合データの数ｊを決定する、
    請求項７に記載の管理装置。
  9. 入力画像データを、互いに解像度が異なるＮ種類（Ｎは複数）の画像データに変換する解像度変換部と、
    解像度がｍ番目（ｍは１以上Ｎ−１以下の整数）の画像データと解像度がｍ＋１番目の画像データとの差分である複数の差分データを生成する差分画像生成部と、
    前記複数の差分データのそれぞれをｎ個（ｎはＮ＋１以上の整数であって、全ての差分データにおいて同一の値）の分散データに分割し、その中のｋ個（ｋは２以上ｎ以下の整数であって、差分データ毎に互いに異なる値）を用いると元の差分データに復元できるように秘密分散処理を行う秘密分散処理部と、
    各解像度から重複しないように１つずつ選択された分散データを結合してｎ個の結合データを生成し、各結合データを互いに異なるストレージに保存させるデータ結合部と、
    を具備する管理装置。
  10. 請求項１から請求項９のいずれか一項に記載の管理装置と、
    前記結合データを保存するストレージと、
    を具備する画像処理システム。
JP2014246924A 2014-12-05 2014-12-05 管理装置及び画像処理システム Active JP6489413B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2014246924A JP6489413B2 (ja) 2014-12-05 2014-12-05 管理装置及び画像処理システム
US15/524,108 US10230997B2 (en) 2014-12-05 2015-11-30 Management device and image processing system
EP15864842.8A EP3229465B1 (en) 2014-12-05 2015-11-30 Management device and image processing system
PCT/JP2015/005939 WO2016088347A1 (ja) 2014-12-05 2015-11-30 管理装置及び画像処理システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014246924A JP6489413B2 (ja) 2014-12-05 2014-12-05 管理装置及び画像処理システム

Publications (3)

Publication Number Publication Date
JP2016111511A true JP2016111511A (ja) 2016-06-20
JP2016111511A5 JP2016111511A5 (ja) 2018-01-25
JP6489413B2 JP6489413B2 (ja) 2019-03-27

Family

ID=56091310

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014246924A Active JP6489413B2 (ja) 2014-12-05 2014-12-05 管理装置及び画像処理システム

Country Status (4)

Country Link
US (1) US10230997B2 (ja)
EP (1) EP3229465B1 (ja)
JP (1) JP6489413B2 (ja)
WO (1) WO2016088347A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190356744A1 (en) * 2018-05-17 2019-11-21 International Business Machines Corporation Transforming a shortened link based upon social event for tracking sharing analytics

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004274320A (ja) * 2003-03-07 2004-09-30 Oki Electric Ind Co Ltd 秘密分散装置、秘密再構成装置、秘密分散再構成システム、秘密分散方法、及び秘密再構成方法
JP2007010862A (ja) * 2005-06-29 2007-01-18 Kddi Corp 画像分散情報生成装置およびその合成装置
JP2012175626A (ja) * 2011-02-24 2012-09-10 Kddi Corp 配信映像の超解像化装置および超解像映像再生装置
JP2014138314A (ja) * 2013-01-17 2014-07-28 Toshiba Corp 電子機器、電子機器の制御方法及び制御プログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4629555B2 (ja) * 2005-11-07 2011-02-09 インターナショナル・ビジネス・マシーンズ・コーポレーション 復元装置、プログラム、情報システム、復元方法、保管装置、保管システム及び保管方法
US9268750B2 (en) * 2012-04-04 2016-02-23 Offerpop Corporation Shared link tracking in online social networking systems
JP6273566B2 (ja) 2013-04-12 2018-02-07 パナソニックＩｐマネジメント株式会社 通信システム、画像生成方法、及び通信装置
KR102249978B1 (ko) * 2013-12-03 2021-05-11 소니 주식회사 수신 장치
US9794604B2 (en) * 2014-11-14 2017-10-17 Panopto, Inc. Systems and methods for transmitting segment-quality units of a streaming video session

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004274320A (ja) * 2003-03-07 2004-09-30 Oki Electric Ind Co Ltd 秘密分散装置、秘密再構成装置、秘密分散再構成システム、秘密分散方法、及び秘密再構成方法
JP2007010862A (ja) * 2005-06-29 2007-01-18 Kddi Corp 画像分散情報生成装置およびその合成装置
JP2012175626A (ja) * 2011-02-24 2012-09-10 Kddi Corp 配信映像の超解像化装置および超解像映像再生装置
JP2014138314A (ja) * 2013-01-17 2014-07-28 Toshiba Corp 電子機器、電子機器の制御方法及び制御プログラム

Also Published As

Publication number Publication date
US20170318316A1 (en) 2017-11-02
WO2016088347A1 (ja) 2016-06-09
EP3229465B1 (en) 2022-01-05
EP3229465A4 (en) 2017-12-06
JP6489413B2 (ja) 2019-03-27
US10230997B2 (en) 2019-03-12
EP3229465A1 (en) 2017-10-11

Similar Documents

Publication Publication Date Title
US9003558B1 (en) Allowing degraded play of protected content using scalable codecs when key/license is not obtained
KR102027410B1 (ko) 계층화된 신호 품질 계층에서의 재구성 데이터의 송신
JP2012529086A (ja) 通信ネットワークによる情報の安全な記憶及び速度を増した送信
US9276997B2 (en) Web browser proxy—client video system and method
JP2010004518A (ja) スケーラブルビデオ符号化コンテンツの保護方法及びその装置
EP3301937B1 (en) Communication system
US20170171166A1 (en) Anti-hotlinking method and electronic device
US10015542B2 (en) Method and apparatus for secure storage and retrieval of live off disk media programs
KR20180052603A (ko) 카메라로부터 신호들을 보안 전송하기 위한 시스템 및 방법
EP3691257B1 (en) Internet protocol camera security system allowing secure encryption information to be transmitted
Agham et al. A novel approach towards separable reversible data hiding technique
JP2014116922A (ja) 映像再生装置及び映像配信装置
JP6489413B2 (ja) 管理装置及び画像処理システム
JP2014176017A (ja) 映像再生装置、映像配信装置、映像再生方法及び映像配信方法
US8989432B2 (en) System and method of adding a watermark to a JPEG image file
WO2021100524A1 (ja) データ処理装置およびその制御方法、プログラム
US10362196B2 (en) Secured communication distribution system and method
JP6119765B2 (ja) 情報処理装置、情報処理システム、情報処理プログラム、及び動画データ送受信方法
JPWO2010110105A1 (ja) 画質制御用コンテンツ生成装置、画質制御装置、コピー画質制御システム、コピー画質制御方法、画質制御用コンテンツ生成プログラム、画質制御プログラム
JP5084389B2 (ja) 送信機、受信機、付加情報の埋め込み方法、付加情報の復元方法およびプログラム
JP2011259114A (ja) データ配信装置
JP6669402B2 (ja) 通信装置、システム、情報処理方法及びプログラム
KR101415691B1 (ko) 스트리밍 영상 컨버터
CN115225934B (zh) 视频播放方法、系统、电子设备以及存储介质
CN109743592B (zh) 基于二维密码本的实时码流加密方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171204

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171204

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180925

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20181121

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190123

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190212

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190214

R151 Written notification of patent or utility model registration

Ref document number: 6489413

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151