JP2019185004A - 再生証明システムおよび方法 - Google Patents

再生証明システムおよび方法 Download PDF

Info

Publication number
JP2019185004A
JP2019185004A JP2018196462A JP2018196462A JP2019185004A JP 2019185004 A JP2019185004 A JP 2019185004A JP 2018196462 A JP2018196462 A JP 2018196462A JP 2018196462 A JP2018196462 A JP 2018196462A JP 2019185004 A JP2019185004 A JP 2019185004A
Authority
JP
Japan
Prior art keywords
display
video
target device
specific position
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018196462A
Other languages
English (en)
Other versions
JP6908569B2 (ja
Inventor
偉倫 劉
wei lun Liu
偉倫 劉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wistron Corp
Original Assignee
Wistron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wistron Corp filed Critical Wistron Corp
Publication of JP2019185004A publication Critical patent/JP2019185004A/ja
Application granted granted Critical
Publication of JP6908569B2 publication Critical patent/JP6908569B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/55Detecting local intrusion or implementing counter-measures
    • G06F21/554Detecting local intrusion or implementing counter-measures involving event detection and direct action
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44204Monitoring of content usage, e.g. the number of times a movie has been viewed, copied or the amount which has been watched
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B6/00Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
    • G02B6/0001Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems
    • G02B6/0005Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems the light guides being of the fibre type
    • G02B6/001Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems the light guides being of the fibre type the light being emitted along at least a portion of the lateral surface of the fibre
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241Advertisements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23424Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4405Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video stream decryption
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/633Control signals issued by server directed to the network components or client
    • H04N21/6332Control signals issued by server directed to the network components or client directed to client
    • H04N21/6334Control signals issued by server directed to the network components or client directed to client for authorisation, e.g. by transmitting a key
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241Advertisements
    • G06Q30/0248Avoiding fraud
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/812Monomedia components thereof involving advertisement data

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Strategic Management (AREA)
  • Databases & Information Systems (AREA)
  • Marketing (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Game Theory and Decision Science (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Optics & Photonics (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Arrangements For Transmission Of Measured Signals (AREA)

Abstract

【課題】低コストで高信頼度の効果を有する再生証明システムおよび方法を提供する。【解決手段】システムは、ディスプレイ、センサ、トランシーバ、および処理ユニットを含む映像再生装置を含む。ディスプレイは、表示面に映像を表示S510し、表示面に表示された映像は、少なくとも1つのフレームを有する。センサは、ディスプレイが映像を表示する時に、表示面の特定位置において少なくとも1つのフレームの表示状況を感知するS520。処理ユニットは、センサ、ディスプレイ、およびトランシーバに接続されるとともに、表示状況を収集し、表示状況を対象機器に送信するようトランシーバを制御して、ディスプレイが映像を確かに表示したかどうかを判断するS530。【選択図】図5

Description

本発明は、映像再生システムおよび方法に関するものであり、特に、映像が正常に再生されたかどうかを確認するために適用される再生証明システムおよび方法に関するものである。
デジタル・サイネージ(digital signage)で広告を放送したい広告主にとって、デジタル・サイネージで広告が確かに再生されたかどうかを確認することは重要であり、そうでなければ、広告主は、自身の広告が希望する広告効果を達成することを確実にすることができない。反対に、デジタル・サイネージを所有する広告放送局が広告主の広告をデジタル・サイネージで確かに再生したことをどのようにして証明し、料金を請求するかということも重要な課題となっている。
上述した再生証明(proof of play, POP)の問題は、デジタル・サイネージの分野において常に存在する。以下、現存するいくつかの解決案、およびそれぞれの利点と欠点について概略的に説明する。
従来のハードウェア解決案は、デジタル・サイネージの様々なハードウェア部品の電圧および電流の状態を監視して、デジタル・サイネージが広告を正常に出力したことを証明する方法である。しかしながら、このような解決案は、デジタル・サイネージのハードウェア操作が正常であることしか証明せず、広告が確かに放送されたことを直接証明することはできないため、ディスプレイの損傷により広告が再生されなかった状況を知ることができない。
従来のソフトウェア解決案は、複雑なソフトウェアフレームワークおよび信頼できる再生メカニズムを使用して、デジタル・サイネージが広告を正常に出力したことを証明する方法である。しかしながら、デジタル・サイネージのディスプレイが損傷した場合、広告が再生されなかったことを知ることはできない。
従来のハードウェア解決案は、ビデオカメラを使用してデジタル・サイネージのディスプレイの全体画像を取り込み、その画像を画像分析に送り返す方法である。しかしながら、このような方法は、大量のデータ処理を必要とし、手動確認を必要とする。
そのため、本分野の技術者にとって、いかにして低コストで高信頼度のPOP問題解決案を提供するかが、解決すべき重要な課題となっている。
本発明は、上述したPOP問題を解決するために適用され、且つ低コストで高信頼度の効果を有する再生証明システムおよび方法を提供する。
本発明は、ディスプレイと、センサと、トランシーバと、処理ユニットとを含む映像再生装置を提供する。ディスプレイは、表示面に映像を表示し、表示面に表示された映像は、少なくとも1つのフレームを有する。センサは、ディスプレイが映像を表示する時に、表示面の特定位置において少なくとも1つのフレームの表示状況を感知する。処理ユニットは、センサ、ディスプレイ、およびトランシーバに接続されるとともに、ディスプレイが映像を確かに表示したかどうかを判断するために、表示状況を収集し、表示状況を対象機器に送信するようトランシーバを制御する。
本発明は、ディスプレイを含む映像再生装置に適用される表示状況取込方法を提供する。この方法は、ディスプレイで表示面に映像を表示し、表示面に表示された映像が少なくとも1つのフレームを有することと;ディスプレイが映像を表示する時に、表示面の特定位置において少なくとも1つのフレームの表示状況をセンサで感知することと;ディスプレイが映像を確かに表示したかどうかを判断するために、表示状況を処理ユニットで収集し、トランシーバを用いて表示状況を対象機器に送信することを含む。
本発明は、接続インターフェースと、センサと、トランシーバと、処理ユニットとを含む表示状況取込モジュールを提供する。接続インターフェースは、ディスプレイを接続するよう構成される。センサは、ディスプレイの表示面が映像を表示する時に、表示面の特定位置においてフレームの表示状況を感知するよう構成される。処理ユニットは、センサ、接続インターフェース、およびトランシーバに接続されるとともに、表示状況を収集し、表示状況を対象機器に送信するようトランシーバを制御して、ディスプレイが映像を確かに表示したかどうかを判断する。
本発明は、映像代表情報を取得することと;映像代表情報をコーディング内容に変換することと;コーディング内容を映像に埋め込んで、第1部分フレームおよび少なくとも1つの第2部分フレームを含む再生待ち映像を生成し、第1部分フレームが、映像のプロット内容に対応し、少なくとも1つの第2部分フレームが、コーディング内容を変換することによって得られることと;再生待ち映像を映像再生装置のディスプレイに送信して表示することと;ディスプレイが映像を表示することを映像再生装置が感知する時に、ディスプレイ上の少なくとも1つの第2部分フレームに対応する少なくとも1つの特定位置から収集した少なくとも1つの表示状況を受信することと;少なくとも1つの表示状況とコーディング内容を比較して、映像が映像再生装置によって確かに再生されたかどうかを判断することを含む再生証明方法を提供する。
以上のように、本発明の実施形態が提供する再生証明方法を用いて、特定時間点においてディスプレイ上の特定位置の表示状況を収集し、表示状況を取得して、対象機器により既知の映像情報と比較することができる。対象機器が、上述した表示状況に基づいて、特定時間点において特定位置から収集した表示状況が既知の映像情報と一致しないと判断した場合、対象機器は、広告主が依頼した広告映像がおそらく再生されていないことを知ることができる。そのため、本発明の実施形態は、低コストで高信頼度のPOP問題解決案を提供することができる。また、本発明の実施形態において、ディスプレイの再生機能が正常であるかどうかも表示状況に基づいて判断することができる。
本発明の上記および他の目的、特徴、および利点をより分かり易くするため、図面と併せた幾つかの実施形態を以下に説明する。
添付図面は、本発明の原理がさらに理解されるために含まれており、本明細書に組み込まれ、且つその一部を構成するものである。図面は、本発明の実施形態を例示しており、説明とともに、本発明の原理を説明する役割を果たしている。
本発明の1つの実施形態に係る映像再生装置のブロック図である。 本発明の1つの実施形態に係る導光素子を設置したディスプレイの上面図である。 視角Aから見た図2Aの側面図である。 視角Bから見た図2Aの別の側面図である。 図2Bに係るディスプレイの表示面に導光ファイバーを設置したアクリルパッチを取り付けた時の概略図である。 本発明の1つの実施形態に係るディスプレイに導光ファイバーを設置した時の概略図である。 本発明の1つの実施形態に係る導光板を用いて光を収集した時の概略図である。 本発明の1つの実施形態に係る方法を示すフローチャートである。 本発明の1つの実施形態に係るディスプレイおよび特定位置の概略図である。 コーディング内容に基づいて特定位置に対応する映像のフレームを調整した時の概略図である。 コーディング内容に基づいて特定位置に対応する映像のフレームを調整した時の別の概略図である。 本発明の1つの実施形態に係るディスプレイおよび特定位置の概略図である。 コーディング内容に基づいて特定位置に対応する映像のフレームを調整した時の概略図である。 コーディング内容に基づいて特定位置に対応する映像のフレームを調整した時の別の概略図である。 本発明の1つの実施形態に係る再生証明方法を示すフローチャートである。 本発明の1つの実施形態に係る再生証明方法を示すフローチャートである。 本発明の別の実施形態に係る再生証明方法を示すフローチャートである。 本発明の別の実施形態に係る再生証明方法を示すフローチャートである。 本発明の1つの実施形態に係る表示状況取込モジュールおよび表示装置の概略図である。
本発明は、映像再生装置および対象機器を含む再生証明システムを提供する。図1を参照すると、図1は、本発明の1つの実施形態に係る映像再生装置のブロック図である。本実施形態において、映像再生装置100は、例えば、通り、ビルの壁、または実際の要求に基づいて映像再生装置100の実行者によって設定された他の位置に設定されたデジタル・サイネージである。また、映像再生装置100の実行者に依頼して、例えば、広告映像、映画やショーの映像等の特定の映像を特定の時間に再生することができる。
図1に示すように、映像再生装置100は、ディスプレイ11と、センサ12と、トランシーバ13と、処理ユニット14と、保存ユニット16とを含む。ディスプレイ11は、例えば、液晶ディスプレイ(Liquid-Crystal Display, LCD)、プラズマディスプレイ、真空蛍光ディスプレイ、発光ダイオード(Light-Emitting Diode, LED)ディスプレイ、電界放出ディスプレイ(Field Emission Display, FED)、プロジェクタ、および/または情報を表示することのできる他のディスプレイ、あるいは上述した様々な表示装置を有する他の電子装置であるが、本発明はこれに限定されない。また、ディスプレイ11は、複数の比較的小さなディスプレイまたは表示パネルを組み合わせることによって形成されてもよく、比較的小さなディスプレイまたは表示パネルは、比較的大きな単一のフレーム(すなわち、ディスプレイ11によって表示されたフレーム)を共同的に表示することができる。
センサ12は、ディスプレイ11に接続され、感光性レジスタ、画像センサ、または単一のカラー感光性素子であってもよく、またはこれらを含むが、本発明はこれに限定されない。センサ12を実施するために使用される素子がディスプレイ11によって表示されたフレームの画像変化または輝度変化を感知することさえできれば、本発明の範囲内に入りものとみなされる。本発明の本実施形態において、ディスプレイ11の特定位置またはその表示面付近に配置された導光素子により、特定位置からディスプレイ11によって発光された光をセンサ12に送信する。様々な実施形態において、導光素子は、導光ファイバーまたは導光板であってもよく、その詳しい実施形態については、後で説明する。別の実施形態において、センサ12は、上述した導光ファイバーまたは導光板によって入って来た光を使用せずに、ディスプレイの表示面の特定位置に直接面するよう構成されてもよく、実際の設計要求によって決定される。
トランシーバ13は、例えば、モバイル通信用グローバルシステム(Global System for Mobile communication, GSM)、パーソナルハンディフォンシステム(Personal Handy-phone System, PHS)、符号分割多元接続(Code Division Multiple Access, CDMA)システム、Wi−Fi(Wireless Fidelity)システム、またはワールドワイド・インターオペラビリティ・フォー・ マイクロウェーブ・アクセス(Worldwide interoperability for Microwave Access, WiMAX)システム等の無線信号を実施するのに適したプロトコルユニットのアセンブリであってもよいが、有線ネットワークプロトコルを使用する信号伝送を排除しない。
トランシーバ13は、送信機回路、受信機回路、AD変換器(Analog-to-Digital Converter, ACD)、DA変換器(Digital-to-Analog Converter, DAC)、低雑音増幅器(Low noise Amplifier LNA)、ミキサー、フィルタ、整合回路、伝送路、電力増幅器(Power Amplifier, PA)、1つまたは複数のアンテナユニット、ローカル記憶媒体等のうちの1つ、またはこれらの組み合わせを含んでもよく、またはこれらに電気結合されてもよいが、本発明はこれに限定されない。トランシーバ13は、図1の映像再生装置100に無線または有線のアクセス機能を提供する。受信機回路は、低雑音増幅、インピーダンス整合、周波数混合、周波数下方変換、フィルタリング、増幅等の操作を実施する機能ユニットを含んでもよい。送信機回路は、増幅、インピーダンス整合、周波数混合、周波数上方変換、フィルタリング、電力増幅等の操作を実施する機能ユニットを含んでもよい。AD変換器またはDA変換器は、アップリンク信号処理期間において、アナログ信号フォーマットをデジタル信号フォーマットに変換し、ダウンリンク信号処理期間において、デジタル信号フォーマットをアナログ信号フォーマットに変換するよう構成される。
保存ユニット16は、例えば、ランダムアクセスメモリ(Random Access Memory, RAM)、読出し専用メモリ(Read-Only Memory, ROM)、フラッシュメモリ、ハードディスク、またはデータを保存するために使用される他の素子であり、保存ユニット16を使用して、複数のプログラムコード、モジュール、または他の必要なファイルおよび情報を記録することができるが、本発明はこれに限定されない。
処理ユニット14は、センサ12、トランシーバ13、および保存ユニット16に接続され、汎用プロセッサ、専用プロセッサ、従来のプロセッサ、デジタル信号プロセッサ、複数のマイクロプロセッサ(microprocessor)、デジタル信号プロセッサコアと組み合わせた1つまたは複数のマイクロプロセッサ、コントローラ、マイクロコントローラ、特定用途向け集積回路(Application Specific Integrated Circuit, ASIC)、フィールドプログラマブルゲートアレイ(Field Programmable Gate Array, FPGA)、他の種類の集積回路、状態機械、進化したRISCマシン(Advanced RISC Machine, ARM)に基づくプロセッサおよびその類似品であってもよく、またはこれらを含んでもよい。本実施形態の処理ユニット14は、さらに、ROM、実時間クロック(Real Time Clock, RTC)等のプロセッサの操作を補助する電子素子を含んでもよい。
図2A、図2B、および図2Cを参照すると、図2Aは、本発明の1つの実施形態に係る導光素子を設置したディスプレイの上面図である。図2Bは、視角Aから見た図2Aの側面図である。図2Cは、視角Bから見た図2Aの別の側面図である。
図2A、図2B、および図2Cに示すように、ディスプレイ11の表示面111の特定位置11aにおよび11bまたはその付近に導光ファイバー21aおよび21bを設置することによって、ディスプレイ11の特定位置11aおよび11bから発光された光22aおよび22bをセンサ12に送信することができる。
特定位置11aは、ディスプレイ11上の特定画素、またはディスプレイ11の特定ブロック内の画素に対応することができる。つまり、光22aは、単一の画素によって発光されてもよく、あるいは上述した特定プロック内の全ての画素によって発光されてもよい。同様にして、特定位置11bは、ディスプレイ11上の特定画素、またはディスプレイ11の別の特定ブロック内の画素に対応することができる。つまり、光22bは、単一の画素によって発光されてもよく、あるいは上述した別の特定プロック内の全ての画素によって発光されてもよい。
また、導光ファイバー21aおよび21bをアクリルパッチ23、あるいは透明薄膜または他の材料で作られた薄片(flake)の中に設置してもよく、アクリルパッチ23をディスプレイ11の表示面111に取り付けて、光を収集するために使用される各導光ファイバー21aおよび21bの一端をそれぞれ特定位置11aおよび11bと対応するように並べてもよい。また、導光ファイバー21aと21bとアクリルパッチ23は、透明であるのが好ましいため、他の人々がディスプレイ11によって表示されたフレームを見るのに影響を与えることはない。
図3Aは、図2Bに係るディスプレイの表示面に導光ファイバーを設置したアクリルパッチを取り付けた時の概略図である。本実施形態において、ディスプレイ11は、図3Aの点線の枠内の様々な素子を含むことができ、アクリルパッチ23を実質的に偏光板に取り付けることにより、導光ファイバー21aは、特定位置11aから発光された光22aを収集することができる。また、図3Aに示すように、特定位置11aは、ある画素に対応しないが、あるブロックの画素に対応する。この場合、導光ファイバー21aによって収集された光22aをブロック内の全ての画素で発光することができるが、本発明はこれに限定されない。
別の実施形態において、ディスプレイ11の一部によって導光ファイバーを実施することができる。図3Bを参照すると、図3Bは、本発明の1つの実施形態に係るディスプレイに導光ファイバーを設置した時の概略図である。本実施形態において、ディスプレイ11は、図3Bに示した様々な素子を含むことができ、図3Bの実施形態と図3Aの実施形態との相違点は、図3Bの実施形態の導光ファイバー21aがディスプレイ11の偏光板の中に配置され、導光ファイバー21aが特定位置11aから発光された光22aを収集することである。
一般的に、上述した実施形態において、導光ファイバーを用いて特定位置から発光された光を収集した時、1つの導光ファイバーは、単一の特定位置から発光された光を収集することしかできない。しかしながら、別の実施形態において、導光板を導光素子として使用して光を収集した時、1つの導光板によって、複数の特定位置から発光された光を収集することができる。
図4は、本発明の1つの実施形態に係る導光板を用いて光を収集した時の概略図である。本実施形態において、ディスプレイ11の複数の特定位置から発光された光42が導光板41に入った後、光42は、導光板41内の反射板41aによって反射および/または屈折し、反射および/または屈折した光42は、レンズ43によってセンサ12に収束することができる。このようにして、1つの行、1つの列、または1つの斜線にある複数の特定位置から発光された光42を一度に収集することができる。他の実施形態において、設計者の実際の要求に基づいて、ディスプレイ11の上に複数の導光板41を配置して、複数の行、列、または斜線にある特定位置の光を収集してもよく、本発明はこれに限定されない。
図5を参照すると、図5は、本発明の1つの実施形態に係る方法を示すフローチャートである。本実施形態の方法は、図1の映像再生装置100によって実行することができるため、以下、図1を参照して、図5の方法の詳しいステップについて説明する。また、この方法を明確に説明するため、図2A〜図2Cに示した実施形態を参照して説明するが、本発明の可能な実施形態を限定するものではない。
まず、ステップS510において、ディスプレイ11は、表示面111に映像を表示する。異なる実施形態において、上述した映像は、広告映像または広告主によって依頼された他の種類の映像であってもよいが、本発明はこれに限定されない。上述した映像は、動的フレームまたは静的フレームを幅広く含むことができる。
ステップS520において、ディスプレイ11が映像を表示する時、処理ユニット14は、表示面111の特定位置において少なくとも1つのフレームの表示状況を感知するようセンサ12を制御する。図2A〜図2Cを例に挙げると、処理ユニット14は、特定位置11aおよび11bから発光された光22aおよび22bを導光ファイバー21aおよび21で収集するようセンサ12を制御することができ、光22aおよび22bは、特定位置11aおよび11bの表示状況を特徴付けることができる。
そして、ステップS530において、処理ユニット14は、表示状況を収集し、表示状況を対象機器に送信するようトランシーバ13を制御して、ディスプレイ11が映像を確かに表示したかどうかを判断する。本実施形態において、対象機器は、広告主が維持するサーバーであってもよく、処理ユニット14によって送信された表示状況に基づいて、広告主によって依頼された映像が確かに再生されたかどうかを判断することができる。
具体的に説明すると、1つの実施形態において、映像は、広告主によって提供されるため、広告主が維持する対象機器は、映像の関連情報、例えば、何色の光22aおよび22bをディスプレイ11のどの特定位置にどの時間点において表示するかを事前に保存することができる。言い換えると、対象機器については、ディスプレイ11で映像を表示する時、特定時間点において特定位置11aおよび11bに表示された光22aおよび22bの色等の情報を既に知っている。そのため、対象機器は、特定時間点において特定位置11aおよび/または特定位置11bの表示状況を収集するよう映像再生装置100にリクエストすることができる。これに応じて、処理ユニット14は、対象機器によって特定された特定時間点において特定位置11aおよび/または特定位置11bの表示状況を収集するようセンサ12を制御することができ、収集した表示状況を対象機器に送信するようトランシーバ13を制御する。
この場合、対象機器は、映像再生装置100によって送信された表示状況と上述した既知の映像情報を比較することができる。上述した表示状況に基づいて、ある特定時間点においてある特定位置から収集した光が上述した既知の映像情報と一致しないと対象機器が判断した時、対象機器は、広告主によって依頼された広告映像が再生されなかったことを知ることができる。例えば、映像再生装置100によって送信された表示状況は、特定位置11aが映像の10秒のところで白色を表示していることを示しているが、対象機器は、既知の映像情報に基づいて、映像の10秒のところでは黒色が表示されるべきであることを知っていると仮定すると、対象機器は、広告主によって依頼された広告映像が再生されていない可能性があると判断することができる。つまり、本発明の実施形態は、低コストで高信頼度のPOP問題解決案を提供することができる。
また、別の実施形態において、表示状況が既知の映像情報と一致しない時、特定位置における表示機能の故障によって、導光素子が特定位置から発光された光を正確に取得できないこともある。そのため、対象機器は、表示状況に基づいて、ディスプレイ11の表示機能が正常であるかどうかを判断することができる。
別の実施形態において、対象機器は、さらに、異なる特定時間点において異なる特定位置の表示状況を収集して返信するよう映像再生装置100にリクエストすることができる。例えば、対象機器は、映像の第1特定時間点(例えば、10秒)において特定位置11aの光22aを収集するよう映像再生装置100にリクエストすることができ、同時に、映像の第2特定時間点(例えば、20秒)において特定位置11bの光22bを収集するよう映像再生装置100にリクエストすることができる。この場合、対象機器が映像再生装置100によって収集された上記の情報を受信した時、対象機器は、光22aおよび22bと既知の映像情報を比較して、映像が確かに再生されたかどうかを判断することができる。
1つの実施形態において、映像再生装置100は、映像が再生される前に、どの時間点および特定位置で表示状況を収集すべきかを対象機器に問い合わせることができる。また、別の実施形態において、上述した映像は、一定の期間内に数回(例えば、1日に6回等)再生される予定になっているため、いくつかの映像再生時間を取得した後、映像再生装置100は、いくつかの再生時間において、どの時間点および特定位置で表示状況を収集すべきであるかを一度に対象機器に問い合わせてもよい。
1つの実施形態において、対象機器は、映像を編集して、特定位置11aおよび11bに対応する映像の位置で特定内容を表示してもよい。ここで、特定内容は、映像自体のプロット内容と無関係であってもよく、以下に詳しく説明する。
まず、対象機器は、コーディング内容を判断することができ、コーディング内容は、複数の2進コードを含むことができる。異なる実施形態において、対象機器は、任意の映像代表情報に基づいて上述したコーディング内容を判断してもよい。例えば、映像のコード名が「AD001」であり、その再生予定時間が「2017−12−16−14:00」であると仮定すると、対象機器は、上述した2つの情報を「AD001−2017−12−16−14:00」という映像代表情報に結合し、映像代表情報を対応するASCIIコード(例えば、010000010100010...)に変換して、上記のコーディング内容として使用することができるが、本発明はこれに限定されない。異なる実施形態において、設計者は、任意の必要な情報を映像代表情報として、対応するコーディング内容を生成してもよい。
コーディング内容が決定された後、対象機器は、コーディング内容に基づいて、特定位置に対応する場所で映像のフレームを修正することができる。以下、図6、図7A、および図7Bを参照しながら、詳しく説明する。
図6および図7Aを参照すると、図6は、本発明の1つの実施形態に係るディスプレイおよび特定位置の概略図であり、図7Aは、コーディング内容に基づいて特定位置に対応する映像のフレームを調整した時の概略図である。
図6を参照すると、本実施形態のディスプレイ11は、例えば、1920×1080の解像度を有し、ディスプレイ11の左上角部と右下角部を座標(0,0)と(1920,1080)に定義する。また、本実施形態の特定位置61は、例えば、座標(960,1050)を中心点とするブロックであり、ブロックの範囲は、座標(950,1040)から座標(970,1060)である。
本実施形態において、対象機器によって決定されたコーディング内容が上述した「010000010100010…」であると仮定すると、対象機器は、例えば、「0」を黒色に符号化(encode)し、「1」を白色に符号化することができる。この場合、対象機器は、時間とともに「黒色」、「白色」、「黒色」、「黒色」、「黒色」…の変化を表示するよう特定位置61に対応するフレームを制御することができる。
対象機器が映像中の特定位置61に対応するフレームを10秒毎に調整すると仮定すると、映像中の特定位置61に対応するフレームは、図7Aに示したパターンに基づいて変化してもよい。別の態様に基づくと、対象機器が上述した教示に基づいて映像を編集した後、生成された映像の各フレームは、第1部分フレームおよび第2部分フレーム71を含み、第1部分フレームは、映像のプロット内容に対応し、第2部分フレーム71は、コーディング内容に対応する。第2部分フレーム71の位置は、ディスプレイ11の特定位置61に対応する。
そして、対象機器は、上述した教示に基づいて編集した映像を映像再生装置100に送信することができる。この場合、編集した映像がディスプレイ11に表示された時、特定位置61に表示された第2部分フレーム71は、コーディング内容に基づいて、「黒色」および「白色」の変化を個別に表示することができるが、特定位置61以外のディスプレイ11の他の部分は、映像のプロット内容を正常に再生することができる。
上述した実施形態の教示に基づいて、処理ユニット14は、特定位置61の表示状況を収集するようセンサ12を制御することができる。本実施形態において、処理ユニット14は、特定位置61から発光された光を10秒毎に読み出すようセンサ12を制御することができる。
また、1つの実施形態において、ディスプレイ11の特定位置61が2進コードのうちの1つに対応する第2部分フレーム71を表示した時、処理ユニット14は、所定時間遅れてからディスプレイ11上の特定位置61の表示状況を感知するようセンサ12を制御することができる。図7Aを例に挙げると、特定位置61が「黒色」を示す第2部分フレーム71を5秒のところで表示した時、処理ユニット14は、5秒遅れてからディスプレイ11上の特定位置61の表示状況を感知するようセンサ12を制御することができる(すなわち、10秒のところで感知する)。このようにして、センサ12は、比較的安定した光を収集し、特定位置61が表示状況を変えた直後に発光された不安定な光を収集しないようにすることができる。
1つの実施形態において、センサ12が感光性レジスタである時、その感知値は、感知間隔が0〜255の間であってもよく、特定位置61からセンサ12によって収集された光に対応する感知値が第1閾値(例えば、90)よりも低い時、処理ユニット14は、光が明るくないと判断し、光をロジック「0」(すなわち、「黒色」)に定義する。一方、特定位置61からセンサ12によって収集された光に対応する感知値が第2閾値(例えば、150)よりも高い時、処理ユニット14は、光が明るいと判断し、光をロジック「1」(すなわち、「白色」)に定義する。
つまり、上述した構成の下で、単に比較的コストの低い感光性レジスタをセンサ12として使用することにより、処理ユニット14は、特定位置61から発光された光がある特定の時間点において「0」または「1」に対応するかどうかを実質的に識別することができる。また、上述したように、特定位置61は、おそらくディスプレイ11内の複数の画素に対応し、これらの画素は、必要な黒白の変化を全て完全に実行することができないため、上述したメカニズムは、ある程度の耐故障性(fault tolerance)を提供することができ、本発明の実施形態を低コストで実施することができる。
また、処理ユニット14が一連の「010000010100010…」の表示内容の収集を完了した後、処理ユニット14は、表示内容を対象機器に送信し、対象機器は、上記の表示内容を元のコーディング内容と比較することができる。表示内容が元のコーディング内容と一致しない時、対象機器は、映像が再生されていない可能性があると判断し、関連メッセージを生成して、広告主および/または広告放送局に通知することができる。つまり、本発明の実施形態は、低コストで高信頼度のPOP問題解決案を提供することができる。
1つの実施形態において、対象機器は、コーディング内容の長さが映像の長さと等しくなるよう設計することができる。つまり、映像中の各フレームは、第1部分フレームおよび第2部分フレームを含み、第2部分フレームは、映像の最初から最後までの映像プロットに無関係な内容を表示し続ける(例えば、「黒色」、「白色」の変化を表示し続ける)。このようにして、対象機器は、映像が完全に再生されたかどうかを検出して、映像が再生プロセス中に謝って中断(例えば、他の信号によって干渉またはカバー)されたかどうかを判断することができる。本実施形態において、コーディング内容の長さが比較的短い場合、コーディング内容全体の長さが映像の長さと一致するのに十分な長さになるまでコーディング内容を繰り返し配置してもよいが、本発明はこれに限定されない。
別の実施形態において、映像は、第1クリップおよび第2クリップを有するよう設計してもよい。第1クリップの各フレームは、プロット内容に対応する第1部分フレームおよびコーディング内容に対応する第2部分フレームを含んでもよく、第2クリップの各フレームは、全てプロット内容に対応してもよい。つまり、コーディング内容の長さを映像の長さよりも小さくなるように設計することによって、関連データの量を減らすことができる。
別の実施形態において、上述した実施形態において教示した「0」を黒色に符号化し、「1」を白色に符号化する方法の他に、2ビットのコーディング内容を一度に考慮して、特定位置61に表示された第2部分フレーム71をより可変的(variable)にしてもよい。
図6および図7Bを参照すると、図7Bは、コーディング内容に基づいて特定位置に対応する映像のフレームを調整した時の別の概略図である。図7Bに示すように、コーディング内容の「0」を赤色(斜線で示す)に符号化し;「00」を黒色に符号化し;「11」を青色(格子で示す)に符号化し;「10」を緑色(図示せず)で符号化することができる。
それに応じて、センサ12は、カラー光センサで実施することにより、特定位置61から発光された光の色を検出することができる。具体的に説明すると、センサ12の感知値は、例えば、(R,G,B)=(0〜255,0〜255,0〜255)であり、その感知範囲は、4つの色、すなわち、黒色、赤色、緑色、および青色に対応するよう定義することができる。この場合、センサ12が黒色を検出した時、センサ12は、黒色を「00」に定義し;センサ12が赤色を検出した時、センサ12は、赤色を「01」に定義し;センサ12が青色を検出した時、センサ12は、青色を「11」に定義し;センサ12が緑色を検出した時、センサ12は、緑色を「10」に定義する。
別の実施形態において、2つのビットを一度に考慮する上述したコーディング方法とより複雑な特定位置配置パターンと共同して使用することにより、さらなる可変性を提供してもよい。
図8および図9Aを参照すると、図8は、本発明の1つの実施形態に係るディスプレイおよび特定位置の概略図であり、図9Aは、コーディング内容に基づいて特定位置に対応する映像のフレームを調整した時の概略図である。
図8を参照すると、本実施形態のディスプレイ11は、例えば、1920×1080の解像度を有し、ディスプレイ11の左上角部と右下角部を座標(0,0)と(1920,1080)に定義する。また、本実施形態において、2つの特定位置81および82を考慮する。特定位置81は、例えば、座標(640,1050)を中心点とするブロックであり、ブロックの範囲は、座標(630,1040)から座標(650,1060)である。また、特定位置82は、例えば、座標(1280,1050)を中心点とするブロックであり、ブロックの範囲は、座標(1270,1040)から座標(1290,1060)である。また、上述したように、独立した導光ファイバーを介して特定位置81および82から発光された光をセンサ12に個別に送信してもよいが、ここではその詳しい説明を省略する。
図9Aにおいて、映像中の第2部分フレーム91および92は、それぞれ特定位置81および82に対応することができる。また、本実施形態において、考慮する2つのビットが「01」である時、第2部分フレーム91および92をそれぞれ「黒色」および「白色」に符号化することができ;考慮する2つのビットが「00」である時、第2部分フレーム91および92をそれぞれ「黒色」および「黒色」に符号化することができ;考慮する2つのビットが「11」である時、第2部分フレーム91および92をそれぞれ「白色」および「白色」に符号化することができ;考慮する2つのビットが「10」である時、第2部分フレーム91および92をそれぞれ「白色」および「黒色」に符号化することができるが、本発明はこれに限定されない。
図7Bとは異なり、図9Aにおいて、2つのビットを一度に考慮してもよいが、符号化した第2部分フレーム91および92は、依然として「黒色」および「白色」の変化のみを有するため、低コストの光センサを使用して、センサ12を実施することができる。
図8および図9Bを参照すると、図9Bは、コーディング内容に基づいて特定位置に対応する映像のフレームを調整した時の別の概略図である。図9Bに示したパターンは、特定位置81および82において図7Bのコーディング方法を同時に実施して、コーディング内容の4つのビットを一度に考慮するものとみなされ、そのコーディング原理を下記の表に示す。
本分野において通常の知識を有する者であれば、上述した実施形態の教示に基づいて、実施形態のコーディング内容と第2部分フレーム91および92の間の対応関係を推測することができるため、ここでは詳しい説明を省略する。
別の実施形態において、関連する認証メカニズムを使用して、上述した技術的解決案の信頼度をさらに向上させてもよい。
図10Aおよび図10Bを参照すると、図10Aおよび図10Bは、本発明の1つの実施形態に係る再生証明方法を示すフローチャートである。図10Aおよび図10Bにおいて、対象機器101は、例えば、広告主によって維持される広告映像サーバーであり、映像再生装置100は、例えば、広告放送局によって維持される広告機械(例えば、デジタル・サイネージ)であり、第三者機構102は、例えば、対象機器101と映像再生装置100のデバイス補助相互認証である。
概略的に説明すると、本実施形態の広告主は、特定の映像(広告映像)を再生するよう広告放送局に依頼することができ、上記の映像が確かに再生される前に、第三者機構102は、まず、対象機器101と映像再生装置100に必要な鍵(key)を提供して、後続の認証操作を容易にする。また、映像が再生された時、映像再生装置100は、特定位置の表示状況を収集して、それを対象機器101に提供することができる。そして、対象機器101は、映像再生装置100によって提供された表示状況に基づいて、上記の映像が確かに再生されたかどうかを判断し、広告主は、それに基づいて、広告放送局に料金を支払う/支払わないことができる。これについて、以下に詳しく説明する。
まず、ステップA001において、対象機器101は、第三者機構102から公開鍵と秘密鍵を取得するようリクエストし、ステップA002において、第三者機構102は、公開鍵PUK1および秘密鍵PRK1を対象機器101に返信する。
同様に、ステップA003において、映像再生装置100は、第三者機構102から公開鍵と秘密鍵を取得するようリクエストし、ステップA004において、第三者機構102は、公開鍵PUK2および秘密鍵PRK2を対象機器101に返信する。ステップA005において、公開鍵PUK2および秘密鍵PRK2を映像再生装置100の処理ユニット14に書き込む。
1つの実施形態において、処理ユニット14は、例えば、ワンタイムプログラマブル(One Time Programmable, OTP)機能を有するマイクロコントローラユニット(microcontroller unit, MCU)である。あるいは、処理ユニット14と公開鍵PUK2および秘密鍵PRK2によって実行されたプログラムを読出し専用メモリ(ROM)に保存してもよい。つまり、映像再生装置100における処理ユニット14のプログラムは、変更することができない。このようにして、映像再生装置100は、広告主の信頼を得ることができる。一方、処理ユニット14は、唯一の秘密鍵PRK2を保存するため、秘密鍵PRK2を使用して、対象機器101に送信したい全てのデータに署名することができ、対象機器101が容易に受信したデータの信頼性を確認できるようにする。
図10Aを参照すると、ステップA006において、映像再生装置100は、対象機器101から映像(例えば、広告映像)を取得するようリクエストする。
1つの実施形態において、映像再生装置100が対象機器101から映像を取得するようリクエストした時、映像再生装置100は、導光素子を使用して、光を収集するために使用した特定位置の情報を対象機器101に同時に通知することができる。図6を例に挙げると、映像再生装置100は、特定位置61に対応するブロック(すなわち、座標(950,1040)から座標(970,1060)の範囲のブロック)を対象機器101に通知することができる。図8を例に挙げると、映像再生装置100は、特定位置81に対応するブロック(すなわち、座標(630,1040)から座標(650,1060)の範囲のブロック)および特定位置82に対応するブロック(すなわち、座標(1270,1040)から座標(1290,1060)の範囲のブロック)を対象機器101に通知することができる。
映像再生装置100の特定位置に対応するブロックがわかった後、対象機器101は、映像のコーディング内容に対応する第2部分フレームをどの位置に表示すべきかを知ることができる。そのため、ステップA007において、対象機器101は、公開鍵PUK1に基づいてコーディング内容を生成し、コーディング内容を映像に埋め込んで、再生待ち映像を生成する。1つの実施形態において、対象機器101は、公開鍵PUK1を使用して、識別したい情報を暗号化し、上述した実施形態で説明したコーディング内容に基づいて、コーディング内容を映像に埋め込むことができる。上述した再生待ち映像は、例えば、第1部分フレームおよび第2部分フレームを含み、第1部分フレームは、映像のプロット内容に対応し、第2部分フレームは、コーディング内容に対応し、第2部分フレームの位置は、ディスプレイ11の特定位置に対応する。第2部分フレームの関連説明については、上述した実施形態の内容を参照することができるため、ここでは詳しい説明を省略する。
別の実施形態において、映像再生装置100は、対象機器101から映像を取得するようリクエストした時に、特別に設計されたソフトウェアを提供してもよく、対象機器101は、映像、コーディング内容、および公開鍵PUK1をソフトウェアに入力するだけで、コーディング内容が埋め込まれ、暗号化された再生待ち映像を自動的に生成することができるが、本発明はこれに限定されない。
そして、ステップA008において、対象機器101は、再生待ち映像を映像再生装置100に送信する。そして、ステップA009において、映像再生装置100は、対象機器101から公開鍵PUK1を取得するようリクエストし、ステップA010において、対象機器101は、それに応じて、映像再生装置100に公開鍵PUK1を返信する。
ステップA011において、公開鍵PUK1を処理ユニット14に送信する。ステップA012において、ディスプレイ11は、再生待ち映像を表示する。そして、ステップA013において、ディスプレイ11が映像を表示する時、センサ12は、ディスプレイ11上の特定位置の表示状況を感知して、表示状況を収集することができる。ステップA013の詳しい説明については、上述した実施形態の関連説明を参照することができるため、ここでは繰り返し説明しない。
そして、ステップA014において、映像再生装置100は、公開鍵PUK1を使用して、収集した表示状況を第1データに暗号化し、秘密鍵PRK2を使用して、第1データに署名し、第2データを生成する。ステップA015において、映像再生装置100は、第2データを対象機器101に送信する。
ステップA016において、対象機器101は、処理ユニット14(映像再生装置100)が第2データに署名したかどうかを検証するよう第三者機構102にリクエストする。ステップA017において、第三者機構102は、処理ユニット14(映像再生装置100)が第2データに署名したかどうかを検証する。署名した場合は、続いてステップA018を実行し、署名していない場合は、ステップA021を実行する。
ステップA018において、対象機器101は、秘密鍵PRK1を使用して、第2データを復号化(decrypt)する。また、ステップA019において、対象機器101は、表示状況とコーディング内容を比較し、ステップA020において、対象機器101は、表示状況がコーディング内容と一致するかどうかを判断する。一致する場合は、映像が映像再生装置100によって確かに再生されたことを示すため、続いてステップA022を実行し、一致しない場合は、映像が映像再生装置100によって再生されていないことを示すため、ステップA021を実行する。
ステップA021において、広告主は、広告放送局に料金を支払う必要はなく(映像が実際に再生されなかったため)、反対に、ステップA022において、広告主は、広告放送局に料金を支払うことができる(映像が実際に再生されたため)。
図10Aおよび図10Bの実施形態において、毎回映像が再生される前に、再生待ち映像を生成し、送信するよう映像再生装置100にリクエストするため、比較的大きなデータ送信量が必要となる。そのため、図11Aおよび図11Bの実施形態を提供して、データ送信量を減らす。
図11Aおよび図11Bを参照すると、図11Aおよび図11Bは、本発明の別の実施形態に係る再生証明方法を示すフローチャートである。概略的に説明すると、図11Aおよび図11Bと図10Aおよび図10Bの間の主な相違点は、図11Aおよび図11Bの映像再生装置100が、まず、対象機器101から再生待ち映像を取得し、毎回映像が再生される前に、どの時間点および特定位置で表示状況(以下、データ取込情報と称す)を収集すべきかを対象機器101に問い合わせることである。つまり、対象機器101は、新しい再生待ち映像を繰り返し生成して、それを映像再生装置100に送信する必要がなく、データ取込情報の内容を調整して、それを映像再生装置100に送信するだけでよい。このようにして、データ送信量が効果的に減少する。これについて、以下に詳しく説明する。
まず、ステップA001において、対象機器101は、第三者機構102から公開鍵および秘密鍵を取得するようリクエストし、ステップA002において、第三者機構102は、公開鍵PUK1および秘密鍵PRK1を対象機器101に返信する。同様に、ステップA003において、映像再生装置100は、第三者機構102から公開鍵および秘密鍵を取得するようリクエストし、ステップA004において、第三者機構102は、公開鍵PUK2および秘密鍵PRK2を対象機器101に返信する。そして、ステップA005において、公開鍵PUK2と秘密鍵PRK2を映像再生装置100の処理ユニット14に書き込む。ステップA001〜A005の詳細については、上述した実施形態の関連説明を参照することができるため、ここでは詳しい説明を省略する。
そして、ステップA101において、対象機器101は、映像再生装置100から電子証明書(公開鍵PUK2を含む)を取得するようリクエストし、ステップA102において、映像再生装置100は、電子証明書(公開鍵PUK2を含む)を対象機器101に返信する。そして、ステップA103において、対象機器101は、電子証明書が処理ユニット14(映像再生装置100)に属するかどうかを検証するよう第三者機構102にリクエストし、ステップA104において、第三者機構102は、電子証明書が処理ユニット14(映像再生装置100)に属するかどうかを検証する。属する場合は、続いてステップA006を実行し、属さない場合は、ステップA021を実行する。
ステップA006において、映像再生装置100は、対象機器101から映像(例えば、広告映像)を取得するようリクエストする。ステップA007において、対象機器101は、公開鍵PUK1に基づいてコーディング内容を生成し、コーディング内容を映像に埋め込んで、再生待ち映像を生成する。ステップA008において、対象機器101は、再生待ち映像を映像再生装置100に送信し、それを保存ユニット16に保存して、後で使用する。ステップA006〜A008の詳細については、上述した実施形態の関連説明を参照することができるため、ここでは詳しい説明を省略する。
ステップA110において、映像再生装置100は、対象機器101からデータ取込情報を取得するようリクエストする。つまり、映像再生装置100は、どの時間点および特定位置で表示状況を収集すべきかを対象機器101に問い合わせることができる。それに応じて、ステップA107において、映像再生装置100は、データ取込情報を生成し、公開鍵PUK2を使用してそれを暗号化する。ステップA108において、対象機器101は、暗号化したデータ取込情報を映像再生装置100に送信する。
1つの実施形態において、対象機器101は、第1特定時間点において第1特定位置の表示状況を収集し、第2特定時間点において第2特定位置の表示状況を収集するよう映像再生装置100に通知することができる。
図8に示すように、映像再生装置100が初めて再生待ち映像を再生する前に、対象機器101が10秒のところで特定位置81の表示状況を収集し、20秒のところで特定位置82の表示状況を収集するよう映像再生装置100にリクエストした場合、対象機器101は、対応するデータ取込情報を生成して、映像再生装置100に通知することができる。また、映像再生装置100が再度再生待ち映像を再生する前に、対象機器101が30秒のところで特定位置82の表示状況を収集し、40秒のところで特定位置81の表示状況を収集するよう映像再生装置100にリクエストした場合、対象機器101は、また、対応するデータ取込情報を生成して、映像再生装置100に通知することができるが、本発明はこれに限定されない。
つまり、映像再生装置100が映像を再生する前に、対象機器101は、データ取込情報の内容を調整することにより、表示状況を収集する方法を調整するよう映像再生装置100にリクエストすることができる。このようにして、対象機器101は、再編集した映像を繰り返し送信する必要がなく、異なるデータ取込情報を映像再生装置100に送信するだけでよい。対象機器101は、そのデータ取込情報を有するため、映像再生装置100が収集した表示状況を後に送信した時、対象機器101は、依然として、表示状況と比較するのに適したコーディング内容を見つけることができる。
また、別の実施形態において、上述した映像は、おそらく一定時間(例えば、1日に6回再生する等)内に複数回再生される予定になっているため、映像再生装置100は、予定されている映像のいくつかの再生時間の後に、いくつかの再生時間に個別に対応するデータ取込情報について一度に対象機器101に問い合わせをし、映像の各再生時間におけるどの時間点および特定位置で表示状況を収集すべきかを知ることができる。
図11Aを参照すると、映像再生装置100が暗号化したデータ取込情報を受信した後、ステップA109において、映像再生装置100は、秘密鍵PRK2に基づいて暗号化したデータ取込情報を復号化し、映像の各再生時間におけるどの時間点および特定位置で表示状況を収集すべきかを知ることができる。そして、ステップA009において、映像再生装置100は、対象機器101から公開鍵PUK1を取得するようリクエストし、ステップA110において、対象機器101は、それに応じて、映像再生装置100に公開鍵PUK1を返信する。ステップA011において、処理ユニット14(映像再生装置100)に公開鍵PUK1を送信する。ステップA012において、ディスプレイ11は、再生待ち映像を表示する。ステップA009〜A012の詳細については、上述した実施形態の関連説明を参照することができるため、ここでは詳しい説明を省略する。
そして、ステップA013において、ディスプレイ11が映像を再生した時、処理ユニット14は、ディスプレイ11上の特定位置の表示状況を感知するようセンサ12を制御し、データ取込情報に基づいて表示状況を収集する。つまり、センサ12は、データ取込情報に基づいて、複数の特定時間点において1つまたは複数の特定位置の表示状況を個別に収集することができる。
例えば、映像再生装置100が再生待ち映像を再生した時、対象機器101が10秒のところで特定位置81の表示状況を収集し、20秒のところで特定位置82の表示状況を収集するよう映像再生装置100にリクエストしたとデータ取込情報が示した場合、センサ12は、10秒および20秒のところでそれぞれ特定位置81および82の表示状況を収集する。同様に、映像再生装置100が再度再生待ち映像を再生した時、対象機器101が30秒のところで特定位置82の表示状況を収集し、40秒のところで特定位置81の表示状況を収集するよう映像再生装置100にリクエストしたとデータ取込情報が示した場合、センサ12は、30秒および40秒のところでそれぞれ特定位置82および81の表示状況を収集するが、本発明はこれに限定されない。
図11Aを再度参照すると、ステップA014において、映像再生装置100は、公開鍵PUK1を使用して、収集した表示状況を第1データに暗号化し、秘密鍵PRK2を使用して、第1データに署名し、第2データを生成する。ステップA015において、映像再生装置100は、第2データを対象機器101に送信する。
ステップA016において、対象機器101は、処理ユニット14(映像再生装置100)が第2データに署名したかどうかを検証するよう第三者機構102にリクエストする。ステップA017において、第三者機構102は、処理ユニット14(映像再生装置100)が第2データに署名したかどうかを検証する。署名した場合は、続いてステップA018を実行し、署名していない場合は、ステップA021を実行する。ステップA018において、対象機器101は、秘密鍵PRK1を使用して、第2データを復号化する。また、ステップA019において、対象機器101は、表示状況とコーディング内容を比較し、ステップA020において、対象機器101は、表示状況がコーディング内容と一致するかどうかを判断する。一致する場合は、映像が映像再生装置100によって確かに再生されたことを示すため、続いてステップA022を実行し、一致しない場合は、映像が映像再生装置100によって再生されていないことを示すため、ステップA021を実行する。ステップA021において、広告主は、広告放送局に料金を支払う必要はなく(映像が実際に再生されなかったため)、反対に、ステップA022において、広告主は、広告放送局に料金を支払うことができる(映像が実際に再生されたため)。
上記の説明からわかるように、図11Aおよび図11Bに示した方法は、対象機器101と映像再生装置100の間のデータ送信量を減らし、作業能率を上げることができる。注意すべきこととして、図10A〜図11Bにおいて、関連する検証操作、および公開鍵と秘密鍵により実行される暗号化/復号化について説明したが、別の実施形態において、暗号化/復号化/検証を行わずに図10A〜図11Bに示した方法を実行してもよい。
別の実施形態において、映像再生装置100のセンサ12、トランシーバ13、処理ユニット14、および保存ユニット16を1つの外部モジュールとして個別に実施してもよく、このようなモジュールは、一般的な表示装置に外部接続して、表示装置の表示状況を取り込むことができる。
具体的に説明すると、図12を参照し、図12は、本発明の1つの実施形態に係る表示状況取込モジュールおよび表示装置の概略図である。図12に示すように、表示状況取込モジュール1210は、センサ12、トランシーバ13、処理ユニット14、保存ユニット16、および接続インターフェース15を含み、操作方法およびセンサ12、トランシーバ13、処理ユニット14、保存ユニット16の詳細は、上述した実施形態の関連説明を参照することができ、接続インターフェース15は、例えば、ユニバーサルシリアルバス(Universal Serial Bus, USB)、サンダーボルト(thunderbolt)、または表示装置1220に適用される他の接続インターフェースである。表示装置1220は、例えば、ディスプレイ1221を有するデジタル・サイネージである。
本実施形態において、ディスプレイ1221は、図1のディスプレイ11と類似する1つまたは複数の特定位置を有することができ、特定位置は、いずれも特定位置の表示状況(特定位置から発光された光)を収集するための対応する導光素子(例えば、導光ファイバーまたは導光板)を設置することができる。また、上述した導光素子のそれぞれは、接続インターフェース15を介して表示状況取込モジュール1210のセンサ12に表示状況を送信することができるため、センサ12、トランシーバ13、処理ユニット14、および保存ユニット16を共同で操作し、上述した教示に基づいて本発明の表示状況取込方法を実施することができる。関連する詳細については、上述した実施形態の教示を参照することができるため、ここでは繰り返し説明しない。
また、上述した実施形態において、コーディング内容は、ASCII2進コードで実施され、異なる色を用いて2進コードを示し、第2部分フレームに表示するが、他の実施形態において、他のコーディング内容を用いて、あるいは他のパターン(例えば、バーコード)または図形要素を用いて、コーディング内容を示し、第2部分フレームとして表示してもよい。
以上のように、本発明の実施形態が提供する再生証明方法を用いて、特定時間点においてディスプレイ上の特定位置の表示状況を収集し、表示状況を取得して、対象機器により既知の映像情報と比較することができる。対象機器が、上述した表示状況に基づいて、特定時間点において特定位置から収集した表示状況が既知の映像情報と一致しないと判断した場合、対象機器は、広告主が依頼した広告映像がおそらく再生されていないことを知ることができる。そのため、本発明の実施形態は、低コストで高信頼度のPOP問題解決案を提供することができる。また、本発明の実施形態において、ディスプレイの再生機能が正常であるかどうかも表示状況に基づいて判断することができる。
また、本発明の表示状況取込モジュールを外部接続の方法で任意の適切な映像再生装置に接続して、映像再生装置のディスプレイの特定位置で表示状況を収集することができる。
以上のごとく、この発明を実施形態により開示したが、もとより、この発明を限定するためのものではなく、当業者であれば容易に理解できるように、この発明の技術思想の範囲内において、適当な変更ならびに修正が当然なされうるものであるから、その特許権保護の範囲は、特許請求の範囲および、それと均等な領域を基準として定めなければならない。
再生証明システムおよび方法は、デジタル・サイネージに応用して、映像が正常に再生されたかどうかを確認することができる。
100 映像再生装置
101 対象機器
102 第三者機構
11、1221 ディスプレイ
111 表示面
11a、11b、61、81、82 特定位置
12 センサ
1210 表示状況取込モジュール
1220 表示装置
13 トランシーバ
14 処理ユニット
15 接続インターフェース
16 保存ユニット
21a、21b 導光ファイバー
22a、22b、42 光
23 アクリルパッチ
41 導光板
41a 反射板
43 レンズ
71、91、92 第2部分フレーム
A、B 視角
S510〜S530、A001〜A022、A101〜A110 ステップ
PUK1、PUK2 公開鍵
PRK1、PRK2 秘密鍵

Claims (5)

  1. 表示面に少なくとも1つのフレームを有する映像を表示するディスプレイと、
    前記ディスプレイが前記映像を表示する時に前記表示面の特定位置において前記少なくとも1つのフレームの表示状況を感知するよう構成されたセンサと、
    トランシーバと、
    前記センサ、前記ディスプレイ、および前記トランシーバに接続されるとともに、前記ディスプレイが前記映像を確かに表示したかどうかを判断するために、前記表示状況を収集し、前記表示状況を対象機器に送信するよう前記トランシーバを制御する処理ユニットと、
    を含む映像再生装置。
  2. 前記センサが、さらに、前記表示面の前記特定位置にまたはその付近に配置された導光素子を含み、前記表示面の前記特定位置から発光された光を送信して、前記特定位置の前記表示状況を特徴付けるよう構成され、
    前記処理ユニットが、前記対象機器によって特定された特定時間点における前記特定位置の前記表示状況を収集するよう前記センサを制御し、
    前記処理ユニットが、さらに、前記対象機器によって特定された別の特定時間点における前記表示面の別の特定位置の別の表示状況を収集するよう前記センサを制御し、前記別の表示状況を前記対象機器に送信するよう前記トランシーバを制御する請求項1の映像再生装置。
  3. ディスプレイを含む映像再生装置に適用される表示状況取込方法であって、
    前記ディスプレイで表示面に映像を表示し、前記表示面に表示された前記映像が少なくとも1つのフレームを有することと、
    前記ディスプレイが前記映像を表示する時に、前記表示面の特定位置において前記少なくとも1つのフレームの表示状況をセンサで感知することと、
    前記ディスプレイが前記映像を確かに表示したかどうかを判断するために、前記表示状況を処理ユニットで収集し、トランシーバを用いて前記表示状況を対象機器に送信することと、
    を含む表示状況取込方法。
  4. ディスプレイに接続するよう構成された接続インターフェースと、
    前記ディスプレイの表示面が映像を表示する時に、前記表示面の特定位置においてフレームの表示状況を感知するよう構成されたセンサと、
    トランシーバと、
    前記センサ、前記接続インターフェース、および前記トランシーバに接続されるとともに、前記ディスプレイが前記映像を確かに表示したかどうかを判断するために、前記表示状況を収集し、前記表示状況を対象機器に送信するよう前記トランシーバを制御する処理ユニットと、
    を含む表示状況取込モジュール。
  5. 映像代表情報を取得することと、
    前記映像代表情報をコーディング内容に変換することと、
    前記コーディング内容を映像に埋め込んで、第1部分フレームおよび少なくとも1つの第2部分フレームを含む再生待ち映像を生成し、前記第1部分フレームが、前記映像のプロット内容に対応し、前記少なくとも1つの第2部分フレームが、前記コーディング内容を変換することによって得られることと、
    前記再生待ち映像を表示するよう映像再生装置のディスプレイに送信することと、
    前記ディスプレイが前記映像を表示することを前記映像再生装置が感知する時に、前記ディスプレイ上の前記少なくとも1つの第2部分フレームに対応する少なくとも1つの特定位置から収集した少なくとも1つの表示状況を受信することと、
    前記少なくとも1つの表示状況と前記コーディング内容を比較して、前記映像が前記映像再生装置によって確かに再生されたかどうかを判断することと、
    を含む再生証明方法。
JP2018196462A 2018-04-09 2018-10-18 映像再生装置、表示状況取込方法、表示状況取込モジュールおよび再生証明方法 Active JP6908569B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW107112195A TWI675590B (zh) 2018-04-09 2018-04-09 影像播放證明系統與方法
TW107112195 2018-04-09

Publications (2)

Publication Number Publication Date
JP2019185004A true JP2019185004A (ja) 2019-10-24
JP6908569B2 JP6908569B2 (ja) 2021-07-28

Family

ID=63592539

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018196462A Active JP6908569B2 (ja) 2018-04-09 2018-10-18 映像再生装置、表示状況取込方法、表示状況取込モジュールおよび再生証明方法

Country Status (5)

Country Link
US (1) US10645450B2 (ja)
EP (1) EP3553687B1 (ja)
JP (1) JP6908569B2 (ja)
CN (1) CN110366022B (ja)
TW (1) TWI675590B (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220374939A1 (en) * 2021-05-18 2022-11-24 Anzu Virtual Reality Ltd Ad fraud detection system and method

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1027048A (ja) * 1996-07-09 1998-01-27 Canon Inc データ通信方法及び装置
JP2008501995A (ja) * 2004-06-04 2008-01-24 ヤコブ・ハッテランド・ディスプレイ・アーエス 画像フリーズ検出器
JP2012073312A (ja) * 2010-09-28 2012-04-12 Toshiba Tec Corp 表示異常検知システムおよび表示異常検知プログラム
JP2012518211A (ja) * 2009-02-16 2012-08-09 マニュファクチャリング・リソーシズ・インターナショナル・インコーポレーテッド ディスプレイ特性フィードバックループ
JP2014106818A (ja) * 2012-11-28 2014-06-09 Fujitsu Frontech Ltd 受像機の表示内容監視システム、方法、及びプログラム
US20160055778A1 (en) * 2014-08-22 2016-02-25 Lg Electronics Inc. Self-diagnosing system and method of self-diagnosing of a display device

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4888638A (en) * 1988-10-11 1989-12-19 A. C. Nielsen Company System for substituting television programs transmitted via telephone lines
US6411725B1 (en) * 1995-07-27 2002-06-25 Digimarc Corporation Watermark enabled video objects
US20030014748A1 (en) 2001-07-16 2003-01-16 Gal Ben-David Methods for data transmission
US7614065B2 (en) * 2001-12-17 2009-11-03 Automated Media Services, Inc. System and method for verifying content displayed on an electronic visual display
CA2576865C (en) * 2004-08-09 2013-06-18 Nielsen Media Research, Inc. Methods and apparatus to monitor audio/visual content from various sources
TW200703139A (en) * 2005-07-07 2007-01-16 Systex Corp Advertisement trusted broadcasting system and its method
TWM315388U (en) 2006-11-17 2007-07-11 Taiwan Video System Co Ltd Advertisement broadcasting and monitoring system
US20090094642A1 (en) * 2007-10-08 2009-04-09 Motorola Inc Communication device, communication system and method of providing information to a user on a display of a communication device
TWI387226B (zh) 2009-01-07 2013-02-21 Ind Tech Res Inst 光發射裝置、光接收裝置、資料傳遞系統及應用其之方法
US8441574B2 (en) * 2009-02-16 2013-05-14 Manufacturing Resources International, Inc. Visual identifier for images on an electronic display
US20110123062A1 (en) * 2009-11-24 2011-05-26 Mordehay Hilu Device, software application, system and method for proof of display
US8650588B2 (en) * 2011-09-28 2014-02-11 International Business Machines Corporation End-to end proof of display
US9025015B2 (en) * 2012-11-30 2015-05-05 Convergent Media Systems Corporation Verification of playout of signage
CN104283859A (zh) 2013-07-10 2015-01-14 上海信颐信息技术有限公司 广告机文件的加密解密方法
FR3017479B1 (fr) * 2014-02-10 2017-06-23 Jcdecaux Sa Procede et dispositif pour verifier un affichage d'images sur un ecran electronique
TWI569162B (zh) 2014-11-07 2017-02-01 中華國際通訊網路股份有限公司 身份辨識系統及其實施方法
US10021455B2 (en) * 2015-12-04 2018-07-10 Sir Koko, LLC System for identifying content and determining viewership thereof and associated methods

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1027048A (ja) * 1996-07-09 1998-01-27 Canon Inc データ通信方法及び装置
JP2008501995A (ja) * 2004-06-04 2008-01-24 ヤコブ・ハッテランド・ディスプレイ・アーエス 画像フリーズ検出器
JP2012518211A (ja) * 2009-02-16 2012-08-09 マニュファクチャリング・リソーシズ・インターナショナル・インコーポレーテッド ディスプレイ特性フィードバックループ
JP2012073312A (ja) * 2010-09-28 2012-04-12 Toshiba Tec Corp 表示異常検知システムおよび表示異常検知プログラム
JP2014106818A (ja) * 2012-11-28 2014-06-09 Fujitsu Frontech Ltd 受像機の表示内容監視システム、方法、及びプログラム
US20160055778A1 (en) * 2014-08-22 2016-02-25 Lg Electronics Inc. Self-diagnosing system and method of self-diagnosing of a display device

Also Published As

Publication number Publication date
JP6908569B2 (ja) 2021-07-28
EP3553687A1 (en) 2019-10-16
CN110366022A (zh) 2019-10-22
TWI675590B (zh) 2019-10-21
TW201944786A (zh) 2019-11-16
EP3553687B1 (en) 2020-09-30
US10645450B2 (en) 2020-05-05
US20190313152A1 (en) 2019-10-10
CN110366022B (zh) 2022-01-28

Similar Documents

Publication Publication Date Title
US20110096246A1 (en) Visual Identifier for Images on an Electronic Display
CN1989716B (zh) 影像显示装置及影像显示系统
CN102692245B (zh) 显示装置、能量显示方法
CN106023695A (zh) 一种远程教育系统及其方法
CN100568080C (zh) 投影系统及投影机
WO2023226817A1 (zh) 显示信息的处理方法及装置、存储介质、电子设备
CN104412324A (zh) 显示装置
US10701305B2 (en) Video signature system and method
CN111683260A (zh) 基于虚拟主播的节目视频生成方法、系统和存储介质
CN103686025B (zh) 显示装置、显示系统以及显示装置的控制方法
CN103500438A (zh) 一种互动的建筑物表面投影方法
US11409890B2 (en) Video recording apparatus and video recording verification system, and video recording method and video verification method
JP2019185004A (ja) 再生証明システムおよび方法
EP3261317B1 (en) Authentication system, communication system, and authentication and authorization method
CN102404534A (zh) 投影仪以及投影仪的控制方法
CN108766313A (zh) 一种高清度全息广告风扇屏及其控制方法
US20190075370A1 (en) Display apparatus, content managing apparatus, content managing system, and content managing method
CN111212074A (zh) 基于区块链的资格认定方法、装置、设备及存储介质
WO2018041131A1 (zh) 光通信装置防伪方法及系统
JP2016531519A (ja) パラメータを用いてガイドイメージを生成する装置及び方法
CN210627010U (zh) 智能会议平板
CN102682809B (zh) 数字电影播放服务器及电影播放控制方法
KR100358040B1 (ko) 투명/불투명으로 변환되는 스크린에 통신망을 통해광고하는 방법
US11683581B2 (en) Image displaying apparatus and method thereof
EP4013032A1 (en) Imaging device, image data processing method, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181018

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190909

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190924

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191216

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200310

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200511

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20200511

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20200520

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20200526

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20200619

C211 Notice of termination of reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C211

Effective date: 20200623

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20201027

C13 Notice of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: C13

Effective date: 20210126

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210426

C23 Notice of termination of proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C23

Effective date: 20210518

C03 Trial/appeal decision taken

Free format text: JAPANESE INTERMEDIATE CODE: C03

Effective date: 20210622

C30A Notification sent

Free format text: JAPANESE INTERMEDIATE CODE: C3012

Effective date: 20210622

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210701

R150 Certificate of patent or registration of utility model

Ref document number: 6908569

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250