JP2014192630A - 映像受信装置及び受信映像の画像認識方法 - Google Patents

映像受信装置及び受信映像の画像認識方法 Download PDF

Info

Publication number
JP2014192630A
JP2014192630A JP2013065198A JP2013065198A JP2014192630A JP 2014192630 A JP2014192630 A JP 2014192630A JP 2013065198 A JP2013065198 A JP 2013065198A JP 2013065198 A JP2013065198 A JP 2013065198A JP 2014192630 A JP2014192630 A JP 2014192630A
Authority
JP
Japan
Prior art keywords
video
image recognition
content
recognition
switching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013065198A
Other languages
English (en)
Other versions
JP5838351B2 (ja
Inventor
Hiroshi Yabu
博史 薮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Original Assignee
Panasonic Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp filed Critical Panasonic Corp
Priority to JP2013065198A priority Critical patent/JP5838351B2/ja
Priority to US13/954,102 priority patent/US9131184B2/en
Publication of JP2014192630A publication Critical patent/JP2014192630A/ja
Application granted granted Critical
Publication of JP5838351B2 publication Critical patent/JP5838351B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44222—Analytics of user selections, e.g. selection of programs or purchase activity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/812—Monomedia components thereof involving advertisement data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835—Generation of protective data, e.g. certificates
    • H04N21/8352—Generation of protective data, e.g. certificates involving content or source identification data, e.g. Unique Material Identifier [UMID]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Social Psychology (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

【課題】画像認識処理に係る一連の処理をより低い処理負荷で行うことを可能にする映像受信装置等を提供する。
【解決手段】時間の経過に伴って切り替わるコンテンツを含む映像を受信する映像入力部４９と、受信された映像に対する画像認識を繰り返す際の周期を決定する認識周期決定部４７と、決定された周期で、映像から、当該映像の一部である部分映像を抽出することを繰り返す映像抽出部４５と、映像抽出部４５によって部分映像が抽出される度に、抽出された部分映像を画像認識装置２０に出力し、当該部分映像に対する画像認識の結果を画像認識装置２０から取得する制御を行う制御部４１とを備え、認識周期決定部４７は、映像において、コンテンツの切り替わりであるコンテンツ切替が発生した可能性、又は、発生する可能性の存否を判断し、可能性が存在すると判断した場合に、周期をより小さな値に変更する。
【選択図】図２

Description

本開示は、映像受信装置及び受信した映像に対する画像認識方法に関し、特に、受信した映像を外部の画像認識装置に出力して画像認識の結果を取得する映像受信装置に関する。
近年、通信ネットワークの普及とコンピュータ技術の進展に伴い、クライアント装置が画像をサーバ装置（つまり、画像認識装置）に送信して画像認識を依頼し、その画像認識の結果をサーバ装置から取得して活用するという技術が提案されている（例えば、特許文献１参照）。また、このような画像認識技術を利用したサービス（Ｇｏｏｇｌｅ社のＧｏｏｇｌｅ Ｇｏｇｇｌｅｓ等）も普及し始めている。
特開平１０−２１４２５８号公報
ところで、このような画像認識技術を利用したサービスをＴＶ（テレビジョン受像機）等の映像受信装置に適用する場合、映像受信装置が、定期的に、受信した映像に含まれるコンテンツの一部（部分映像）を切り出して（抽出して）サーバ装置に送信し、サーバ装置にて部分映像の画像認識を行うことが考えられる。
しかしながら、部分映像を切り出す処理、及び画像認識処理をサーバ装置に行わせる処理、すなわち、画像認識処理に関る一連の処理には比較的高い処理負荷が発生する。このような高い処理負荷が映像受信装置に常時かかると、映像受信装置に定常的に処理遅延が発生する可能性があり、また、映像受信装置は定常的に電力消費が大きい状態になる。
そこで本開示は、このような問題に鑑みてなされたものであり、画像認識処理に係る一連の処理をより低い処理負荷で行うことを可能にする映像受信装置等を提供することを目的とする。
上記目的を達成するために、本開示における映像受信装置の一形態は、画像認識を行う画像認識装置と接続された映像受信装置であって、時間の経過に伴って切り替わるコンテンツを含む映像を受信する映像入力部と、受信された前記映像に対する画像認識を繰り返す際の周期を決定する認識周期決定部と、決定された前記周期で、前記映像から、当該映像の一部である部分映像を抽出することを繰り返す映像抽出部と、前記映像抽出部によって前記部分映像が抽出される度に、抽出された前記部分映像を前記画像認識装置に出力し、当該部分映像に対する画像認識の結果を前記画像認識装置から取得する制御を行う制御部とを備え、前記認識周期決定部は、前記映像において、前記コンテンツの切り替わりであるコンテンツ切替が発生した可能性、又は、発生する可能性の存否を判断し、前記可能性が存在すると判断した場合に、前記周期をより小さな値に変更する。
なお、本開示は、画像認識を行う画像認識装置と接続された映像受信装置による受信映像の画像認識方法として実現したり、その画像認識方法での手順をコンピュータに実行させるプログラムとして実現したり、そのようなプログラムを記録したＤＶＤ等のコンピュータ読み取り可能な記録媒体として実現したりすることもできる。
本開示における映像受信装置等より、画像認識処理に係る一連の処理を行う映像受信装置の処理負荷を低減することができる。
よって、ＴＶ等で受信した映像の安定した画像認識が可能となり、認識結果を利用した多様な応用を構築できる可能性が広がり、インターネットＴＶ等の通信ネットワークを利用した映像受信装置が広く普及してきた今日における本開示の意義は極めて高い。
実施の形態における映像受信装置を含むコンテンツ認識システムの構成を示す図 図１における画像認識装置及び映像受信装置の構成を示すブロック図 「コンテンツ切替」の意味を説明する図 同映像受信装置による選択的な画像認識の手順を示すフローチャート 図４Ａにおけるコンテンツ切替検知（ステップＳ１１）の詳細な手順を示すフローチャート 図４Ａにおけるコンテンツ認識（ステップＳ１３）の詳細な手順を示すフローチャート 同映像受信装置による選択的な画像認識の概要を説明する図 同映像受信装置による選択的な画像認識が行われた場合における画像認識のタイミングを示す図 同映像受信装置のコンテンツ切替検知部による検知の概要を説明する図 同コンテンツ切替検知部によるコンテンツ切替前の映像信号の取得経路とコンテンツ切替後の映像信号の取得経路との観点から検知方法を分別する図 同コンテンツ切替検知部による検知方法の具体的な内容を説明する図 同映像受信装置による画像認識周期の調整動作における手順を示すフローチャート 図１０Ａにおけるコンテンツ認識（ステップＳ４２）の詳細な手順を示すフローチャート 図１０Ａにおけるコンテンツ認識制御（ステップＳ４３）の詳細な手順を示すフローチャート 同映像受信装置による画像認識周期の調整動作の概要を説明する図
以下、本開示における映像受信装置及び受信映像の画像認識方法の実施の形態について、図面を参照しながら説明する。なお、各図は、模式図であり、必ずしも厳密に図示したものではない。
また、以下で説明する実施の形態は、本開示における映像受信装置及び受信映像の画像認識方法の一具体例を示すものである。以下の実施の形態で示される数値、構成要素、構成要素の配置位置及び接続形態などは一例であり、本開示における映像受信装置及び受信映像の画像認識方法を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
［システムの構成］
図１は、本開示の実施の形態における映像受信装置を含むコンテンツ認識システム１０の構成を示す図である。
このコンテンツ認識システム１０は、外部装置での画像認識を利用して、ＴＶ等の映像受信装置４０で受信した映像に関連する広告を映像受信装置４０に表示することを可能にする通信システムであり、放送局１２、ＳＴＢ（Ｓｅｔ Ｔｏｐ Ｂｏｘ）１４、画像認識装置２０、広告サイトである通信装置３０、及び、映像受信装置４０で構成される。
放送局１２は、ＴＶ番組及びコマーシャルメッセージ（ＣＭ）を含む、時間の経過に伴って切り替わるコンテンツを映像信号として放送する送信装置である。
ＳＴＢ１４は、放送局１２から送られてきた映像信号の中から、ユーザの指示に基づいて選局したコンテンツをデコードし、通信路（ここでは、ＨＤＭＩ（登録商標）（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ））を介して、映像受信装置４０に出力するＴＶ放送用のチューナ・デコーダである。
画像認識装置２０は、放送局１２から放送されているコンテンツに対する解析と、その解析結果を利用した画像認識サービスの提供とを行うＷｅｂサイト（サーバ装置）である。ここでは、放送局１２から放送された全てのコンテンツが画像認識装置２０に受信され、受信されたコンテンツに対して、速やかに、人手作業等による解析が行われ、その解析結果（コンテンツの内容、登場人物等の情報）が画像認識装置２０の記憶装置に登録される。そして、画像認識装置２０は、映像受信装置４０から部分映像を伴った画像認識要求を受けると、記憶装置に登録された画像とのマッチングを行うことによって、映像受信装置４０から送られてきた部分映像に一致するコンテンツを特定し、特定したコンテンツについて登録されている解析結果を記憶装置から読み出し、画像認識の結果として、映像受信装置４０に返信する。ここでの画像のマッチングは、例えば、フィンガープリント技術を利用して行われる。
通信装置３０は、映像受信装置４０が画像認識装置２０から取得した画像認識の結果に関連する情報を配信するＷｅｂサイトであり、ここでは、様々な商品の広告を保持して配信する広告配信サイトである。
映像受信装置４０は、通信ネットワークを介して画像認識装置２０及び通信装置３０と接続されたＴＶ（テレビ受像機）等の映像受信装置である。この映像受信装置４０は、受信した映像を切り出すことで部分映像を抽出して画像認識装置２０に送信することで、画像認識装置２０から部分映像に対する画像認識の結果を取得し、取得した画像認識の結果に関連する広告を通信装置３０から取得して画面に表示することで、受信した映像と併せて、その映像に関連する広告もリアルタイムに表示する。
図２は、図１における画像認識装置２０及び映像受信装置４０の構成を示すブロック図である。
画像認識装置２０は、映像受信装置４０に対して通信ネットワーク１６を介して画像認識のサービスを提供するサーバ装置であり、ＨＴＴＰ（Ｈｙｐｅｒ Ｔｅｘｔ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）送受信部２１、コンテンツ検索部２２及びコンテンツ格納部２３を備える。
ＨＴＴＰ送受信部２１は、通信ネットワーク１６を介して映像受信装置４０と通信するインターフェイスであり、例えば、ＩＥＥＥ８０２．３の規格に適合する有線ＬＡＮ用の通信アダプタである。
コンテンツ格納部２３は、放送局１２から放送されたコンテンツのフィンガープリント（例えば、動画を構成する各ピクチャのハッシュ値）と、コンテンツに対する解析結果とを、コンテンツ毎に対応づけて保持する記憶装置であり、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）を有するコンピュータ等である。たとえば、コンテンツ格納部２３は、放送局１２から放送された全チャネル（例えば、３００チャネル）について、放送から少しの時間遅れ（例えば、１０秒）で、コンテンツ（番組及びＣＭ）ごとに、フィンガープリントと、解析結果（番組／ＣＭのタイトル、番組／ＣＭのあらすじ、登場人物、映像に関連する場所等）とを対応づけて格納している。
コンテンツ検索部２２は、ＨＴＴＰ送受信部２１を介して映像受信装置４０から部分映像を伴う画像認識の要求を受けたときに、その部分映像の画像認識を行い、その結果を、ＨＴＴＰ送受信部２１を介して映像受信装置４０に返信する処理部であって、画像認識処理部として機能する。そのために、コンテンツ検索部２２は、映像受信装置４０から部分映像を伴う画像認識の要求を受けたときには、その部分映像のフィンガープリントを生成し、コンテンツ格納部２３に格納されているフィンガープリントとのマッチングによる探索を行うことによって、部分映像が属するコンテンツを特定し、特定したコンテンツに対応づけられた解析結果をコンテンツ格納部２３から読み出し、画像認識の結果として、ＨＴＴＰ送受信部２１を介して映像受信装置４０に返信する。
映像受信装置４０は、画像認識を利用することで、受信した映像と併せて、その映像に関連する情報（ここでは、広告）をリアルタイムに表示する装置であり、制御部４１、ＨＴＴＰ送受信部４２、操作信号受信部４３、映像出力部４４ａ、表示画面４４ｂ、映像抽出部４５、コンテンツ切替検知部４６、認識周期決定部４７、付加情報格納部４８、及び、映像入力部４９を備える。
ＨＴＴＰ送受信部４２は、通信ネットワーク１６を介して画像認識装置２０と通信するインターフェイスであり、例えば、ＩＥＥＥ８０２．３の規格に適合する有線ＬＡＮ用の通信アダプタである。
操作信号受信部４３は、映像受信装置４０に対するユーザの操作を示す操作信号をリモコン等の操作部から受信する回路である。なお、操作信号受信部４３は、さらに、ジャイロセンサを有するリモコン等から当該リモコン等の物理的な動きに関する情報を受信してもよい。
映像入力部４９は、時間の経過に伴って切り替わるコンテンツ（つまり、番組及びＣＭ）を含む映像を、操作信号受信部４３で受信された操作信号に従って選局して受信する受信回路及びデコーダ等であり、映像受信部４９ａ、第１外部入力部４９ｂ及び第２外部入力部４９ｃを有する。映像受信部４９ａは、アンテナ等から送られてくる映像信号（ＴＶ放送信号）を受信する回路である。第１外部入力部４９ｂ及び第２外部入力部４９ｃは、ＳＴＢ１４及び映像記録再生装置等の外部機器からの映像信号（外部入力映像信号）を受信するインターフェイスである。
映像出力部４４ａは、映像入力部４９で受信された映像を表示画面４４ｂに出力する表示制御回路である。
表示画面４４ｂは、ＰＤＰ（Ｐｌａｓｍａ Ｄｉｓｐｌａｙ Ｐａｎｅｌ）又はＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）等のディスプレイである。
認識周期決定部４７は、映像入力部４９で受信された映像に対する画像認識を繰り返す際の周期を決定する処理部である。たとえば、認識周期決定部４７は、３秒、４秒、・・、１５秒の合計１３種類の周期のいずれかを決定する。このとき、認識周期決定部４７は、映像入力部４９で受信された映像において、コンテンツの切り替わりであるコンテンツ切替が発生した可能性、又は、発生する可能性の存否を判断し、その可能性が存在すると判断した場合に、画像認識の周期をより小さな値に変更し（ただし、最小の周期になっている場合にはそのままにし）、逆に、その可能性が存在しないと判断した場合に、画像認識の周期をより大きな値に変更する（ただし、最大の周期になっている場合にはそのままにする）。
なお、「コンテンツ切替」とは、図３の矢印に示されるように、ある番組からＣＭへの切り替わり、あるＣＭから他のＣＭへの切り替わり、あるＣＭから番組への切り替わり、及び、ある番組から他の番組への切り替わり等である。なお、ある番組から他の番組への切り替わりには、図３に示されるように、地上波における番組の切り替わり、地上波と外部入力間における番組の切り替わり、外部入力における番組の切り替わりが含まれる。
映像抽出部４５は、映像入力部４９で受信された映像に対して、認識周期決定部４７で決定された周期で、映像の一部である部分映像を抽出する処理部である。このとき、映像抽出部４５は、認識周期決定部４７で決定された周期で、所定時間分（例えば、３秒間）の映像を切り出す。よって、例えば、映像抽出部４５は、認識周期決定部４７で決定された周期が３秒である場合には、３秒毎に３秒間の部分映像を抽出すること（つまり、隙間なく、３秒ごとの映像を切り出すこと）を繰り返し、あるいは、認識周期決定部４７で決定された周期が１５秒である場合には、１５秒毎に３秒間の部分映像を抽出すること（つまり、１２秒の間隔をおいて３秒間の部分映像を切り出すこと）を繰り返す。
コンテンツ切替検知部４６は、映像抽出部４５で抽出された部分映像に、コンテンツの切り替わりであるコンテンツ切替が含まれるか否かを検知する処理部である。より詳しくは、コンテンツ切替検知部４６は、映像抽出部４５で抽出された部分映像に含まれるコンテンツの属性、及び、ユーザからの指示（つまり、操作信号受信部４３で受信された操作信号）の少なくも一方に基づいて、映像にコンテンツ切替が含まれるか否かを検知する。
付加情報格納部４８は、映像入力部４９で受信されたＥＰＧ等の番組メタ情報を格納する記憶装置であり、例えば、不揮発性メモリ等である。
制御部４１は、映像受信装置４０が備える各構成要素を制御する処理部であり、例えば、プログラム（アプリケーションプログラム等）を格納しているＲＯＭ等の不揮発性メモリ、そのプログラムを実行するＣＰＵ、及び、ＣＰＵによる実行時の一時的な作業領域としてのＲＡＭ等の揮発性メモリ等から構成される。
その制御の一つとして、制御部４１は、映像抽出部４５によって部分映像が抽出される度に、抽出された部分映像を画像認識装置２０に出力し、当該部分映像に対する画像認識の結果を画像認識装置２０から取得する制御を行う。そのときに、制御部４１は、コンテンツ切替検知部４６による検知の結果、部分映像にコンテンツ切替が含まれないと検知された場合に、当該部分映像を画像認識装置２０に出力し、当該部分映像に対する画像認識の結果を画像認識装置２０から取得する。画像認識装置２０から画像認識の結果を取得すると、制御部４１は、当該画像認識の結果に関連する情報である関連情報（ここでは、広告）を、通信ネットワーク１６を介して通信装置３０から取得し、取得した関連情報（ここでは、広告）を映像出力部４４ａによって表示画面４４ｂに表示させる。
以上のように構成された本実施の形態におけるコンテンツ認識システム１０の特徴的な機能は、次の２点である。
（１）選択的な画像認識
一つ目の特徴は、映像受信装置４０の制御部４１が、映像抽出部４５で次々に抽出される部分映像に対して、コンテンツ切替検知部４６でコンテンツ切替が含まれないと検知された部分映像だけに対して、画像認識装置２０に画像認識を行わせる点である。つまり、制御部４１は、コンテンツ切替が含まれる部分映像については、画像認識装置２０に画像認識を行わせない。これによって、一つの部分映像に少なくとの２種類のコンテンツが含まれることによる画像認識の失敗が回避されるとともに、映像受信装置４０における無駄な処理が回避される。
（２）画像認識の周期が可変であること
二つ目の特徴は、映像受信装置４０の認識周期決定部４７が、映像入力部４９で受信された映像において、コンテンツの切り替わりであるコンテンツ切替が発生した可能性、又は、発生する可能性の存否を判断し、その可能性が存在すると判断した場合に、画像認識の周期をより小さな値に変更し、逆に、その可能性が存在しないと判断した場合に、画像認識の周期をより大きな値に変更する点である。これによって、画像認識に伴う映像受信装置４０での処理負荷が軽減されるとともに、画像認識のタイミングが自動調整され、コンテンツごとに画像認識が行われる可能性が高まる。
なお、以上の２つの特徴的な機能は、必ずしも両方が同時に機能している必要はなく、一方だけが機能していればよい。つまり、映像受信装置４０は、コンテンツ切替検知部４６及び認識周期決定部４７について、両方を備える必要はなく、少なくとも一方を備えればよい。このような機能の選択は、例えば、ユーザによる映像受信装置４０に対する事前の設定によって決定される。また、映像受信装置４０が認識周期決定部４７を備えない場合には、映像受信装置４０は、予め定められた固定の周期、又は、ユーザによって設定される可変の周期で、画像認識を繰り返す。
［システムの動作］
以下、本実施の形態におけるコンテンツ認識システム１０における特徴的な機能における動作について説明する。
（１）選択的な画像認識の動作
まず、本コンテンツ認識システム１０における映像受信装置４０による選択的な画像認識の動作について説明する。
図４Ａは、本コンテンツ認識システム１０における映像受信装置４０による選択的な画像認識の手順を示すフローチャートである。図５は、このような映像受信装置４０による選択的な画像認識の概要を説明する図である。
まず、映像抽出部４５は、映像入力部４９で受信された映像に対して、認識周期決定部４７で決定された周期、あるいは、予め定められた周期で、映像の一部である部分映像を抽出する（ステップＳ１０、図５の「映像抽出」）。たとえば、映像抽出部４５は、１５秒に１回の頻度で、３秒間の部分映像を抽出する。
次に、コンテンツ切替検知部４６は、コンテンツ切替検知を行う（ステップＳ１１、図５の「コンテンツ切替検知」）。つまり、コンテンツ切替検知部４６は、映像抽出部４５で抽出された部分映像にコンテンツ切替が含まれるか否かを検知する。
その結果、部分映像にコンテンツ切替が含まれると判断された場合には（ステップＳ１２でＹｅｓ）、制御部４１は、当該部分映像については画像認識を行うことなく、映像抽出部４５に、次の部分映像を抽出させる（つまり、再抽出をさせる）。なお、この再抽出については、制御部４１は、認識周期決定部４７で決定された周期を待つことなく、上記判断の後、直ちに、映像抽出部４５に再抽出を実行させる。
一方、部分映像にコンテンツ切替が含まれないと判断された場合には（ステップＳ１２でＮｏ）、制御部４１は、当該部分映像についてのコンテンツ認識、つまり、当該部分映像を画像認識装置２０に送信することにより、画像認識装置２０に対して当該部分映像の画像認識を行わせる（ステップＳ１３、図５の「コンテンツ認識」）。
そして、制御部４１は、画像認識装置２０から画像認識の結果を取得することで、部分映像が属するコンテンツ（例えば、番組又はＣＭ）を特定できたか否かを判断し（ステップＳ１４）、特定できた場合には（ステップＳ１４でＹｅｓ）、当該部分映像が属するコンテンツに対する画像認識を終了し、一方、特定できない場合には（ステップＳ１４でＮｏ）、次の部分映像についての処理（ステップＳ１０〜Ｓ１３）を繰り返す（ステップＳ１４でＮｏ）。なお、コンテンツの特定における判断基準の例として、例えば、連続する所定個数の部分映像に対して画像認識装置２０が同一の画像認識の結果を出力した場合に、それらの部分映像が属するコンテンツを特定できたと判断してもよい。
なお、以上の処理（ステップＳ１０〜Ｓ１４）は、一つのコンテンツの特定に着目した処理であり、このようなコンテンツの特定が繰り返されてもよい。つまり、上記処理フローでは最後にコンテンツ単位の特定（ステップＳ１４）が行われたが、この処理は必ずしも必要ではなく、コンテンツを特定できた否かに拘わらず、常に、コンテンツ切替が含まれない部分映像に対する画像認識を繰り返してもよい。その場合には、ステップＳ１３の後に、ステップＳ１４の判断を行うことなく、ステップＳ１０に戻ってもよい。
図４Ｂは、図４Ａにおけるコンテンツ切替検知（ステップＳ１１）の詳細な手順を示すフローチャートである。
コンテンツ切替検知（ステップＳ１１）では、コンテンツ切替検知部４６は、まず、コンテンツ切替操作を検知したか否かを判断する（ステップＳ２０、図５の「操作信号検知」）。ここで、コンテンツ切替操作とは、映像受信装置４０が受信するコンテンツを切り替えるためのユーザからの指示（つまり、操作信号受信部４３で受信された操作信号）を意味する。なお、コンテンツ切替操作の具体例については、後述する。
その結果、コンテンツ切替操作を検知した場合には（ステップＳ２０でＹｅｓ）、コンテンツ切替検知部４６は、「コンテンツ切替要因あり」を示す情報を制御部４１に出力する（ステップＳ２３）。これによって、制御部４１は、コンテンツ切替検知部４６によって部分映像にコンテンツ切替が含まれると判断されたことを知る。
一方、コンテンツ切替操作を検知しない場合には（ステップＳ２０でＮｏ）、コンテンツ切替検知部４６は、続いて、コンテンツ切替を示す情報を検知したか否かを判断する（ステップＳ２１）。このとき、コンテンツ切替検知部４６は、映像抽出部４５で抽出された部分映像に含まれるコンテンツの属性に変化があったか否か検知することで、コンテンツ切替を示す情報を検知したか否かを判断する（図５の「特定映像」、「映像変化量：大」）。なお、コンテンツ切替を示す情報の検知の具体例については、後述する。
その結果、コンテンツ切替を示す情報を検知した場合には（ステップＳ２１でＹｅｓ）、コンテンツ切替検知部４６は、「コンテンツ切替要因あり」を示す情報を制御部４１に出力する（ステップＳ２３）。
一方、コンテンツ切替を示す情報を検知しなかった場合には（ステップＳ２１でＮｏ）、コンテンツ切替検知部４６は、「コンテンツ切替要因なし」を示す情報を制御部４１に出力する（ステップＳ２２）。これによって、制御部４１は、コンテンツ切替検知部４６によって部分映像にコンテンツ切替が含まれないと判断されたことを知る。
図４Ｃは、図４Ａにおけるコンテンツ認識（ステップＳ１３）の詳細な手順を示すフローチャートである。ここでは、映像受信装置４０から送信された部分映像に対する画像認識装置２０の処理手順が示されている。
画像認識装置２０は、映像受信装置４０から、画像認識の要求とともに部分映像を受信すると（ステップＳ３０）、上述したフィンガープリントのマッチング等を用いて、その部分映像が属するコンテンツ（番組又はＣＭ）を推定する（ステップＳ３１）。つまり、画像認識装置２０のコンテンツ検索部２２は、映像受信装置４０から受信した部分映像のフィンガープリントを生成し、コンテンツ格納部２３に格納されているフィンガープリントとのマッチングによる探索を行うことによって、部分映像が属するコンテンツを特定し、特定したコンテンツに対応づけられた解析結果を、画像認識の結果として、コンテンツ格納部２３から読み出す。たとえば、コンテンツ検索部２２は、受信した部分映像は「ＡＢＣニュース番組」であり、「司会者はＤＥＦさんである」という画像認識結果を得る。
そして、画像認識装置２０のコンテンツ検索部２２は、取得した画像認識の結果を、ＨＴＴＰ送受信部２１を介して映像受信装置４０に送信する（ステップＳ３２）。
なお、画像認識の結果として、一つの画像認識結果だけでなく、複数の画像認識結果が含まれてもよい。そして、複数の画像認識結果のそれぞれに対する尤度（例えば、確率）が付加されていてもよい。これによって、このような画像認識結果を取得した映像受信装置４０は、その画像認識結果に含まれる尤度から、部分映像が属するコンテンツを特定できたか否かを判断することができる。たとえば、８０％を超える認識確率が付与された画像認識結果が含まれる場合に、コンテンツを特定できたと判断できる。
図６は、以上の処理フローに従って映像受信装置４０が選択的な画像認識を行った場合における画像認識のタイミングを示す図である。本図において、「放送」は、放送コンテンツの時間変化を示す。「常時認識」は、コンテンツ切替が含まれるか否かに拘わらず常に画像認識を行う従来技術における画像認識の結果を示す。「本実施の形態」は、コンテンツ切替が含まれない場合に画像認識を行う本実施の形態における選択的な画像認識の結果を示す。
図６に示されるように、「放送」のコンテンツにおいて、「ニュースＡ」から「ＣＭ」に切り替わったとき、及び、「ニュースＡ」から「ニュースＢ」に切り替わったときには、従来の「常時認識」によれば、画像認識が失敗する。そのために、「ニュースＡ」の直後の「ＣＭ」に対する画像認識が行われない結果となってしまう。
一方、「本実施の形態」によれば、コンテンツ切替検知部４６によってそのようなコンテンツ切替が検知され、当該部分映像に対する画像認識を行うことなく、直ちに、新たな部分映像の再抽出が行われる。そして、再抽出された部分映像にコンテンツ切替が含まれない場合には、その部分映像に対する画像認識が行われる。これにより、部分映像にコンテンツ切替が含まれることが検知された場合には、無駄な画像認識（画像認識の失敗）が回避されるとともに、その直後の部分映像の再抽出による画像認識が行われるので、コンテンツ切替の後に配信されてくるコンテンツに対する早いタイミングでの画像認識が可能になる。よって、図６の例において、「ニュースＡ」の直後の「ＣＭ」に対する画像認識が行われる。
以上のように、本実施の形態によれば、部分映像にコンテンツ切替が含まれることが検知された場合には、当該部分映像に対する画像認識を行うことなく、新たな部分映像の再抽出が行われる。よって、一つの部分映像に少なくとの２種類のコンテンツが含まれることによる画像認識の失敗が回避されるとともに、コンテンツ切替の後に配信されてくるコンテンツに対する早いタイミングでの画像認識が可能になる。
なお、本実施の形態では、部分映像にコンテンツ切替が含まれると判断された場合に、認識周期決定部４７で決定された周期を待つことなく、直ちに、新たな部分映像が再抽出されたが、上記周期を待って再抽出をしてもよい。その場合であっても、コンテンツ切替が含まれる部分映像の画像認識が行われることがないので、画像認識の失敗に伴う無駄な処理は回避される。
図７は、コンテンツ切替検知部４６による検知の概要を説明する図である。
ここでは、リモコン５０による操作によって生じ得るコンテンツ切替の様々なケースが示されている。たとえば、図７の最上段に示されるように、映像受信装置４０が放送局１２からの地上波を受信している場合には、リモコン５０によって、地上波内でのチャネル切替が行われ、映像受信装置４０はリモコン５０からの操作信号を検知して、コンテンツ切替を判断できる。また、図７の２段目に示されるように、映像受信装置４０が放送局１２、及び、ＳＴＢ１４等からの複数の映像信号を、ＨＤＭＩ（登録商標）等の通信媒体を介して受信している場合には、映像受信装置４０はリモコン５０からのＳＴＢ等に対する操作信号を検知することができず、コンテンツ切替を映像検知で行う必要がある。また、図７の３段目に示されるように、映像受信装置４０がインターネットからの映像信号を受信している場合には、リモコン５０によって、外部入力映像信号におけるチャネル切替が行われ、映像受信装置４０はリモコン５０からの操作信号を検知して、コンテンツ切替を判断できる。さらに、図７の最下段に示されるように、映像受信装置４０がパーソナルコンピュータ（ＰＣ）からの映像信号を受信している場合には、リモコン５０からのＰＣに対する操作信号を検知できず、コンテンツ切替を映像検知で行う必要がある。
このように、図７に示されるように、映像受信装置４０で視聴する映像信号をどの経路で取得するかによって、コンテンツ切替を操作信号の検知で行うか映像検知で行うかを判断する必要がある。
図８は、コンテンツ切替検知部４６によるコンテンツ切替前の映像信号の取得経路とコンテンツ切替後の映像信号の取得経路の観点から検知方法を分別する図である。
ここでは、コンテンツ切替検知部４６がどのような観点で部分映像にコンテンツ切替が含まれるかを検知するかを示す表が図示されている。より具体的には、本図には、映像受信部４９ａで受信される「地上波」、第１外部入力部４９ｂで受信される映像である「外部入力１」、及び、第２外部入力部４９ｃで受信される映像である「外部入力２」の３種類の入力映像に含まれる番組及びＣＭの合計６種類の映像ソース・コンテンツを対象として、コンテンツ切替の前後（各行及び各列）でとり得る組み合わせのすべてのケース（図８における３６個のマス）について、コンテンツ切替検知部４６による「操作検知」の可否、及び、「映像検知」の必要の有無が示されている。ここで、「操作検知」とは、図４Ｂにおけるコンテンツ切替操作の検知（ステップＳ２０）に相当し、具体的には、映像受信装置４０が受信するコンテンツを切り替えるためのユーザからの指示（つまり、操作信号受信部４３で受信された操作信号）によって、部分映像にコンテンツ切替が含まれることを検知することである。また、「映像検知」とは、図４Ｂにおけるコンテンツ切替を示す情報の検知（ステップＳ２１）に相当し、具体的には、映像抽出部４５で抽出された部分映像に含まれるコンテンツの属性に変化があったか否か検知することで、部分映像にコンテンツ切替が含まれることを検知することである。
たとえば、図８において、「地上波」における「番組」と記載された行と、「地上波」における「番組」と記載された列とが交差するマスは、地上波のある番組から地上波の他の番組への切り替えのケースに相当する。このマスには、「操作検知：検知可能」、及び、「映像検知：必要無し」と記載されているように、このケースでは、コンテンツ切替検知部４６による操作検知だけによって、部分映像にコンテンツ切替が含まれることが検知され得る。また、図８において、「地上波」における「ＣＭ」と記載された行と、「地上波」における「ＣＭ」と記載された列とが交差するマスは、地上波のあるＣＭから地上波の他のＣＭへの切り替えのケースに相当する。このマスには、「操作検知：検知不可」、及び、「映像検知：必要」と記載されているように、このケースでは、コンテンツ切替検知部４６による映像検知だけによって、部分映像にコンテンツ切替が含まれることが検知され得る。
このように、図８に示される表から分かるように、コンテンツ切替検知部４６による操作検知及び映像検知により、様々な種類の映像ソース・コンテンツ間での切り替えが検知され得る。
図９は、コンテンツ切替検知部４６による検知方法の具体的な内容を説明する図である。
ここでは、コンテンツ切替検知部４６がどのような情報に基づいて部分映像中のコンテンツ切替を検知するかを示す表が図示されている。具体的には、図９には、「コンテンツ切替の要因」ごとに、「検知方法」及び「検知対象」が示されている。
ここで、「コンテンツ切替の要因」における「番組移行やＣＭ等の放送内における（ネットワーク内の）コンテンツ切替」は、映像受信装置４０に対する操作が発生していない（操作信号に変化がない）のにコンテンツ切替が発生するケースである。たとえば、映像受信装置４０に接続された外部チューナであるＳＴＢ１４に対するチャネル切替操作が行われたケースが相当する。この場合には、映像受信装置４０に対する操作が発生していない（操作信号に変化がない）のにコンテンツ切替が発生する。
また、「コンテンツ切替の要因」における「リモコン操作等放送切替による（ネットワーク間の）コンテンツ切替」は、映像受信装置４０への映像入力の切り替えによってコンテンツ切替が発生するケースである。たとえば、映像入力部４９における３種類の映像信号入力（映像受信部４９ａ、第１外部入力部４９ｂ及び第２外部入力部４９ｃへの入力）において切り替えが行われたケースが相当する。
本図に示されるように、「コンテンツ切替の要因」が「番組移行やＣＭ等の放送内における（ネットワーク内の）コンテンツ切替」であるケースについては、コンテンツ切替検知部４６は、「コンテンツ属性変化」、つまり、部分映像に含まれるコンテンツの属性が変化したか否かを検出することによって、部分映像にコンテンツ切替が含まれるか否かを検知する。ここで、「コンテンツ属性変化」の検知には、図９に示されるように、「番組メタ情報の利用」による検知、「信号属性情報の変化」の検知、及び、「映像、音声の属性変化」の検知が含まれ、それぞれの検知における具体的な検知対象は、図９の「検知対象」に記載されている通りである。
つまり、コンテンツ切替検知部４６は、部分映像に含まれるコンテンツの属性が変化した場合に、当該部分映像にコンテンツ切替が含まれると検知する。そして、コンテンツの属性は、映像入力部４９によって受信される、部分映像が属する番組の詳細を記述した番組メタ情報（付加情報格納部４８に格納されたＥＰＧ情報等）が示す内容であってもよいし、映像入力部４９によって受信される映像の著作権保護に関する情報である信号属性情報（著作権、有料／無料に関する情報等）が示す内容であってもよいし、映像入力部４９によって受信される映像又は音声の信号としての属性（画像解像度、オーディオチャネル数等）であってもよい。
また、「コンテンツ切替の要因」が「リモコン操作等放送切替による（ネットワーク間の）コンテンツ切替」であるケースに対しては、コンテンツ切替検知部４６は、「切替信号検知」及び「特定コンテンツ検知」によって、部分映像にコンテンツ切替が含まれるか否かを検知する。ここで、「切替信号検知」とは、図８における「操作検知」、及び、図４Ｂにおけるコンテンツ切替操作の検知（ステップＳ２０）に相当し、具体的には、映像受信装置４０が受信するコンテンツを切り替えるためのユーザからの指示（つまり、操作信号受信部４３で受信された操作信号）によって、部分映像にコンテンツ切替が含まれることを検知することである（図９の「操作情報の検知」、及び、その「検知対象」を参照）。また、「特定コンテンツ検知」とは、操作信号によらずに映像信号自体からコンテンツ切替の検知が可能なコンテンツ（つまり、特定コンテンツ）を検知することによって、部分映像にコンテンツ切替が含まれることを検知することである（図９の「ソース有無の検知」、及び、その「検知対象」を参照）。
つまり、コンテンツ切替検知部４６は、操作信号受信部４３が受信した操作信号によって部分映像に含まれるコンテンツが切り替えられた場合に、当該部分映像にコンテンツ切替が含まれると検知してもよいし（図９の「操作情報の検知」）、操作信号受信部４３が受信した操作信号によって部分映像にコンテンツが含まれない状態が引き起こされる場合（図９の「ソース有無の検知」における「ビデオブラックミュート」、「音声ミュート」）等に、当該部分映像にコンテンツ切替が含まれると検知してもよい。
このように、図９に示される表から分かるように、コンテンツ切替検知部４６による操作検知及び映像検知の少なくとも一つに基づいて、部分映像にコンテンツ切替が含まれることが検知される。
以上のように、本実施の形態における映像受信装置４０は、コンテンツ切替が含まれないと検知された部分映像だけに対して、画像認識装置２０での画像認識を行う。これによって、一つの部分映像に少なくとの２種類のコンテンツが含まれることによる画像認識の失敗が回避されるとともに、映像受信装置４０における無駄な処理が回避される。
（２）画像認識周期の調整動作
次に、本コンテンツ認識システム１０における映像受信装置４０による画像認識周期の調整動作について説明する。
図１０Ａは、本コンテンツ認識システム１０における映像受信装置４０による画像認識周期の調整動作における手順を示すフローチャートである。
まず、認識周期決定部４７は、映像入力部４９で受信された映像に対する画像認識を繰り返す際の周期を決定する（ステップＳ４０）。
次に、映像抽出部４５は、ステップＳ４０で決定された周期で、映像入力部４９で受信された映像から、部分映像を抽出する（ステップＳ４１）。
次に、制御部４１は、画像認識装置２０にコンテンツ認識処理を行わせる（ステップＳ４２）。つまり、制御部４１は、映像抽出部４５がステップＳ４１で抽出した部分映像に関する情報を画像認識装置２０に送信し、画像認識装置２０に対して当該部分映像の画像認識を行わせ、その結果を受信する。コンテンツ認識処理の詳細については、後述する。
次に、認識周期決定部４７は、コンテンツ認識制御処理を行う（ステップＳ４３）。認識周期決定部４７は、ステップＳ４２のコンテンツ認識結果に応じて映像抽出周期を変更又は維持する。コンテンツ認識制御処理の詳細については、後述する。
次に、認識周期決定部４７は、ステップＳ４３のコンテンツ認識制御処理の結果に基づいて、映像抽出周期を変更するか否かを判定する（ステップＳ４４）。ステップＳ４４の判定の結果、映像抽出周期を変更すると判定した場合には（ステップＳ４４でＹｅｓ）、ステップＳ４０に戻り、変更後の映像抽出周期を用いてステップＳ４１以降の一連の処理を実行する。
一方、ステップＳ４４の判定の結果、映像抽出周期を維持する（変更しない）と判定した場合には（ステップＳ４４でＮｏ）、制御部４１は、コンテンツ認識を終了させるか否かを判定する（ステップＳ４５）。ステップＳ４５の判定の結果、コンテンツ認識を終了させない（コンテンツ認識を継続する）と判定されたら、ステップＳ４１の処理へ戻る。一方、ステップＳ４５の判定の結果、コンテンツ認識を終了させると判定されたら、以上の一連の処理を終了する。
図１０Ｂは、図１０Ａにおけるコンテンツ認識（ステップＳ４２）の詳細な手順を示すフローチャートである。
コンテンツ認識処理では、まず、制御部４１は、映像抽出部４５が抽出した部分映像に関する映像情報を取得する（ステップＳ５０）。
次に、制御部４１は、ステップＳ５０で取得した映像情報に関するコンテンツ認証情報を算出する（ステップＳ５１）。コンテンツ認証情報とは、部分映像を画像認識装置２０で認識させるために、部分映像を圧縮又は暗号化した情報であり、フィンガープリントに相当する。
次に、制御部４１は、ステップＳ５１で算出したコンテンツ認証情報をネットワーク１６を介して画像認識装置２０に送信する（ステップＳ５２）。
次に、制御部４１は、ステップＳ５２で送信したコンテンツ認証情報に対して画像認識装置２０が認識した結果であるコンテンツ情報を受信する（ステップＳ５３）。
次に、制御部４１は、ステップＳ５３で受信したコンテンツ情報を記憶部（図示せず）に格納する（ステップＳ５４）。なお、制御部４１は、コンテンツ情報を付加情報格納部４８に格納させてもよい。
図１０Ｃは、図１０Ａにおけるコンテンツ認識制御（ステップＳ４３）の詳細な手順を示すフローチャートである。図１１は、映像受信装置４０による画像認識周期の調整動作の概要を説明する図である。
コンテンツ認識制御処理では、まず、認識周期決定部４７は、ステップＳ４２のコンテンツ認識処理の結果から、特定コンテンツを検知する（ステップＳ６０）。ここで、特定コンテンツとは、例えば、時間経過に伴って切り替わる可能性が高いコンテンツ、又は、短時間で終了することが知られているコンテンツ（例えば、ＣＭ）である。認識周期決定部４７は、ステップＳ４２のコンテンツ認識処理の結果から、コンテンツ認識処理の対象となった部分映像から特定コンテンツを検知する。
次に、認識周期決定部４７は、ステップＳ６０で特定コンテンツを検知したか否かを判定する（ステップＳ６１）。その結果、特定コンテンツを検知した場合には（ステップＳ６１でＹｅｓ）、映像抽出周期を変更するとして（ステップＳ６７）、コンテンツ認識制御処理を終了する。ここで終了する場合、次に行われるステップＳ４４の処理では、映像抽出周期をより小さな値に変更すると判定される。
一方、認識周期決定部４７は、特定コンテンツを検知しない場合には（ステップＳ６１でＮｏ）、コンテンツ認識変化量を算出する（ステップＳ６２）。コンテンツ認識変化量とは、ステップＳ４２のコンテンツ認識処理の結果の変化の度合いを示す量である。例えば、コンテンツ認識結果が、視聴チャンネルに確率的に対応付けられる場合には、その確率がコンテンツ認識変化量に相当する。具体的には、６チャンネルと８チャンネルとで同時刻に同一の内容のＣＭが放送される場合、当該部分映像に対するコンテンツ認識結果が「６チャンネル：５０％、８チャンネル：５０％」となることがある。これは、当該部分映像からは６チャンネル及び８チャンネルのいずれかであると認識されるが、６チャンネルであるか、又は８チャンネルであるかは特定できない、という場合に発生しうる。また、上記とは異なり、当該部分映像の中の５０％に相当する時間の部分が６チャンネルであり、当該部分映像の中の別の５０％に相当する時間の部分が８チャンネルであることが、コンテンツ認識により認識された場合にも発生しうる。
次に、認識周期決定部４７は、ステップＳ６２で算出したコンテンツ認識変化量に基づいて、コンテンツ認識に変化があるか否かを判定する（ステップＳ６３）。認識周期決定部４７は、当該部分映像のコンテンツ認識の結果と、当該部分映像の１回前のコンテンツ認識の結果とを比較し、コンテンツ認識結果に変化があるか否かを判定する。具体的には、当該部分映像の１回前のコンテンツ認識の結果が、「６チャンネル：１００％」であり、当該部分映像のコンテンツ認識の結果が、「６チャンネル：５０％、８チャンネル：５０％」である場合には、コンテンツ認識結果に変化があると、認識周期決定部４７は判定する。ステップＳ６３の判定の結果、コンテンツ認識結果に変化があると認識周期決定部４７が判定した場合には（ステップＳ６３でＹｅｓ）、映像抽出周期を変更するとして（ステップＳ６７）、コンテンツ認識制御処理を終了する。ここで終了する場合、次に行われるステップＳ４４の処理では、映像抽出周期をより小さな値に変更すると判定される。
一方、ステップＳ６３の判定の結果、コンテンツ認識結果に変化がないと認識周期決定部４７が判定した場合には（ステップＳ６３でＮｏ）、認識周期決定部４７は、操作挙動を検知する（ステップＳ６４）。操作挙動とは、例えば、映像受信装置４０のリモコンを用いてユーザが行う操作、又は当該リモコン等の物理的な動きである。映像受信装置４０のリモコンを用いてユーザが行う操作とは、映像受信装置４０のチャンネル切替、音量の切替、又は映像ソースの切替などである。また、リモコン等の物理的な動きとは、リモコン等に搭載されるジャイロセンサが検出する当該リモコンの物理的な動きであって、ユーザが当該リモコンを所持又は操作する際の動きのことである。操作挙動は、操作信号受信部４３により受信される。なお、ジャイロセンサが検出する動きを全てリモコンの物理的な動きとして捉えるのではなく、予め定められた閾値よりも大きな動きをしている場合のみ、リモコンの物理的な動きとして捉えてもよい。このようにすることで、リモコンの微小な動きを検出しないようにすることができ、ユーザが行う操作を検出する精度を向上させることができる。
認識周期決定部４７がステップＳ６４で操作挙動を検知した場合には（ステップＳ６５でＹｅｓ）、映像抽出周期を変更するとして（ステップＳ６７）、コンテンツ認識制御処理を終了する。ここで終了する場合、次に行われるステップＳ４４の処理では、映像抽出周期をより小さな値に変更すると判定される。
一方、認識周期決定部４７がステップＳ６４で操作挙動を検知しなかった場合には（ステップＳ６５でＮｏ）、映像抽出周期を維持するとして（ステップＳ６６）、コンテンツ認識制御処理を終了する。ここで終了する場合、次に行われるステップＳ４４の処理では、映像抽出周期を維持する（変更しない）、又は、映像抽出周期をより大きな値に変更すると判定される。
以上に示すコンテンツ認識制御処理ステップＳ４３によって、部分映像に特定コンテンツが検知された場合、コンテンツ認識変化がある場合、又は操作挙動の検知がある場合には、次に行われるステップＳ４４において映像抽出周期をより小さな値に変更することができる。上記のいずれかに該当する場合には、コンテンツ認識処理の対象とした部分映像のコンテンツ認識結果に対して、次の部分映像に対するコンテンツ認識結果が変化する可能性があると判断される。このような場合には、映像抽出周期をより小さな値にすることで次のコンテンツ認識をより早いタイミングで行うことで、コンテンツの変化にコンテンツ認識結果を追随させることができる（図１１の「常時コンテンツ認識」）。
一方、上記のいずれにも該当しない場合には、次に行われるステップＳ４４において映像抽出周期を維持する（変更しない）、又は、映像抽出周期をより大きな値に変更することができる。この場合には、コンテンツ認識処理の対象とした部分映像のコンテンツ認識結果に対して、次の部分映像に対するコンテンツ認識結果が変化する可能性がないと判断される。このような場合には、映像抽出周期を維持する（変更しない）ことで次のコンテンツ認識までの間隔を長くあけ、映像受信装置４０の処理負荷を低減することができる。なお、このような場合に、映像抽出周期をより大きな値とすることで、映像受信装置４０の処理負荷をより大きく低減することができる（図１１の「１５秒に１回でコンテンツ認識」）。
以上のように、本実施の形態における映像受信装置４０は、受信された映像において、コンテンツの切り替わりであるコンテンツ切替が発生した可能性、又は、発生する可能性の存否を判断し、その可能性が存在すると判断した場合に、画像認識の周期をより小さな値に変更し、逆に、その可能性が存在しないと判断した場合に、画像認識の周期をより大きな値に変更する。これによって、画像認識に伴う映像受信装置４０での処理負荷が軽減されるとともに、画像認識のタイミングが自動調整され、コンテンツごとに画像認識が行われる可能性が高まる。
以上のように、本実施の形態における映像受信装置は、画像認識を行う画像認識装置と接続された映像受信装置であって、時間の経過に伴って切り替わるコンテンツを含む映像を受信する映像入力部と、受信された前記映像に対する画像認識を繰り返す際の周期を決定する認識周期決定部と、決定された前記周期で、前記映像から、当該映像の一部である部分映像を抽出することを繰り返す映像抽出部と、前記映像抽出部によって前記部分映像が抽出される度に、抽出された前記部分映像を前記画像認識装置に出力し、当該部分映像に対する画像認識の結果を前記画像認識装置から取得する制御を行う制御部とを備え、前記認識周期決定部は、前記映像において、前記コンテンツの切り替わりであるコンテンツ切替が発生した可能性、又は、発生する可能性の存否を判断し、前記可能性が存在すると判断した場合に、前記周期をより小さな値に変更する。
これにより、映像受信装置は、コンテンツ切替が発生した（発生する）可能性が存在する場合に、部分映像の抽出をより短い時間間隔で行い、映像に対する画像認識によりコンテンツ切替をより早く検知することができる。また、コンテンツ切替が発生した（発生する）可能性が存在しない場合には、上記のように部分映像の抽出の時間間隔を短くすることがないので、処理負荷を維持することができる。このように、映像受信装置は、画像認識処理に係る一連の処理を常時行う場合に比べて、処理負荷を低減させることができる。
また、本実施の形態では、前記認識周期決定部は、前記画像認識装置から取得した前記画像認識の結果に基づいて、前記可能性の存否を判断する。具体的には、前記認識周期決定部は、前記画像認識装置から取得した前記画像認識の結果に基づいて、前記可能性の存否を判断する。また、前記認識周期決定部は、前記画像認識装置から取得した前記画像認識の結果が変化する場合に、前記可能性が存在すると判断する。
これにより、映像受信装置は、画像認識装置における画像認識の結果に応じて、コンテンツ切替が発生した（発生する）可能性を判断する。具体的には、画像認識の結果、コンテンツが短時間で終了するコンテンツ（つまり、広告、又はＣＭ）である場合には、映像受信装置は、次のコンテンツ（番組、又は他のＣＭ）に切り替わる可能性が存在すると判断する。また、画像認識の結果、コンテンツ切替（例えば、チャンネル切替、又は映像ソース切替）を含む場合には、映像受信装置は、ユーザがさらにチャンネル切替操作を行うことで次のコンテンツに切り替わる可能性が存在すると判断する。このようにして、映像受信装置は、コンテンツ切替が発生した（発生する）可能性を判断し、画像認識処理に係る一連の処理をより低い処理負荷で行うことができる。
また、本実施の形態では、さらに、ユーザの操作を示す操作信号を操作部から受信する操作信号受信部を備え、前記認識周期決定部は、前記信号受信部が受信した操作信号に基づいて、前記可能性の存否を判断する。具体的には、前記操作信号には、前記操作部の物理的な動きを示す信号が含まれ、前記認識周期決定部は、前記操作部が受信した操作信号に基づいて、前記操作部が予め定められた閾値よりも大きな動きをしていると判断した場合に、前記可能性が存在すると判断する。また、前記操作信号には、前記映像に含まれるコンテンツを切り替えるための信号が含まれ、前記認識周期決定部は、前記操作部が受信した操作信号に基づいて、前記映像に含まれるコンテンツが切り替えられたと判断した場合に、前記可能性が存在すると判断する。
これにより、映像受信装置は、映像受信装置のリモコンに対する操作信号に応じて、コンテンツ切替が発生した（発生する）可能性を判断する。具体的には、リモコンの物理的な動きを示す信号を受信した場合には、映像受信装置は、ユーザがリモコンを所持及び操作してコンテンツを切り替えることで次のコンテンツに切り替わる可能性が存在すると判断する。また、リモコンによるコンテンツ切替の信号を受信した場合には、映像受信装置は、ユーザがリモコンを操作してコンテンツを切り替えることで次のコンテンツに切り替わる可能性が存在すると判断する。このようにして、映像受信装置は、コンテンツ切替が発生した（発生する）可能性を判断し、画像認識処理に係る一連の処理をより低い処理負荷で行うことができる。
また、本実施の形態では、前記認識周期決定部は、前記可能性が存在しないと判断した場合に、前記周期をより大きな値に変更する。
これにより、映像受信装置は、コンテンツ切替が発生した（発生する）可能性が存在しない場合に、部分映像の抽出をより長い時間間隔で行うことで、処理負荷を低減させることができる。
また、本実施の形態では、前記映像受信装置は、通信装置と接続され、さらに表示画面を備え、前記制御部は、前記画像認識装置から画像認識の結果を取得した場合に、当該画像認識の結果に関連する情報である関連情報を前記通信装置から取得し、取得した前記関連情報を前記表示画面に表示する。
これにより、映像受信装置は、画像認識結果に関連する情報を、表示画面を介してユーザに閲覧させることができる。
また、本実施の形態における受信映像の画像認識方法は、画像認識を行う画像認識装置と接続された映像受信装置による受信映像の画像認識方法であって、時間の経過に伴って切り替わるコンテンツを含む映像を受信する映像入力ステップと、受信された前記映像に対する画像認識を繰り返す際の周期を決定する認識周期決定ステップと、決定された前記周期で、前記映像から、当該映像の一部である部分映像を抽出することを繰り返す映像抽出ステップと、前記映像抽出ステップによって前記部分映像が抽出される度に、抽出された前記部分映像を前記画像認識装置に出力し、当該部分映像に対する画像認識の結果を前記画像認識装置から取得する制御を行う制御ステップとを含み、前記認識周期決定ステップでは、前記映像において、前記コンテンツの切り替わりであるコンテンツ切替が発生した可能性、又は、発生する可能性の存否を判断し、前記可能性が存在すると判断した場合に、前記周期をより小さな値に変更する。
これにより、上記の映像受信装置と同様の効果を奏する。
以上、本開示における映像受信装置及び受信映像の画像認識方法の実施の形態について、実施の形態に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、各種変形を実施の形態に施したもの、または、実施の形態における構成要素を組み合わせて構築される別の形態も、本開示に含まれる。
本開示における映像受信装置は、受信した映像を外部の画像認識装置に出力して画像認識の結果を取得する映像受信装置として、例えば、画像認識を利用して映像とともに関連する広告等の情報をリアルタイムに表示するＴＶ等として、利用できる。
１０ コンテンツ認識システム
１２ 放送局
１４ ＳＴＢ
２０ 画像認識装置（サーバ装置）
２１ ＨＴＴＰ送受信部
２２ コンテンツ検索部
２３ コンテンツ格納部
３０ 通信装置
４０ 映像受信装置
４１ 制御部
４２ ＨＴＴＰ送受信部
４３ 操作信号受信部
４４ａ 映像出力部
４４ｂ 表示画面
４５ 映像抽出部
４６ コンテンツ切替検知部
４７ 認識周期決定部
４８ 付加情報格納部
４９ 映像入力部
４９ａ 映像受信部
４９ｂ 第１外部入力部
４９ｃ 第２外部入力部

Claims (12)

  1. 画像認識を行う画像認識装置と接続された映像受信装置であって、
    時間の経過に伴って切り替わるコンテンツを含む映像を受信する映像入力部と、
    受信された前記映像に対する画像認識を繰り返す際の周期を決定する認識周期決定部と、
    決定された前記周期で、前記映像から、当該映像の一部である部分映像を抽出することを繰り返す映像抽出部と、
    前記映像抽出部によって前記部分映像が抽出される度に、抽出された前記部分映像を前記画像認識装置に出力し、当該部分映像に対する画像認識の結果を前記画像認識装置から取得する制御を行う制御部とを備え、
    前記認識周期決定部は、前記映像において、前記コンテンツの切り替わりであるコンテンツ切替が発生した可能性、又は、発生する可能性の存否を判断し、前記可能性が存在すると判断した場合に、前記周期をより小さな値に変更する
    映像受信装置。
  2. 前記認識周期決定部は、前記画像認識装置から取得した前記画像認識の結果に基づいて、前記可能性の存否を判断する
    請求項１記載の映像受信装置。
  3. 前記認識周期決定部は、前記画像認識装置から取得した前記画像認識の結果が広告である場合に、前記可能性が存在すると判断する
    請求項２記載の映像受信装置。
  4. 前記認識周期決定部は、前記画像認識装置から取得した前記画像認識の結果が変化する場合に、前記可能性が存在すると判断する
    請求項２記載の映像受信装置。
  5. さらに、ユーザの操作を示す操作信号を操作部から受信する操作信号受信部を備え、
    前記認識周期決定部は、前記信号受信部が受信した操作信号に基づいて、前記可能性の存否を判断する
    請求項１記載の映像受信装置。
  6. 前記操作信号には、前記操作部の物理的な動きを示す信号が含まれ、
    前記認識周期決定部は、前記操作部が受信した操作信号に基づいて、前記操作部が予め定められた閾値よりも大きな動きをしていると判断した場合に、前記可能性が存在すると判断する
    請求項５記載の映像受信装置。
  7. 前記操作信号には、前記映像に含まれるコンテンツを切り替えるための信号が含まれ、
    前記認識周期決定部は、前記操作部が受信した操作信号に基づいて、前記映像に含まれるコンテンツが切り替えられたと判断した場合に、前記可能性が存在すると判断する
    請求項５記載の映像受信装置。
  8. 前記認識周期決定部は、前記可能性が存在しないと判断した場合に、前記周期をより大きな値に変更する
    請求項２又は５記載の映像受信装置。
  9. 前記映像受信装置は、通信装置と接続され、さらに表示画面を備え、
    前記制御部は、前記画像認識装置から画像認識の結果を取得した場合に、当該画像認識の結果に関連する情報である関連情報を前記通信装置から取得し、取得した前記関連情報を前記表示画面に表示する
    請求項２又は５記載の映像受信装置。
  10. さらに、前記画像認識装置を備える
    請求項２又は５記載の映像受信装置。
  11. 画像認識を行う画像認識装置と接続された映像受信装置による受信映像の画像認識方法であって、
    時間の経過に伴って切り替わるコンテンツを含む映像を受信する映像入力ステップと、
    受信された前記映像に対する画像認識を繰り返す際の周期を決定する認識周期決定ステップと、
    決定された前記周期で、前記映像から、当該映像の一部である部分映像を抽出することを繰り返す映像抽出ステップと、
    前記映像抽出ステップによって前記部分映像が抽出される度に、抽出された前記部分映像を前記画像認識装置に出力し、当該部分映像に対する画像認識の結果を前記画像認識装置から取得する制御を行う制御ステップとを含み、
    前記認識周期決定ステップでは、前記映像において、前記コンテンツの切り替わりであるコンテンツ切替が発生した可能性、又は、発生する可能性の存否を判断し、前記可能性が存在すると判断した場合に、前記周期をより小さな値に変更する
    受信映像の画像認識方法。
  12. 画像認識を行う画像認識装置と接続された映像受信装置のためのプログラムが記録されている非一時的なコンピュータ読み取り可能な記録媒体であって、
    前記プログラムは、請求項１１に記載の画像認識方法に含まれるステップをコンピュータに実行させる
    記録媒体。
JP2013065198A 2013-03-26 2013-03-26 映像受信装置及び受信映像の画像認識方法 Expired - Fee Related JP5838351B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2013065198A JP5838351B2 (ja) 2013-03-26 2013-03-26 映像受信装置及び受信映像の画像認識方法
US13/954,102 US9131184B2 (en) 2013-03-26 2013-07-30 Video reception device and image recognition method for received video

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013065198A JP5838351B2 (ja) 2013-03-26 2013-03-26 映像受信装置及び受信映像の画像認識方法

Publications (2)

Publication Number Publication Date
JP2014192630A true JP2014192630A (ja) 2014-10-06
JP5838351B2 JP5838351B2 (ja) 2016-01-06

Family

ID=51620492

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013065198A Expired - Fee Related JP5838351B2 (ja) 2013-03-26 2013-03-26 映像受信装置及び受信映像の画像認識方法

Country Status (2)

Country Link
US (1) US9131184B2 (ja)
JP (1) JP5838351B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021131304A1 (ja) * 2019-12-25 2021-07-01 株式会社デンソー 解析処理装置、解析処理方法、及び解析処理プログラム

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ITUB20155934A1 (it) * 2015-11-26 2017-05-26 Joshua Mendella sistema e metodo interattivo per la diffusione di messaggi pubblicitari in televisione
CN115002550A (zh) * 2022-05-19 2022-09-02 深圳康佳电子科技有限公司 基于图像识别的视频播放控制方法、终端设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002010237A (ja) * 2000-06-22 2002-01-11 Sony Corp 情報送受信システム及び方法、情報処理装置及び方法
JP2002209204A (ja) * 2000-04-14 2002-07-26 Nippon Telegr & Teleph Corp <Ntt> 放送情報に関連した情報の取得方法及びシステム並びに装置
JP2006237878A (ja) * 2005-02-23 2006-09-07 Sony Corp Ｃｍ付加情報供給方法、ｃｍ付加情報供給装置、ｃｍ付加情報受給装置及びｃｍ付加情報供給システム
JP2011250480A (ja) * 2008-05-28 2011-12-08 Kyocera Corp 通信端末
US20120114233A1 (en) * 2010-11-08 2012-05-10 Sony Corporation Videolens media engine
JP2013070268A (ja) * 2011-09-22 2013-04-18 Sony Corp 受信装置、受信方法、プログラム、及び情報処理システム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6055025A (en) * 1993-12-21 2000-04-25 Lucent Technologies, Inc. Method and apparatus for detecting abrupt and gradual scene changes in image sequences
US8107015B1 (en) * 1996-06-07 2012-01-31 Virage, Incorporated Key frame selection
JPH10214258A (ja) 1997-01-28 1998-08-11 Victor Co Of Japan Ltd データ処理システム
US7712123B2 (en) 2000-04-14 2010-05-04 Nippon Telegraph And Telephone Corporation Method, system, and apparatus for acquiring information concerning broadcast information
JP2004532540A (ja) * 2001-03-05 2004-10-21 インタービデオインコーポレイテッド 誤り耐性のある符号化のためのシステム及び方法
US8312489B2 (en) 2005-02-23 2012-11-13 Sony Corporation CM searching method and apparatus, and CM-appendant information supplying method and apparatus
WO2007017970A1 (ja) * 2005-08-11 2007-02-15 Mitsubishi Denki Kabushiki Kaisha 映像記録装置、シーンチェンジ抽出方法、及び映像音声記録装置
US8433611B2 (en) * 2007-06-27 2013-04-30 Google Inc. Selection of advertisements for placement with content
JP2009038793A (ja) 2007-07-11 2009-02-19 Panasonic Corp 情報処理サーバ、番組受信端末、番組関連情報提供方法及び番組関連情報描画方法
US8311390B2 (en) * 2008-05-14 2012-11-13 Digitalsmiths, Inc. Systems and methods for identifying pre-inserted and/or potential advertisement breaks in a video sequence
US8582952B2 (en) * 2009-09-15 2013-11-12 Apple Inc. Method and apparatus for identifying video transitions
US8805827B2 (en) * 2011-08-23 2014-08-12 Dialogic (Us) Inc. Content identification using fingerprint matching

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002209204A (ja) * 2000-04-14 2002-07-26 Nippon Telegr & Teleph Corp <Ntt> 放送情報に関連した情報の取得方法及びシステム並びに装置
JP2002010237A (ja) * 2000-06-22 2002-01-11 Sony Corp 情報送受信システム及び方法、情報処理装置及び方法
JP2006237878A (ja) * 2005-02-23 2006-09-07 Sony Corp Ｃｍ付加情報供給方法、ｃｍ付加情報供給装置、ｃｍ付加情報受給装置及びｃｍ付加情報供給システム
JP2011250480A (ja) * 2008-05-28 2011-12-08 Kyocera Corp 通信端末
US20120114233A1 (en) * 2010-11-08 2012-05-10 Sony Corporation Videolens media engine
JP2013070268A (ja) * 2011-09-22 2013-04-18 Sony Corp 受信装置、受信方法、プログラム、及び情報処理システム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021131304A1 (ja) * 2019-12-25 2021-07-01 株式会社デンソー 解析処理装置、解析処理方法、及び解析処理プログラム
JP2021103470A (ja) * 2019-12-25 2021-07-15 株式会社デンソー 解析処理装置、解析処理方法、及び解析処理プログラム
JP7143836B2 (ja) 2019-12-25 2022-09-29 株式会社デンソー 解析処理装置、解析処理方法、及び解析処理プログラム

Also Published As

Publication number Publication date
US9131184B2 (en) 2015-09-08
JP5838351B2 (ja) 2016-01-06
US20140293129A1 (en) 2014-10-02

Similar Documents

Publication Publication Date Title
JP5820986B2 (ja) 映像受信装置及び受信映像の画像認識方法
US10375440B2 (en) Display device, server, and method of controlling the display device
JP5768134B2 (ja) 放送コンテンツに関連したコンテンツ関連情報を提供するシステム及び方法
US20150026718A1 (en) Systems and methods for displaying a selectable advertisement when video has a background advertisement
US10019058B2 (en) Information processing device and information processing method
US9615127B2 (en) Systems and methods for recording content from a different source when previous content runs over
WO2009088669A1 (en) Systems and methods for determining attributes of media items accessed via a personal media broadcaster
US10114893B2 (en) Method and system for information querying
US20200213676A1 (en) Systems, methods, and devices supporting scene-based search functionalities
JP6281126B2 (ja) 映像受信装置、付加情報表示方法および付加情報表示システム
US20060161854A1 (en) Method and apparatus for controlling operation of screen saver during reproduction of content
US9525912B1 (en) Systems and methods for selectively triggering a biometric instrument to take measurements relevant to presently consumed media
US20220150293A1 (en) Determining Location Within Video Content for Presentation to a User
JP6379362B2 (ja) 映像受信装置、パラメータ設定方法および付加情報表示システム
JP5838351B2 (ja) 映像受信装置及び受信映像の画像認識方法
US11711557B2 (en) Systems, methods, and devices supporting scene change-based smart search functionalities
KR20160117933A (ko) 검색을 수행하는 디스플레이 장치 및 이의 제어 방법
JP2013141050A (ja) コンテンツ推薦サーバ、コンテンツ表示端末、およびコンテンツ推薦システム
US20120222079A1 (en) Information procesing apparatus, broadcast receiving apparatus and information processing method
JP4938384B2 (ja) 動画像データ配信システム、動画像データ提供方法、動画像データ配信プログラム、動画像データ提供プログラム及びそれらのプログラムを記録したコンピュータ読み取り可能な記録媒体
US20160165299A1 (en) Apparatus and method for facilitating channel control on a paired device
US20190379920A1 (en) Method and system for creating a customized video associated with an advertisement
CN108093289B (zh) 一种推广信息规避方法及装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140728

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20141008

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150128

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150317

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150515

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150602

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150612

R151 Written notification of patent or utility model registration

Ref document number: 5838351

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees