JP2011097195A - Ａｖリモコン装置 - Google Patents

Abstract

【課題】GコードやＵＲＬなどの識別文字をペン型の読取装置にて光学的に読取り、ＴＶ番組の録画予約等を実現する技術においては、最初や最後の識別文字列が的確にスキャンできない事態が想定される。また、複数の録画予約等を実行するために、何度もスキャン処理を行なう必要があり、不便であるという課題がある。
【解決手段】本発明は、撮影により画像を取得してその画像を所定の認識ルールで文字認識することにより、その画像中に含まれている一以上のコードを抽出し、これに基づいて録画予約、視聴予約が可能となるＡＶリモコン装置を提案するものである。
【選択図】 図２

Description

本発明は、撮影により画像を取得してその画像を所定の認識ルールで文字認識することにより、その画像中に含まれている一以上のコードを抽出し、これに基づいて録画予約、視聴予約が可能となるＡＶリモコン装置に関するものである。

GコードやＵＲＬなどの識別文字を光学的に読取り、ＴＶ番組の録画予約等を実現する技術はすでに特許文献１に開示されている。特許文献１には、利用者が主にペン型の読取装置にて必要な識別文字列を逐一スキャンするものが提案されている。
特開平１０−５１７２５号公報

しかしながら、上記特許文献１においては、最初や最後の識別文字列が的確にスキャンできない事態が想定される。このとき、誤った録画予約が実行されたり、利用者が何度もスキャン操作をやり直したりする不都合が生じうる。

また、複数の録画予約等を実行するために、何度もスキャン処理を行なう必要があり、不便であるという課題がある

本発明はかかる実情に鑑みて、撮影により画像を取得してその画像を所定の認識ルールで文字認識することにより、その画像中に含まれている一以上のコードを抽出し、これに基づいて録画予約、視聴予約が可能となるＡＶリモコン装置を提案するものである。

本件発明に係るＡＶリモコン装置においては、抽出したいコードが含まれる一定範囲をまとめて撮影すればよく、従来のような抽出したいコードのみに焦点をあわせる厳密さが要求されないため、利用しやすいという効果を有する。また、一定範囲に含まれる複数コードが抽出されるため、複数件の録画等の処理が簡単、迅速に可能となる。さらに、ＡＶリモコン装置の表示画面に抽出したコードを選択可能に表示させる場合には、遠くのモニタでは文字が視認しづらい年配者にとっては、手元で情報が確認でき便利である。

以下に、各発明を実施するための最良の形態を説明する。なお、本発明はこれら実施の形態に何ら限定されるものではなく、その要旨を逸脱しない範囲において、種々なる態様で実施しうる。実施形態１は、主に請求項１から３、６などについて説明する。実施形態２は、主に請求項４などについて説明する。実施形態３は、主に請求項５などについて説明する。

また、以下に記載する各機能ブロックは、ハードウェア、またはメモリ上に展開しハードウェアを制御することでその作用が得られるソフトウェア、またはハードウェア及びソフトウェアの両方として実現されうる。具体的には、コンピュータを利用するものであれば、ＣＰＵ、メモリ、ハードディスクドライブ、ＣＤ−ＲＯＭ／ＤＶＤ−ＲＯＭなどの読み取りドライブ、各種通信用の送受信ポート・インターフェイス・その他の周辺装置などのハードウェア構成部、それらハードウェアを制御するためのドライバプログラム、その他アプリケーションプログラムなどが挙げられる。

さらに、この発明は装置またはシステムとして実現できるのみでなく、方法としても実現可能である。またこのような発明の一部をソフトウェアとして構成することもできる。さらにそのようなソフトウェアをコンピュータに実行させるために用いるソフトウェア製品、及び同製品を固定した記録媒体も、当然にこの発明の技術的な範囲に含まれる（本明細書の全体を通じて同様である。）

<<実施形態１>>

<実施形態１：概要> 本実施形態は、撮影により画像を取得してその画像を所定の認識ルールで文字認識することにより、その画像中に含まれている一以上のコードを抽出し、これに基づいて録画予約、視聴予約が可能となるＡＶリモコン装置である。

図１は、本実施形態のＡＶリモコン装置の一例を示すものである。本件のＡＶリモコン装置はカメラを装備しており、新聞や雑誌などの誌面の一定範囲をまとめて撮影することができる。図の（ａ）は、ＡＶリモコン装置のカメラで撮影した新聞のテレビ欄の一部を示したものである。今、ＡＶリモコン装置は、所定の桁数以上の数字をＧコードと認識するとのルールを認識ルールとして保持しているとする。ＡＶリモコン装置は、この認識ルールに基づいて、コード抽出処理を実行する。図の（ｂ）は、コード抽出処理の実行にて抽出された６つのコードが表示されたＡＶリモコン装置の表示画面である。利用者は、表示された複数のコードから任意に選択を行い、操作対象のＡＶ装置に送信を行なうことで、録画予約／視聴等の処理を実行できる。また、図の（ｂ）では、表示画面の下部に選択したコードに対応するＡＶコンテンツの放送時間、タイトルなどの紹介情報を合わせて表示する態様の一例を示した。これについては、本実施形態の構成３にて詳述する。なお、図で示したものは一例であり、これに限定されるものではない。

<実施形態１：構成１> 図２は、本実施形態におけるＡＶリモコン装置の機能ブロックの一例を示したものである。図２に示す本実施形態の「ＡＶリモコン装置」（０２００）は、「カメラ部」（０２０１）と、「コード抽出部」（０２０２）と、「認識ルール保持部」（０２０３）と、「選択出力部」（０２０４）と、「通信部」（０２０５）と、からなる。

また、図３は、図２で示したＡＶリモコン装置にさらに「表示画面部」（０３０６）を備えた機能ブロックの一例を示したものである。構成要件０３００〜０３０５については、対応する０２００〜０２０５と同様である。

（ＡＶリモコン装置 ０２００） 「ＡＶリモコン装置」（０２００）は、信号を送信し、操作対象となる装置を遠隔操作可能な装置一般を広く含む。本件のＡＶリモコン装置は、後述するようにカメラを備えている点で、一般的なリモコン装置とは異なる。

また、ＡＶリモコン装置と、このＡＶリモコン装置によって操作されるＡＶ装置とで、ＡＶシステムが構築される場合もある。ＡＶ装置は、テレビ、コンテンツ録画／再生装置、ＳＴＢ、インターネットブラウザ機能を有するコンピュータ、カーオーディオ、ラジオなどが該当する。このとき、ＡＶ装置には、ＡＶリモコン装置から送信される録画予約等の情報や、ＡＶリモコン装置で撮影した画像を映すことができるとしてもよい。このＡＶシステムでは、ＡＶ装置をＬＡＮ接続することにより、テレビ電話として使用可能となる場合がある。なお、ＡＶリモコン装置と、ＡＶ装置とは、着脱可能な配線で有線接続される場合もある。

（カメラ部 ０２０１） 「カメラ部」（０２０１）は、新聞や雑誌などの誌面の一定範囲をまとめて撮影する。一定範囲は、コード（Ｇコード、ＱＲコード、バーコード、ＵＲＬ等）を含む領域であれば、その他に文字列、画像などを含んでいてもよい。カメラ部は、いわゆる写真撮影用のカメラであり、ある程度（後述するコード抽出処理が可能な解像度、サイズ等）の近接撮影が可能な能力を有する。この点で、バーコードリーダーとは異なる。なお、カメラ部では、モノクロ、カラーのいずれかで撮影可能であればよく、また、動画で撮影がなされてよい。動画撮影は、例えば、新聞や雑誌などの誌面の撮影範囲を移動させながら動画で撮影を行う場合などが例示でき、これによって誌面を網羅的に撮影可能となる。

（コード抽出部 ０２０２） 「コード抽出部」（０２０２）は、カメラ部（０２０１）から前記誌面の一定範囲の画像を取得してその画像を所定の認識ルールで文字認識することにより、その画像中に含まれている一以上のコードを抽出する。コードは、Ｇコード、ＱＲコード、バーコード、ＵＲＬ等が例示できる。

コード抽出の前段階として、画像からの文字認識処理が実行される。文字認識処理は、まず、読み込んだ原画像から、色の濃淡で文字部分を粗く抽出し、背景を除去する。続いて、ノイズや低解像度のために劣化・欠落した画素が出現するため、隣接する画素から予測して新しい画素で補完する。さらに、所定の閾値にしたがって、モノクロに変換して、文字が抽出され、文字認識データベースとの照合が行われて、文字認識処理が完了する。本件の文字認識処理では、英数字、かな文字の他に、後述するようにＱＲコードの検出のための切り出しシンボルや、バーコードの検出のための縞模様状のバーが認識されることが必要なため、文字認識データベースに、これらに対応するパターンが保持されていることが望ましい。

（認識ルール保持部 ０２０３） 「認識ルール保持部」（０２０３）は、認識ルールを保持する。認識ルールとは、画像からコードを抽出するためのルールである。以下に、抽出すべきコード別に、認識ルールの一例を示す。

Ｇコードは、予約録画する場合に必要な日付、チャンネル、番組開始時間、番組の長さの４つの要素を圧縮コーディング技術により、最大８桁の数字に置き換えた数字列である。Ｇコードは最小１桁から最大８桁までの数字であるが、テレビ番組欄には年号、時間等の数字列が記載されており、これらがＧコードとして抽出されることを防止するために、一定数以上の数字列（例えば５桁以上など）を認識ルールとするとしてもよい。

ＱＲコードは、白と黒の格子状のパターンで情報を表すマトリックス型２次元コードである。三隅には「回」の字型の切り出しシンボルが配置されているため、この切り出しシンボルの検出を認識ルールとするとしてもよい。

バーコードは、縞模様状の線の太さによって数値や文字を表す識別子である。太さの異なるバーの複数の検出を認識ルールとするとしてもよい。

ＵＲＬは、インターネット上のリソース（資源）を特定するための形式的な記号の並びである。ＵＲＬは、（スキーム名）：（スキームごとに定められた表現形式）という形式で記述されるため、このスキーム名（例えば、ｈｔｔｐなど）の検出を認識ルールとするとしてもよい。

（選択出力部 ０２０４） 「選択出力部」（０２０４）は、抽出したコードを利用者に選択可能に表示する出力をするための処理を行なう。出力は、リモコン操作対象であるＡＶ装置に対して出力するとしてもよい。あるいは、後述する「表示画面部」（０３０６）に対して行なわれるとしてもよい。利用者が、表示されたコードを視認して、所定のキー操作などによって、選択されている状態を示す網掛け模様が移動させ、選択処理を実行することができる。また、複数のコードを同時に選択することができる場合もある。

（通信部 ０２０５） 「通信部」（０２０５）は、選択されたコードから得られる情報を含む信号を送信するための処理を行なう。利用者は選択出力部から表示出力されたコードを視認して、選択処理を実行することで、選択したコードが確定する。このとき、選択されたコードには、各種の情報が紐付けられている場合がある。選択されたコードから得られる情報とは、これらの情報のことで、後述するＡＶコンテンツ紹介情報（ＡＶコンテンツのタイトル、概要、放送日、チャネル、番組開始時間、番組の長さなど）の他、コード自体が含まれる場合もある。選択されたコードから得られる情報を含む信号がリモコン操作対象であるＡＶ装置に対して送信される。

送信された信号は、ＡＶ装置によって受信される。ＡＶ装置では、受信した信号に基づいて、録画・視聴予約／再生処理、あるいはこれらの処理をキャンセルする処理などを実行する。また、ＡＶ装置は、ＤＶＤの再生や、オンデマンドによる配信ＡＶコンテンツのストリーム再生、ラジオ放送の録音・再生などの処理を実行する場合もある。

なお、送信された信号は、送信後ＡＶリモコン装置内から直ちには消去されない場合もある。つまり、選択コードやこれに紐付けられた各種情報、指定の処理の識別情報などが一定期間保持されていることで、処理を再試行する必要が生じた場合などに利便性が高い。また、選択したコードと、その処理内容などの情報は操作日時とともに履歴として保持し、ＡＶ装置に対して送信されるとしてもよい。

<実施形態１：構成２> 図３は、図２で示したＡＶリモコン装置に、さらに「表示画面部」（０３０６）を備えた機能ブロックの一例を示したものである。構成要件０３００〜０３０５については、対応する０２００〜０２０５と同様であるため、説明は省略する。

（表示画面部 ０３０６） 「表示画面部」（０３０６）は、選択出力部（０３０４）からの表示の出力を表示する。利用者は、表示されたコードを手元のＡＶリモコン装置に備えられた表示画面で視認して、選択処理を実行することができる。

<実施形態１：構成３> 図４は、図２で示したＡＶリモコン装置に、さらに「ＡＶコンテンツ紹介情報取得部」（０４０６）を有し、「選択出力部」（０４０４）に「ＡＶコンテンツ紹介情報表示出力手段」（０４０７）を備えた機能ブロックの一例を示したものである。また、これに加えて、図示していないが「表示画面部」をさらに有する場合もある。構成要件０４００〜０４０５については、対応する０２００〜０２０５と同様であるため、説明は省略する。

（ＡＶコンテンツ紹介情報取得部 ０４０６） 「ＡＶコンテンツ紹介情報取得部」（０４０６）は、コード抽出部（０４０２）にて抽出されたコードであるＡＶコンテンツＩＤで識別されるＡＶコンテンツ紹介情報を取得する。ＡＶコンテンツＩＤとは、ＡＶコンテンツを識別するために定められた一定のルールで記述される識別情報をいい、コードとほぼ同義である。ただしコードの方が、ＱＲコードやバーコードなど文字列でないものを含む点で広範である。

認識ルール保持部に保持されている認識ルールがＡＶコンテンツＩＤを識別するためのルールである場合には、コード抽出部において抽出されたコードは、さらにＡＶコンテンツＩＤと読み替えられる場合がある。抽出されたコードは、ＡＶコンテンツＩＤと同一な場合もある（例えば、Ｇコードなど文字列で表される場合など）が、異なる場合もある。後者の例としては、例えばコードがＱＲコードであるとき、ＱＲコードで示されたアドレスのＷｅｂページを識別するためのＡＶコンテンツＩＤで読み替えられる場合がある。続いては、得られたＡＶコンテンツＩＤで識別されるＡＶコンテンツ紹介情報を取得する。

ＡＶコンテンツ紹介情報は、ＡＶコンテンツＩＤで識別されるＡＶコンテンツの紹介情報である。ＡＶコンテンツ紹介情報は、ＡＶコンテンツＩＤに紐付けられた各種の情報のことで、ＡＶコンテンツのタイトル、概要、放送日、チャネル、番組開始時間、番組の長さ、関連するＷｅｂサイトのＵＲＬ、関連する他のコンテンツのＡＶコンテンツＩＤ、出演者情報、予告編（プレビュー）映像などが例示できる。

ＡＶコンテンツ紹介情報は、ＡＶコンテンツ紹介情報を蓄積しているサーバ装置（ＥＰＧサーバなど）から取得することを想定している。サーバ装置は、インターネットで接続された外部のサーバの場合もあるし、ＡＶ装置がサーバ装置の機能を果たす場合もある。外部からＡＶコンテンツ紹介情報を取得する際に情報源となるのはＡＶコンテンツの提供会社などを想定している。

また、ＡＶコンテンツ紹介情報の取得の流れとしては、具体的には、コードの抽出処理の実行によってＡＶコンテンツＩＤがサーバ装置へと送信され、これがＡＶコンテンツ紹介情報の送信要求となる。サーバ装置からＡＶコンテンツＩＤに紐付けられたＡＶコンテンツ紹介情報が送信され、これを受信することによってＡＶコンテンツ紹介情報が取得できる。その他にも、利用者の選択処理の実行によってＡＶコンテンツＩＤがサーバ装置へと送信される場合も想定される。また、予め（一定時間ごとに）サーバ装置から全ＡＶコンテンツ紹介情報を受信しておき、ＡＶリモコン装置やＡＶ装置内などに保持しておくとしてもよい。

（ＡＶコンテンツ紹介情報表示出力手段 ０４０７） 「ＡＶコンテンツ紹介情報表示出力手段」（０４０７）は、取得したＡＶコンテンツ紹介情報を抽出したコードを利用者に選択可能に表示する画面に、前記コードと合わせて該当するＡＶコンテンツ紹介情報を表示するように出力する。出力は、リモコン操作対象であるＡＶ装置に対して出力される場合もあるし、ＡＶリモコン装置の表示画面部に対して行なわれるとしてもよい。図１の（ｂ）に、表示画面の下部に選択したコードに対応するＡＶコンテンツの放送時間、タイトルなどの紹介情報を合わせて表示する態様の一例を示した。利用者が、表示されたコードと、これに対応する紹介情報を視認しながら、選択処理を実行することができる。

<実施形態１：ハードウェア構成> 図５は、本実施形態のハードウェア構成の一例を示す概略図である。この図を利用して、ＡＶリモコン装置の処理実行におけるそれぞれのハードウェア構成部の働きについて説明する。ＡＶリモコン装置（０５００）は、「ＣＰＵ（中央演算装置）」（０５０１）と、「ＲＯＭ（記憶装置）」（０５０２）と、「ＲＡＭ（メインメモリ）」（０５０３）と、「Ｉ／Ｏ（入出力インターフェイス）」（０５０４）と、を備える。さらに、「ディスプレイ」（０５０５）を備える場合もある。これらは、「システムバス」（０５０６）などのデータ通信経路によって相互に接続され、情報の送受信や処理を行う。

ＲＯＭ（０５０２）は、ＣＰＵ（０５０１）にて実行される各種プログラムや（アドレス０１〜０４）、認識ルール（アドレス０５）、文字認識データベース（アドレス０６）などを記憶している。また、ＲＡＭ（０５０３）はＲＯＭに記憶されているプログラムを実行するために、そのプログラムを読み出して展開する領域であるワーク領域（アドレス１１〜１４）と、データなどを一時的に格納するデータ領域（アドレス１００〜３００）とを提供する。さらに、このＲＯＭやＲＡＭにはそれぞれ複数のメモリアドレスが割り当てられており、ＣＰＵで実行されるプログラムは、そのメモリアドレスを特定しアクセスすることで相互にデータのやり取りを行い、処理することが可能となっている。以上が各ハードウェア構成の機能である（本明細書において同様である。）。

まず、ＡＶリモコン装置の電源を入れた状態では、ＲＯＭに記憶されている撮影プログラムと、コード抽出プログラムと、選択出力プログラムと、通信プログラムと、がＲＡＭのワーク領域（アドレス１１〜１４）にそれぞれ展開されている。カメラ部の起動がトリガとなり、ＣＰＵはＲＡＭのワーク領域に展開された撮影プログラムを実行する。撮影プログラムは、カメラ部における処理を実行する。撮影プログラムは、Ｉ／Ｏ（入力インターフェイス）を介するなどして、撮影した画像を取得すると、一旦ＲＡＭのデータ領域（アドレス１００）などに格納しておく。

画像がＲＡＭに格納されたことがトリガとなり、ＲＡＭのワーク領域に展開されたコード抽出プログラムがＣＰＵによって実行される。コード抽出プログラムは、コード抽出部における処理を実行する。コード抽出プログラムは、画像からの文字認識処理を実行する。具体的には、まずＲＡＭに格納された画像を読み出し、画像を構成する各画素の明度に応じて、一段階目の文字抽出処理を実行する。このとき欠落した画素については、隣接画素から予測して新しい画素で補完する。次に、所定の閾値にしたがって、モノクロに変換することで、ニ段階目の文字抽出処理を実行する。次に、ＲＯＭに記憶されている文字認識データベースとの比較照合を行うことで、文字認識処理を実現する。得られた文字列は、ＲＯＭから読み出した認識ルールに従ってコードを抽出する。例えば、５桁以上の数字から構成される文字列をコードとするとの認識ルールがある場合に、文字認識処理にて得られたもののうち、この認識ルールを満たす文字列のみを抽出する。抽出したコードは一旦ＲＡＭのデータ領域（アドレス２００）などに格納しておく。

コードがＲＡＭに格納されたことがトリガとなり、ＲＡＭのワーク領域に展開された選択出力プログラムがＣＰＵによって実行される。選択出力プログラムは、選択出力部における処理を実行する。選択出力プログラムは、抽出したコードを利用者に選択可能に表示する出力をするための処理を行なう。具体的には、ＲＡＭに格納されたコードを読み出し、グラフィックメモリ（図では省略）に対して出力されることでコードがディスプレイ（０５０５）に表示される。あるいは、Ｉ／Ｏ（出力インターフェイス）を介するなどして、リモコン操作対象であるＡＶ装置に対して出力される場合もある。

なお、選択出力プログラムの実行時に、コードと合わせてＡＶコンテンツ紹介情報を表示するように出力することもある。これは、コードの抽出プログラムの完了がトリガとなり、ＡＶコンテンツ紹介情報の送信要求がＩ／Ｏ（出力インターフェイス）を介してサーバ装置へと送信される。このとき、抽出されたコード（ＡＶコンテンツＩＤ）もサーバ装置へと送信され、サーバ装置から返送された、コード（ＡＶコンテンツＩＤ）に紐付けられたＡＶコンテンツ紹介情報を取得できる。その他にも、予め（一定時間ごとに）サーバ装置から全ＡＶコンテンツ紹介情報を受信しておき、ＡＶリモコン装置やＡＶ装置のＲＯＭなどに保持しておくとしてもよい。取得したＡＶコンテンツ紹介情報は、一旦ＲＡＭのデータ領域（アドレス３００）などに格納しておいて、コードとともにグラフィックメモリ（図では省略）に対して出力されることでディスプレイに表示される。あるいは、Ｉ／Ｏ（出力インターフェイス）を介するなどして、リモコン操作対象であるＡＶ装置に対して出力される場合もある。

次に、利用者の操作によって、Ｉ／Ｏ（入力インターフェイス）を介するなどして、選択されたコードを受け付けたとする。受け付けた選択コードは、一旦ＲＡＭのデータ領域（アドレス２５０）などに格納しておく。これがトリガとなり、ＲＡＭのワーク領域に展開された通信プログラムがＣＰＵによって実行される。通信プログラムは、通信部における処理を実行する。通信プログラムは、選択コードから得られる情報を含む信号を送信するための処理を行なう。具体的には、利用者の選択操作の受け付けがトリガとなり、ＲＡＭ（アドレス３００）に格納されているＡＶコンテンツ紹介情報が読み出され、Ｉ／Ｏ（出力インターフェイス）を介して、リモコン操作対象であるＡＶ装置に対して出力される。

ここで、ＡＶコンテンツ紹介情報が取得できていない場合には、利用者の選択操作の受け付けがトリガとなり、ＡＶコンテンツ紹介情報の送信要求がＩ／Ｏ（出力インターフェイス）を介してサーバ装置へと送信される場合もある。このとき、選択コードもサーバ装置へと送信され、サーバ装置から返送された、コード（ＡＶコンテンツＩＤ）に紐付けられたＡＶコンテンツ紹介情報を取得できる。取得したＡＶコンテンツ紹介情報は一旦ＲＡＭのデータ領域（アドレス３００）などに格納しておいて、Ｉ／Ｏ（出力インターフェイス）を介して、リモコン操作対象であるＡＶ装置に対して出力される。

<実施形態１：処理の流れ１> 図６は、本実施形態のＡＶリモコン装置における処理の流れの一例を示したものである。なお、以下に示す処理の流れは、計算機に実行させるためのプログラムで実行することができ、またこのプログラムを計算機によって読取り可能な記録媒体に記録することができる。（本明細書のその他の処理の流れについても同様である。）

まず、ＡＶリモコン装置は、新聞や雑誌などの誌面の一定範囲をまとめて撮影する（Ｓ０６０１）。次に、前記誌面の一定範囲の画像を取得してその画像を所定の認識ルールで文字認識することにより、その画像中に含まれている一以上のコードを抽出する（Ｓ０６０２）。その次に、抽出したコードを利用者に選択可能に表示する出力をするための処理を行なう（Ｓ０６０３）。続いて、利用者の選択操作に基づいて、選択コードを受け付ける（Ｓ０６０４）。最後に、受け付けた選択コードから得られる情報を含む信号を送信するための処理を行なう（Ｓ０６０５）。

<実施形態１：処理の流れ２> なお、コードと合わせて該当するＡＶコンテンツ紹介情報を表示する場合の処理の流れの一例を図７に示した。

誌面の一定範囲をまとめて撮影するステップ（Ｓ０７０１）と、取得した画像を所定の認識ルールで文字認識することにより、その画像中に含まれている一以上のコードを抽出するステップ（Ｓ０７０２）については、上記と同様である。次に、抽出されたコードであるＡＶコンテンツＩＤで識別されるＡＶコンテンツの紹介情報であるＡＶコンテンツ紹介情報をサーバ装置などから取得する（Ｓ０７０３）。その次に、抽出したコードを利用者に選択可能に表示する出力をするための処理を行なう。このとき、抽出したコードを利用者に選択可能に表示する画面に、前記コードと合わせてＳ０７０３にて取得した該当するＡＶコンテンツ紹介情報を表示するように出力する（Ｓ０７０４）。続いて、利用者の選択操作に基づいて、選択コードを受け付ける（Ｓ０７０５）。最後に、受け付けた選択コードから得られる情報を含む信号を送信するための処理を行なう（Ｓ０７０６）。

<実施形態１：効果> 本件発明に係るＡＶリモコン装置においては、抽出したいコードが含まれる一定範囲をまとめて撮影すればよく、従来のような抽出したいコードのみに焦点をあわせる厳密さが要求されないため、利用しやすいという効果を有する。また、一定範囲に含まれる複数コードが抽出されるため、複数件の録画等の処理が簡単、迅速に可能となる。さらに、ＡＶリモコン装置の表示画面に抽出したコードを選択可能に表示させる場合には、遠くのモニタでは文字が視認しづらい年配者にとっては、手元で情報が確認でき便利である。
<<実施形態２>>

<実施形態２：概要> 本実施形態は、録画失敗等を示す情報である応答情報をリモコン操作対象であるＡＶ装置から受信し、利用者に知らせるために出力することに特徴を有するＡＶリモコン装置である。

<実施形態２：構成> 図８は、本実施形態におけるＡＶリモコン装置の機能ブロックの一例を示したものである。図８に示す本実施形態の「ＡＶリモコン装置」（０８００）は、「カメラ部」（０８０１）と、「コード抽出部」（０８０２）と、「認識ルール保持部」（０８０３）と、「選択出力部」（０８０４）と、「通信部」（０８０５）と、さらに、「応答情報出力部」（０８０６）と、からなる。また、通信部（０８０５）は、「応答情報受信手段」（０８０７）を有する。構成要件０８００〜０８０５については、対応する０２００〜０２０５と同様であるため、説明は省略する。

なお、上記構成要件に加えてさらに、表示画面部や、ＡＶコンテンツ紹介情報取得部、選択出力部にＡＶコンテンツ紹介情報表示出力手段を有する場合もある。

（応答情報受信手段 ０８０７） 「応答情報受信手段」（０８０７）は、応答情報をリモコン操作対象であるＡＶ装置から受信する。応答情報は、選択され、送信されたコードから得られる情報を含む信号に関連付けられた情報であり、具体的には録画予約が実行できなかった場合などのアラームなどが該当する。つまり、利用者にて選択されたコードから得られる情報を含む信号として録画予約などが操作対象のＡＶ装置へ送信された際に、その処理が完了したかどうかを通知するために応答情報が返送される。応答情報には、処理が未完である旨の応答だけでなく、処理が完了した旨の応答も含まれる場合がある。また、処理が未完である旨の応答情報には、ＡＶ装置側の不備（容量不足、蓄積媒体の未挿入、電源ＯＦＦなど）だけでなく、ＡＶリモコン装置側の不備（予約の重複、操作ミスなど）が含まれる場合もある。

（応答情報出力部 ０８０６） 「応答情報出力部」（０８０６）は、受信した応答情報を利用者に知らせるために出力する。ＡＶリモコン装置の表示画面部に対して文字等で表示して行なわれるとしてもよい。あるいは、ＡＶリモコン装置に装備されたＬＥＤなどの点滅、色の変化や、音声により出力される場合もある。

<実施形態２：ハードウェア構成> 図９は、本実施形態のハードウェア構成の一例を示す概略図である。この図を利用して、ＡＶリモコン装置の処理実行におけるそれぞれのハードウェア構成部の働きについて説明する。ＡＶリモコン装置（０９００）は、「ＣＰＵ（中央演算装置）」（０９０１）と、「ＲＯＭ（記憶装置）」（０９０２）と、「ＲＡＭ（メインメモリ）」（０９０３）と、「Ｉ／Ｏ（入出力インターフェイス）」（０９０４）と、を備える。さらに、「ディスプレイ」（０９０５）を備える場合もある。ハードウェア構成これらは、「システムバス」（０９０６）などのデータ通信経路によって相互に接続され、情報の送受信や処理を行う。概ねのハードウェア構成は実施形態１と同様であるため、追加のある部分のみ説明する。

ＲＯＭ（０９０２）は、ＣＰＵ（０９０１）にて実行される各種プログラムや（アドレス０１〜０５）、認識ルール（アドレス０６）、文字認識データベース（アドレス０７）などを記憶している。また、ＲＡＭ（０９０３）はＲＯＭに記憶されているプログラムを実行するために、そのプログラムを読み出して展開する領域であるワーク領域（アドレス１１〜１５）と、データなどを一時的に格納するデータ領域（アドレス１００〜４００）とを提供する。

通信プログラムは、選択コードから得られる情報を含む信号を送信するための処理を行なう。このとき、信号として録画予約などがＡＶ装置に対して送られるが、ＡＶ装置からは処理が実行の可否などを通知するために応答情報が返送される。ＡＶリモコン装置は、応答情報をＩ／Ｏ（入力インターフェイス）を介して取得すると、一旦ＲＡＭのデータ領域（アドレス４００）などに格納しておく。

応答情報がＲＡＭに格納されたことがトリガとなり、ＲＡＭのワーク領域に展開された応答情報出力プログラムがＣＰＵによって実行される。応答情報出力プログラムは、応答情報出力部における処理を実行する。応答情報出力プログラムは、受信した応答情報を利用者に知らせるために出力する。具体的には、ＲＡＭに格納された応答情報を読み出し、グラフィックメモリ（図では省略）に対して出力されることで応答情報がＡＶリモコン装置のディスプレイ（０９０５）に表示される。あるいは、ＬＥＤやスピーカー（図では省略）に対して出力されることで応答情報がＬＥＤの点滅や音声によって出力される場合もある。

<実施形態２：処理の流れ> 図１０は、本実施形態のＡＶリモコン装置における処理の流れの一例を示したものである。

まず、ＡＶリモコン装置は、新聞や雑誌などの誌面の一定範囲をまとめて撮影する（Ｓ１００１）。次に、前記誌面の一定範囲の画像を取得してその画像を所定の認識ルールで文字認識することにより、その画像中に含まれている一以上のコードを抽出する（Ｓ１００２）。その次に、抽出したコードを利用者に選択可能に表示する出力をするための処理を行なう（Ｓ１００３）。その次に、利用者の選択操作に基づいて、選択コードを受け付ける（Ｓ１００４）。続いて、受け付けた選択コードから得られる情報を含む信号を送信するための処理を行なう（Ｓ１００５）。ここまでは、実施形態１で示した処理の流れと同様であるが、ＡＶ装置から応答情報を受信した場合には、以降の処理が実行される。

まずは、応答情報を受信する（Ｓ１００６）。次に、受信した応答情報を利用者に知らせるために出力する（Ｓ１００７）。

<実施形態２：効果> 本件発明に係るＡＶリモコン装置においては、応答情報の通知を受けた利用者が必要に応じて再試行できるため、確実に処理予約が実現され、信頼性が高い。
<<実施形態３>>

<実施形態３：概要> 本実施形態は、カメラ部での誌面の一定範囲の撮影を続けながらコード抽出部での抽出を同時並行して処理されている際に、コード抽出部での抽出処理状況を示す情報を生成し、出力することに特徴を有するＡＶリモコン装置である。

図１１は、本実施形態のＡＶリモコン装置の一例を示すものである。本件のＡＶリモコン装置はカメラで新聞や雑誌などの誌面の一定範囲をまとめて撮影する際に、コード抽出部での抽出を同時並行して処理し、その抽出処理状況を示す情報を生成し、出力する。図は、ＡＶリモコン装置のカメラでＱＲコードを撮影している場面を示したものである。図の（ａ）では、ＱＲコードの一部が撮影範囲に収まっていないために、コード抽出処理が開始できない状況である。この状況を、例えば、ＡＶリモコン装置のＬＥＤが点滅することで、利用者に通知するとしてもよい。また、図の（ｂ）では、ＱＲコードの全体が撮影範囲に収まっており、コード抽出処理が実行可能な状況である。この状況は、例えば、ＡＶリモコン装置のＬＥＤが点灯することで、利用者に通知するとしてもよい。なお、図で示したものは一例であり、これに限定されるものではない。

<実施形態３：構成> 図１２は、本実施形態におけるＡＶリモコン装置の機能ブロックの一例を示したものである。図１２に示す本実施形態の「ＡＶリモコン装置」（１２００）は、「カメラ部」（１２０１）と、「コード抽出部」（１２０２）と、「認識ルール保持部」（１２０３）と、「選択出力部」（１２０４）と、「通信部」（１２０５）と、さらに、「並行処理制御部」（１２０６）と、「抽出処理状況出力部」（１２０７）と、からなる。構成要件１２００〜１２０５については、対応する０２００〜０２０５と同様であるため、説明は省略する。

なお、上記構成要件に加えてさらに、表示画面部や、ＡＶコンテンツ紹介情報取得部と、選択出力部にＡＶコンテンツ紹介情報表示出力手段、また、応答情報出力部と、通信部に応答情報受信手段を有する場合もある。

（並行処理制御部 １２０６） 「並行処理制御部」（１２０６）は、カメラ部（１２０１）での誌面の一定範囲の撮影を続けながらコード抽出部（１２０２）での抽出を同時並行して処理するように制御する。制御する並行処理には、カメラ部での処理においては、シャッター押下前の撮影範囲の捕捉操作も含まれるとしてもよい。つまり、ＡＶリモコン装置のカメラを起動し、表示画面に対象物が表示された以降は、コード抽出部での抽出処理を並行処理する場合がある。

（抽出処理状況出力部 １２０７） 「抽出処理状況出力部」（１１０７）は、並行処理制御部（１２０６）によって前記同時並行処理がされている際に、コード抽出部での抽出処理状況を示す情報を生成し、出力する。抽出処理状況を示す情報とは、抽出処理が完了したか、未完であるかを示す情報（処理が実行不可であることを示す情報）、あるいは、実行中であればその進捗具合を示す情報などが該当する。また、抽出処理状況を示す情報には、撮影範囲内に抽出すべき対象物の全体が収まっているかどうか示す情報、外れている場合には、その方向や程度を示す情報などが該当する。抽出処理状況を示す情報は、数値化されたものを表示画面に表示するとしてもよいし、ＬＥＤの色や点滅方法、音声などで、利用者に通知するとしてもよい。

<実施形態３：ハードウェア構成> 図１３は、本実施形態のハードウェア構成の一例を示す概略図である。この図を利用して、ＡＶリモコン装置の処理実行におけるそれぞれのハードウェア構成部の働きについて説明する。ＡＶリモコン装置（１３００）は、「ＣＰＵ（中央演算装置）」（１３０１）と、「ＲＯＭ（記憶装置）」（１３０２）と、「ＲＡＭ（メインメモリ）」（１３０３）と、「Ｉ／Ｏ（入出力インターフェイス）」（１３０４）と、を備える。さらに、「ディスプレイ」（１３０５）を備える場合もある。ハードウェア構成これらは、「システムバス」（１３０６）などのデータ通信経路によって相互に接続され、情報の送受信や処理を行う。概ねのハードウェア構成は実施形態１と同様であるため、差異のある部分のみ説明する。

ＲＯＭ（１３０２）は、ＣＰＵ（１３０１）にて実行される各種プログラムや（アドレス０１〜０６）、認識ルール（アドレス０７）、文字認識データベース（アドレス０８）などを記憶している。また、ＲＡＭ（０９０３）はＲＯＭに記憶されているプログラムを実行するために、そのプログラムを読み出して展開する領域であるワーク領域（アドレス１１〜１６）と、データなどを一時的に格納するデータ領域（アドレス１００〜４００）とを提供する。

カメラ部の起動がトリガとなって、撮影プログラムが実行されるのと同期して、ＣＰＵはＲＡＭのワーク領域に展開された並行処理制御プログラムを実行する。撮影プログラムは、Ｉ／Ｏ（入力インターフェイス）を介するなどして、撮影対象として捕捉した画像を取得するごとに、ＲＡＭのデータ領域（アドレス１００）などに格納しておく。一方で、並行処理制御プログラムは、コード抽出プログラムを呼び出して実行させる。コード抽出プログラムは、画像からの文字認識処理を実行する。

このとき、並行処理制御プログラムは、さらに抽出処理状況出力プログラムを呼び出して実行させる。抽出処理状況出力プログラムは、同時並行処理中のコード抽出プログラムの抽出処理状況を示す情報を生成し、出力する。具体的には、コード抽出プログラムが、ＲＡＭに格納された画像を読み出し、画像を構成する各画素の明度に応じて、一段階目の文字抽出処理を実行したかどうか判定を行い、実行が完了していれば抽出処理状況情報に一定の数値（例えば０１など）を代入する手法などが例示できる。その後は、所定の閾値にしたがって、モノクロに変換することで行なうニ段階目の文字抽出処理実行を実行したかどうか判定を行い、実行が完了していれば抽出処理状況情報に一定の数値をインクリメントする。同様に、ＲＯＭに記憶されている文字認識データベースとの比較照合を行って、文字認識処理を実行したかどうか判定を行い、実行が完了していれば抽出処理状況情報に一定の数値をインクリメントし、さらに、得られた文字列は、ＲＯＭから読み出した認識ルールに従ってコードを抽出したかどうか判定を行い、実行が完了していれば抽出処理状況情報に一定の数値をインクリメントする。なお、コードの抽出ができない場合、例えば、ＱＲコードの切り出しシンボルが２つしか検出できない場合などにおいては、検出した２つの切り出しシンボルから残りの切り出しシンボルの位置が予測できる。したがって、これに基づいて抽出処理状況情報を、予めテーブル化しておいた撮影範囲のずれの程度を示す値を代入するなどして生成するとしてもよい。抽出処理状況情報は、一旦ＲＡＭのデータ領域（アドレス４００）などに格納しておいて、グラフィックメモリ（図では省略）に対して出力されることでディスプレイに表示される。あるいは、ＬＥＤやスピーカー（図では省略）に対して出力されることで応答情報がＬＥＤの点滅や音声によって出力される場合もある。

<実施形態３：処理の流れ> 図１４は、本実施形態のＡＶリモコン装置における処理の流れの一例を示したものである。

まず、ＡＶリモコン装置は、新聞や雑誌などの誌面の一定範囲をまとめて撮影する（Ｓ１４０１）。次に、前記誌面の一定範囲の画像を取得してその画像を所定の認識ルールで文字認識することにより、その画像中に含まれている一以上のコードを抽出する（Ｓ１４０２）。なお、撮影ステップ（Ｓ１４０１）と、コード抽出ステップ（Ｓ１４０２）とは、同時並行して処理するように制御されている。このとき、コード抽出処理の状況を示す情報が生成され、出力される（Ｓ１４０３）。抽出処理が完了すると、抽出したコードを利用者に選択可能に表示する出力をするための処理を行なう（Ｓ１４０４）。その次に、利用者の選択操作に基づいて、選択コードを受け付ける（Ｓ１４０５）。続いて、受け付けた選択コードから得られる情報を含む信号を送信するための処理を行なう（Ｓ１４０６）。

<実施形態３：効果> 本件発明に係るＡＶリモコン装置においては、カメラ部での誌面の一定範囲の撮影を続けながらコード抽出部での抽出を同時並行して処理されている際に、その抽出処理状況を示す情報が出力されるため、的確に撮影対象を捕捉して、必要なコードを容易に抽出することができる。

実施形態１の概要を説明するための概念図 実施形態１の構成１における機能ブロックを示した図 実施形態１の構成２における機能ブロックを示した図 実施形態１の構成３における機能ブロックを示した図 実施形態１のハードウェア構成を示した図 実施形態１の処理の流れ１を示した図 実施形態１の処理の流れ２を示した図 実施形態２の構成における機能ブロックを示した図 実施形態２のハードウェア構成を示した図 実施形態２の処理の流れを示した図 実施形態３の概要を説明するための概念図 実施形態３の構成における機能ブロックを示した図 実施形態３のハードウェア構成を示した図 実施形態３の処理の流れを示した図

０２００ ＡＶリモコン装置
０２０１ カメラ部
０２０２ コード抽出部
０２０３ 認識ルール保持部
０２０４ 選択抽出部
０２０５ 通信部

Claims (6)

1. 新聞や雑誌などの誌面の一定範囲をまとめて撮影可能なカメラ部と、
   カメラ部から前記誌面の一定範囲の画像を取得してその画像を所定の認識ルールで文字認識することにより、その画像中に含まれている一以上のコードを抽出するコード抽出部と、
   前記認識ルールを保持する認識ルール保持部と、
   抽出したコードを利用者に選択可能に表示する出力をするための選択出力部と、
   選択されたコードから得られる情報を含む信号を送信するための通信部と、
   を有するＡＶリモコン装置。
2. 選択出力部からの表示の出力を表示する表示画面部をさらに有する請求項１に記載のＡＶリモコン装置。
3. 前記認識ルール保持部に保持されている認識ルールがＡＶコンテンツを識別するために定められた一定のルールで記述されるＡＶコンテンツＩＤを識別するためのルールである場合には、
   コード抽出部にて抽出されたコードであるＡＶコンテンツＩＤで識別されるＡＶコンテンツの紹介情報であるＡＶコンテンツ紹介情報を取得するＡＶコンテンツ紹介情報取得部を有し、
   選択出力部は、取得したＡＶコンテンツ紹介情報を抽出したコードを利用者に選択可能に表示する画面に、前記コードと合わせて該当するＡＶコンテンツ紹介情報を表示するように出力するＡＶコンテンツ紹介情報表示出力手段を有する請求項１または２に記載のＡＶリモコン装置。
4. 通信部は、選択され、送信されたコードから得られる情報を含む信号に関連付けられた情報である応答情報をリモコン操作対象であるＡＶ装置から受信する応答情報受信手段を有するとともに、
   受信した応答情報を利用者に知らせるために出力する応答情報出力部を有する請求項１から３のいずれか一に記載のＡＶリモコン装置。
5. カメラ部での誌面の一定範囲の撮影を続けながらコード抽出部での抽出を同時並行して処理するように制御する並行処理制御部と、
   並行処理制御部によって前記同時並行処理がされている際に、コード抽出部での抽出処理状況を示す情報を生成し、出力する抽出処理状況出力部と、
   をさらに有する請求項１から４のいずれか一に記載のＡＶリモコン装置。
6. 請求項１から５のいずれか一に記載のＡＶリモコン装置と、このＡＶリモコン装置によって操作されるＡＶ装置とからなるＡＶシステム。

Images