JP2010154010A - Mobile terminal, broadcast service presenting method, and program - Google Patents

Mobile terminal, broadcast service presenting method, and program Download PDF

Info

Publication number
JP2010154010A
JP2010154010A JP2008327442A JP2008327442A JP2010154010A JP 2010154010 A JP2010154010 A JP 2010154010A JP 2008327442 A JP2008327442 A JP 2008327442A JP 2008327442 A JP2008327442 A JP 2008327442A JP 2010154010 A JP2010154010 A JP 2010154010A
Authority
JP
Japan
Prior art keywords
audio
video
streaming
advertising
received
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008327442A
Other languages
Japanese (ja)
Other versions
JP5121692B2 (en
Inventor
Munenori Sekine
宗徳 関根
Kiyoshi Tanaka
清 田中
Toshimi Morizumi
俊美 森住
Tomokazu Yamada
智一 山田
Akito Akutsu
明人 阿久津
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2008327442A priority Critical patent/JP5121692B2/en
Publication of JP2010154010A publication Critical patent/JP2010154010A/en
Application granted granted Critical
Publication of JP5121692B2 publication Critical patent/JP5121692B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephone Function (AREA)
  • Telephonic Communication Services (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To present advertisement video images and sound to a viewer at the timing intended by an advertiser without impairing the convenience of a mobile terminal. <P>SOLUTION: When reception start is notified, a streaming reception section 208 starts the reception of streaming video images and sound and determines whether or not the receiving streaming video images and sound have reached the place of advertisement contents. While a streaming reproduction section 210 reproduces the receiving streaming video images and sound as they are when the receiving streaming video images and sound have not reached the place of the advertisement contents, the streaming reproduction section 210 determines whether or not the average value avn of a reception level is equal to or lower than a threshold th when the receiving streaming video images and sound have reached the place of the advertisement contents, and in the case that the average value avn of the reception level is equal to or lower than the threshold th, reproduces quality complementary video images and sound or substitutive complementary video images and sound downloaded beforehand instead of streaming. <P>COPYRIGHT: (C)2010,JPO&INPIT

Description

本発明は、携帯電話やカー・ナビゲーション・システムなどで放送波を受信可能な携帯端末に対して、TV放送中のニュースや、ドラマなどの番組映像音声、商品広告のための広告映像音声などをストリーミングとして視聴者に提供するサービスに係り、ストーミングとして放送される番組映像音声、広告映像音声を視聴者に提示する携帯端末、放送サービス提示方法、及びプログラムに関する。   The present invention provides news on TV broadcasts, program video / audio such as dramas, advertisement video / audio for product advertisements, etc. to a mobile terminal capable of receiving broadcast waves by a mobile phone or a car navigation system. The present invention relates to a service provided to viewers as streaming, and relates to a portable terminal, a broadcasting service presentation method, and a program for presenting program video and audio broadcasted as storm and advertisement video and audio to viewers.

従来から、FOMA(フォーマ:登録商標)などの携帯電話に対して、地上デジタル放送1セグメント部分受信サービス(ワンセグ)により、TV放送サービスが提供されている。そして、視聴者に対する各種商品の宣伝としてTV放送の番組映像音声の前後や、途中などで広告映像音声が放送されている。   Conventionally, a TV broadcast service has been provided to mobile phones such as FOMA (Former: registered trademark) by a terrestrial digital broadcast one-segment partial reception service (one segment). In addition, advertisement video and audio are broadcast before, during, and after a TV broadcast program video and audio as advertisements for various products to viewers.

また、カー・ナビゲーション・システムや、携帯オーディオ機器などにおいても、ワンセグ用のチューナが搭載され、携帯電話同様にTV放送サービス内で広告映像音声が放送されている。   Also, car navigation systems, portable audio devices, and the like are equipped with one-segment tuners, and advertising video and audio are broadcast within a TV broadcast service, similar to mobile phones.

また、ワンセグの受信エリアの拡大や、放送波の安定した受信のために、ダイバーシティ受信を用いた方式が検討されている(例えば、非特許文献1参照)。   In addition, a method using diversity reception is being studied in order to expand the reception area of one seg and to stably receive broadcast waves (for example, see Non-Patent Document 1).

さらには、録画機能を搭載し、TV放送を録画しておいて、視聴者の都合の良い時に見ることができるようになっている。
岡野他,“携帯端末向けダイバーシティ受信によるワンセグの野外受信実験”,信学技報,EMCJ,Vol.106,No.579(20070302)pp.23−28
Furthermore, a recording function is installed so that TV broadcasts can be recorded and viewed at the convenience of the viewer.
Okano et al., "One-Seg Outdoor Reception Experiments with Diversity Reception for Mobile Devices", IEICE Technical Report, EMCJ, Vol. 106, no. 579 (20070302) pp. 23-28

ところで、上述したような従来のワンセグにおいて、TV放送中の広告映像音声は、番組映像音声と同様に放送波の受信状態が時々刻々と変化する中でストリーミングとして配信される。広告主にとって、広告映像音声は、顧客獲得のために番組映像音声以上に重要であり、広告チャンネルや広告時間を獲得して広告主の意図するタイミングで提示したい。しかしながら、従来のワンセグでは、受信状態の劣化によって、広告映像音声の映像や、音声が停止、またはスキップされることがあり、広告映像音声を視聴者に正しく提示できないという問題がある。   By the way, in the conventional one-segment broadcasting as described above, the advertising video / audio during TV broadcasting is distributed as streaming while the reception state of the broadcast wave changes from moment to moment like the program video / audio. For advertisers, advertising video and audio are more important than program video and audio for customer acquisition, and they want to acquire advertising channels and advertising time and present them at the timing that the advertiser intends. However, the conventional one-segment broadcasting has a problem that the video and audio of the advertising video / audio may be stopped or skipped due to the deterioration of the reception state, and the advertising video / audio cannot be correctly presented to the viewer.

また、受信状態の良い場所に携帯電話を置いておき、その間に番組映像音声、及び広告映像音声を含めて録画をし、録画後に視聴する方法がある。しかしながら、この場合も、録画後に視聴するため、あるいは、視聴者によって広告映像音声の早送りをされてしまう場合もあり、広告主の意図するタイミングで広告映像音声を視聴者に提示できないという問題がある。   In addition, there is a method in which a mobile phone is placed in a place where reception is good, and the program video / audio and advertisement video / audio are recorded during that time and then viewed after the recording. However, in this case as well, there is a problem that the advertisement video / audio cannot be presented to the viewer at the timing intended by the advertiser because the video / audio may be fast-forwarded for viewing after recording or by the viewer. .

さらに、録画をしておく方法の場合、劣化の少ない番組映像音声、及び広告映像音声の録画を行うためには、録画中に受信状況の良い場所に携帯電話や、カー・ナビゲーション・システムなどの携帯端末を配置しておかなければならず、携帯端末の利便性を損ねることになってしまうという問題がある。   Furthermore, in the case of the method of recording, in order to record program video and audio with little deterioration and advertisement video and audio, a mobile phone, car navigation system, etc. There is a problem that the mobile terminal must be arranged, and the convenience of the mobile terminal is impaired.

本発明は、このような事情を考慮してなされたものであり、その目的は、携帯端末の利便性を損ねることなく、広告主の意図する内容、タイミングで広告映像音声を提示することができる携帯端末、放送サービス提示方法、及びプログラムを提供することにある。   The present invention has been made in view of such circumstances, and its purpose is to present advertising video and audio at the content and timing intended by the advertiser without impairing the convenience of the mobile terminal. It is to provide a portable terminal, a broadcasting service presentation method, and a program.

上述した課題を解決するために、本発明は、番組映像音声及び広告映像音声を含む放送波をストリーミング映像音声として受信可能な携帯端末であって、放送波の受信状態を監視する監視手段と、受信中のストリーミング映像音声とは別に放送波の受信状態が良いときに広告映像音声をダウンロードするダウンロード手段と、前記ダウンロード手段によりダウンロードされた広告映像音声を保存する保存手段と、前記受信中のストリーミング映像音声において前記広告映像音声の箇所に到達したか否かを判定する到達判定手段と、前記到達判定手段により広告映像音声の箇所に到達したと判定されると、前記監視手段による受信状態に基づいて、前記受信中のストリーミング映像音声に含まれる広告映像音声に代えて、前記保存手段に保存されている前記ダウンロードされた広告映像音声を提示する提示手段とを備えることを特徴とする携帯端末である。   In order to solve the above-described problem, the present invention is a portable terminal capable of receiving a broadcast wave including a program video audio and an advertisement video audio as a streaming video audio, and monitoring means for monitoring a reception state of the broadcast wave; Separately from the streaming video and audio being received, the download means for downloading the advertising video and audio when the broadcast wave reception state is good, the storage means for saving the advertising video and audio downloaded by the download means, and the streaming being received An arrival determination means for determining whether or not the advertisement video / audio part has been reached in the video / audio, and when the arrival determination means determines that the advertisement video / audio part has been reached, based on the reception state by the monitoring means Instead of the advertisement video / audio included in the streaming video / audio being received, the video is stored in the storage means. Further comprising a presentation means for presenting the downloaded advertisement image audio and a mobile terminal characterized by.

本発明は、上記の発明において、前記監視手段は、前記放送波の受信状態を監視するに際し、放送波の受信レベルの一定周期における平均値を取得する平均値取得手段を備え、所定の閾値を予め記憶する記憶手段と、前記平均値取得手段により取得された受信レベルの平均値と前記記憶手段に記憶されている所定の閾値とを比較する比較手段を更に備え、前記提示手段は、前記比較手段による比較の結果、前記受信レベルの平均値が前記所定の閾値以上である場合、受信中のストリーミング映像音声に含まれる広告映像音声の再生を行い、前記受信レベルの平均値が前記所定の閾値を下回った場合、前記受信中のストリーミング映像音声に含まれる広告映像音声に代えて、前記保存手段に保存されている前記ダウンロードされた広告映像音声を提示する、ことを特徴とする。   According to the present invention, in the above invention, the monitoring unit includes an average value acquisition unit that acquires an average value of a reception level of the broadcast wave in a certain period when the reception state of the broadcast wave is monitored, and has a predetermined threshold value. Storage means for storing in advance, and comparison means for comparing the average value of the reception levels acquired by the average value acquisition means with a predetermined threshold value stored in the storage means, wherein the presenting means includes the comparison If the average value of the reception level is equal to or greater than the predetermined threshold as a result of the comparison by the means, the advertising video / audio included in the streaming video / audio being received is reproduced, and the average value of the reception level is the predetermined threshold The downloaded advertising video / audio stored in the storage means instead of the advertising video / audio included in the streaming video / audio being received. Presented, characterized in that.

本発明は、上記の発明において、前記受信中のストリーミング映像音声に含まれる広告映像音声に付加されたメタデータと、前記ダウンロードされた広告映像音声に付加されたメタデータとを取得するメタデータ取得手段と、前記メタデータ取得手段により取得された、前記受信中のストリーミング映像音声に含まれる広告映像音声に付加されたメタデータと前記ダウンロードされた広告映像音声に付加されたメタデータとに基づいて、前記ダウンロードされた広告映像音声の中から、前記受信中のストリーミング映像音声に含まれる広告映像音声と同一の広告映像音声を検索する第1の検索手段と、を有し、前記提示手段は、前記受信中のストリーミング映像音声に含まれる広告映像音声の代わりに、前記第1の検索手段により検索された、前記ダウンロードされた広告映像音声を提示する、ことを特徴とする。   The present invention provides the metadata acquisition for acquiring the metadata added to the advertising video / audio included in the streaming video / audio being received and the metadata added to the downloaded advertising video / audio according to the above invention. And metadata added to the advertising video / audio included in the received streaming video / audio and metadata added to the downloaded advertising video / audio acquired by the metadata acquisition means First searching means for searching for the same advertising video and audio as the advertising video and audio included in the received streaming video and audio from the downloaded advertising video and audio, the presenting means, Instead of the advertising video / audio included in the streaming video / audio being received, the video is searched by the first search means. Presenting the advertisement video and audio to the downloaded, characterized in that.

本発明は、上記の発明において、視聴者の個人特性情報を予め記憶する個人特性情報記憶手段と、前記ダウンロードされた広告映像音声に付加されたメタデータと前記個人特性情報記憶手段から読み出した個人特性情報との相関関係を取得する相関取得手段と、前記相関取得手段により取得された相関関係に基づいて、前記ダウンロードされた広告映像音声の中から、前記視聴者の個人特性に合致する広告映像音声を検索する第2の検索手段と、を有し、前記提示手段は、前記受信中のストリーミング映像音声に含まれる広告映像音声の代わりに、前記第2の検索手段により検索された、ダウンロードされた広告映像音声を提示する、ことを特徴とする。   According to the present invention, in the above invention, personal characteristic information storage means for preliminarily storing the viewer's personal characteristic information, metadata added to the downloaded advertisement video and sound, and the individual read from the personal characteristic information storage means Correlation acquisition means for acquiring a correlation with characteristic information, and advertisement video that matches the personal characteristics of the viewer from the downloaded advertisement video and audio based on the correlation acquired by the correlation acquisition means Second searching means for searching for audio, wherein the presenting means is downloaded by the second searching means instead of the advertisement video / audio included in the streaming video / audio being received. The advertisement video and audio are presented.

また、上述した課題を解決するために、本発明は、番組映像音声及び広告映像音声を含む放送波をストリーミング映像音声とし携帯端末で受信して視聴者に提示する放送サービス提示方法であって、放送波の受信状態を監視するステップと、受信中のストリーミング映像音声とは別に放送波の受信状態が良いときに広告映像音声をダウンロードするステップと、前記ダウンロードされた広告映像音声を保存するステップと、前記受信中のストリーミング映像音声において前記広告映像音声の箇所に到達したか否かを判定するステップと、広告映像音声の箇所に到達したと判定されると、前記放送波の受信状態に基づいて、前記受信中のストリーミング映像音声に含まれる広告映像音声に代えて、前記ダウンロードされた広告映像音声を提示するステップとを含むことを特徴とする放送サービス提示方法である。   In order to solve the above-described problem, the present invention is a broadcast service presentation method for receiving broadcast waves including program video audio and advertisement video audio as streaming video audio by a mobile terminal and presenting them to a viewer. A step of monitoring the reception state of the broadcast wave, a step of downloading the advertisement video / audio when the reception state of the broadcast wave is good separately from the streaming video / audio being received, and a step of storing the downloaded advertisement video / audio , Determining whether or not the advertisement video / audio part has been reached in the streaming video / audio being received, and determining that the advertisement video / audio part has been reached, based on the reception state of the broadcast wave The downloaded advertisement video / audio is presented instead of the advertisement video / audio included in the streaming video / audio being received. It is a broadcast service presentation method, which comprises the steps.

本発明は、上記の発明において、前記放送波の受信状態を監視するステップは、放送波の受信レベルの一定周期における平均値を取得するステップを含み、前記放送サービス提示方法は、所定の閾値を予め記憶するステップと、前記取得された受信レベルの平均値と前記所定の閾値とを比較するステップとを更に含み、前記広告映像音声を提示するステップにおいて、前記比較の結果、前記受信レベルの平均値が前記所定の閾値以上である場合、受信中のストリーミング映像音声に含まれる広告映像音声の再生を行い、前記受信レベルの平均値が前記所定の閾値を下回った場合、前記受信中のストリーミング映像音声に含まれる広告映像音声に代えて、前記ダウンロードされた広告映像音声を提示する、ことを特徴とする。   According to the present invention, in the above invention, the step of monitoring the reception state of the broadcast wave includes a step of obtaining an average value of the reception level of the broadcast wave in a certain period, and the broadcast service presentation method sets a predetermined threshold value. A step of storing in advance, and a step of comparing the acquired average value of the received levels with the predetermined threshold, and in the step of presenting the advertising video and audio, the average of the received levels as a result of the comparison When the value is equal to or greater than the predetermined threshold, the advertising video / audio included in the streaming video / audio being received is played back, and when the average value of the reception levels falls below the predetermined threshold, the streaming video being received The downloaded advertisement video / audio is presented in place of the advertisement video / audio included in the audio.

本発明は、上記の発明において、前記受信中のストリーミング映像音声に含まれる広告映像音声に付加されたメタデータと、前記ダウンロードされた広告映像音声に付加されたメタデータとを取得するステップと、前記取得された受信中のストリーミング映像音声に含まれる広告映像音声に付加されたメタデータと前記ダウンロードされた広告映像音声に付加されたメタデータとに基づいて、前記ダウンロードされた広告映像音声の中から、受信中のストリーミング映像音声に含まれる広告映像音声と同一の広告映像音声を検索するステップとを更に含み、前記広告映像音声を提示するステップにおいて、前記受信中のストリーミング映像音声に含まれる広告映像音声の代わりに、前記検索された、ダウンロードされた広告映像音声を提示する、ことを特徴とする。   The present invention, in the above invention, obtaining metadata added to the advertising video and audio included in the streaming video and audio being received, and metadata added to the downloaded advertising video and audio, Based on the metadata added to the advertising video / audio included in the acquired streaming video / audio being received and the metadata added to the downloaded advertising video / audio, And the step of searching for the same advertising video and audio as the advertising video and audio included in the streaming video and audio being received, and in the step of presenting the advertising video and audio, the advertisement included in the streaming video and audio being received Instead of video and audio, the searched and downloaded advertisement video and audio are presented. , Characterized in that.

本発明は、上記の発明において、視聴者の個人特性情報を記憶するステップと、前記ダウンロードされた広告映像音声に付加されたメタデータと前記個人特性情報との相関関係を取得するステップと、前記取得された相関関係に基づいて、ダウンロードされた広告映像音声の中から、視聴者の個人特性に合致する広告映像音声を検索するステップとを更に含み、前記広告映像音声を提示するステップにおいて、前記受信中のストリーミング映像音声に含まれる広告映像音声の代わりに、前記検索された、ダウンロードされた広告映像音声を提示する、ことを特徴とする。   The present invention is the above invention, wherein the personal characteristic information of the viewer is stored, the correlation between the metadata added to the downloaded advertisement video and audio and the personal characteristic information is obtained, Searching for an advertisement video / audio that matches a viewer's personal characteristics from the downloaded advertisement video / audio based on the acquired correlation, and presenting the advertisement video / audio, The downloaded advertisement video / audio is presented instead of the advertising video / audio included in the streaming video / audio being received.

また、上述した課題を解決するために、本発明は、上述の放送サービス提示方法をコンピュータに実行させるためのプログラムである。   In order to solve the above-described problem, the present invention is a program for causing a computer to execute the above-described broadcast service presentation method.

この発明によれば、放送波の受信状態が時々刻々と変化する中でストリーミングとして配信されるTV放送中の広告映像音声を補完した上で視聴者に提示することで、携帯端末の利便性を損ねることなく、広告主の意図する内容、タイミングで広告映像音声を提示することができるという利点が得られる。   According to the present invention, the convenience of the mobile terminal can be improved by presenting the viewer with the advertisement video / audio in the TV broadcast that is distributed as streaming while the reception state of the broadcast wave is changing every moment. There is an advantage that the advertising video and audio can be presented at the content and timing intended by the advertiser without any loss.

以下、本発明の一実施形態を、図面を参照して説明する。   Hereinafter, an embodiment of the present invention will be described with reference to the drawings.

図1は、本発明の実施形態による携帯端末向け放送サービス提供システムの全体的な構成を示すブロック図である。本携帯端末向け放送サービス提供システムは、携帯電話や、カー・ナビゲーション・システムなどの携帯端末200、放送局の設備である放送装置100、及び放送アンテナ300から構成される。   FIG. 1 is a block diagram showing an overall configuration of a broadcasting service providing system for portable terminals according to an embodiment of the present invention. The broadcasting service providing system for portable terminals includes a portable terminal 200 such as a mobile phone or a car navigation system, a broadcasting device 100 as a broadcasting station equipment, and a broadcasting antenna 300.

携帯端末200は、放送装置100から放送される番組映像音声、及び広告映像音声をストリーミング(ストリーミング映像音声)として受信する。また、携帯端末200は、放送装置100からストリーミングが行われていない時間帯(例えば、深夜)に、ダウンロードファイルとして送信される品質補完映像音声と代替補完映像音声とを受信する。ここで、品質補完映像音声は、ストリーミング映像音声中の広告映像音声と同一のものであり、放送波の受信状態が悪いときの品質補完用に、代替補完映像音声は、ストリーミング映像音声中の広告映像音声と異なり、代替のものとして使用される。   The portable terminal 200 receives the program video / audio and the advertising video / audio broadcast from the broadcasting device 100 as streaming (streaming video / audio). In addition, the mobile terminal 200 receives the quality-complementary video / audio and the substitute-complementary video / audio transmitted as a download file in a time zone (for example, midnight) when streaming is not performed from the broadcasting device 100. Here, the quality-complementary video / audio is the same as the advertising video / audio in the streaming video / audio, and the alternative complementary video / audio is an advertisement in the streaming video / audio for quality supplementation when the reception condition of the broadcast wave is bad. Unlike video and audio, it is used as an alternative.

なお、ダウンロードファイルは、ストリーミング用と別の周波数帯域を用いて、自由な時間帯に受信されても良い。また、ダウンロードファイルは、携帯端末200での受信成功率を高めるため、一定周期で同じ内容を送り続けるカルーセル伝送を用いて受信されても良い。また、携帯端末200が携帯電話のように通信機能を有している場合、ダウンロードファイルは、通信機能を用いて受信されても良い。   The download file may be received in a free time zone using a frequency band different from that for streaming. Also, the download file may be received using carousel transmission that keeps sending the same content at a constant period in order to increase the success rate of reception at the mobile terminal 200. Further, when the mobile terminal 200 has a communication function like a mobile phone, the download file may be received using the communication function.

また、携帯端末200は、放送装置100から送信される放送プログラムを受信する。ここで、放送プログラムとは、EPG(Electronic Program Guide;電子番組案内)や、ECG(Electronic Contents Guide;電子コンテンツ案内)と類似のものを意味する。   In addition, the mobile terminal 200 receives a broadcast program transmitted from the broadcast device 100. Here, the broadcast program means something similar to EPG (Electronic Program Guide) and ECG (Electronic Contents Guide).

放送装置100は、番組映像音声、及び広告映像音声を含むストリーミング(ストリーミング映像音声)をストリーミングファイルとして管理し、品質補完映像音声、及び代替補完映像音声をダウンロードファイルとして管理し、放送アンテナ300経由で携帯端末200に放送する。また、放送装置100は、放送プログラムを放送アンテナ300経由で携帯端末200に放送する。   The broadcasting apparatus 100 manages streaming (streaming video / audio) including program video / audio and advertisement video / audio as a streaming file, and manages quality-complementary video / audio and alternative complementary video / audio as download files, via the broadcast antenna 300. Broadcast to the mobile terminal 200. In addition, the broadcast device 100 broadcasts a broadcast program to the mobile terminal 200 via the broadcast antenna 300.

放送アンテナ300は、放送装置100にて管理されているストリーミングファイル、ダウンロードファイル、及び放送プログラムを、放送波で送出するためのアンテナ設備である。   The broadcast antenna 300 is an antenna facility for transmitting a streaming file, a download file, and a broadcast program managed by the broadcast device 100 using broadcast waves.

次に、上述した携帯端末向け放送サービス提供システムの動作を概略的に説明する。
オペレータは、放送装置100に番組映像音声、及び広告映像音声を含むストリーミングファイルと、品質補完映像音声、及び代替補完映像音声であるダウンロードファイルとを登録する。
Next, the operation of the above-described mobile terminal broadcasting service providing system will be schematically described.
The operator registers a streaming file including program video / audio and advertisement video / audio, and a download file that is quality-complementary video / audio and alternative complementary video / audio in the broadcasting apparatus 100.

放送装置100は、登録されたストリーミングファイルを、既存のTV放送と同様に放送時間にストリーミングで放送し、ダウンロードファイルを、ストリーミングファイルの放送が行われていない時間帯(例えば、深夜)や、ストリーミングファイル用と別の周波数帯域を利用して、放送アンテナ300経由で携帯端末200に放送する。   The broadcasting device 100 broadcasts the registered streaming file by streaming at the same broadcast time as the existing TV broadcast, and the download file is streamed during a time zone (for example, midnight) when the streaming file is not broadcast. Broadcast to the mobile terminal 200 via the broadcast antenna 300 using a different frequency band from that for the file.

携帯端末200は、放送アンテナ300経由で放送されるダウンロードファイルを受信し、携帯端末200内に保存する。また、携帯端末200は、放送時間に放送されるストリーミングファイルをストリーミングとして受信し、視聴者のチャンネル選択に基づいて、該当するチャンネルのストリーミング映像音声を視聴者に提示する。   The mobile terminal 200 receives a download file broadcast via the broadcast antenna 300 and stores it in the mobile terminal 200. In addition, the mobile terminal 200 receives a streaming file broadcast during the broadcast time as streaming, and presents the streaming video / audio of the corresponding channel to the viewer based on the viewer's channel selection.

また、携帯端末200は、携帯端末200の入力機能を用いて登録される視聴者の性別や、年齢、噂好などを示した情報を個人特性情報として保存する。   In addition, the portable terminal 200 stores information indicating the gender, age, rumors, etc. of the viewer registered using the input function of the portable terminal 200 as personal characteristic information.

携帯端末200は、視聴者へのストリーミング映像音声の提示中に、放送波の受信状態の監視を行い、広告映像音声の提示の際に、受信状態に応じて品質補完映像音声、ないしは代替補完映像音声への切り替え判断を行う。例えば、携帯端末200は、放送波の受信状態の低下により、広告映像音声の再生が行えないと判断した場合に、携帯端末200に保存されているダウンロードファイルの中から、当該広告映像音声の品質補完映像音声の探索を行い、品質補完映像音声を視聴者に提示する。   The mobile terminal 200 monitors the reception state of the broadcast wave during the presentation of the streaming video / audio to the viewer, and when presenting the advertisement video / audio, the quality-complementary video / audio or the alternative complementary video according to the reception state. Make a decision to switch to voice. For example, when the mobile terminal 200 determines that the advertisement video / audio cannot be reproduced due to a decrease in the reception state of the broadcast wave, the quality of the advertisement video / audio from the download file stored in the mobile terminal 200 is determined. A search for complementary video and audio is performed, and quality complementary video and audio are presented to the viewer.

また、携帯端末200は、ダウンロードファイルの中に当該広告映像音声の品質補完映像音声が存在しない場合に、携帯端末200に保存されている個人特性情報とダウンロードファイル中の代替補完映像音声とを用いて、視聴者の個人特性に近い代替補完映像音声を視聴者に提示する。   The mobile terminal 200 uses the personal characteristic information stored in the mobile terminal 200 and the alternative supplemental video / audio in the download file when the quality-complementary video / audio of the advertisement video / audio does not exist in the download file. Thus, an alternative complementary video / audio similar to the viewer's personal characteristics is presented to the viewer.

次に、図2は、本実施形態による放送装置の機能構成の概要を示すブロック図であり、図3は、本実施形態による携帯端末の機能構成の概要を示すブロック図である。   Next, FIG. 2 is a block diagram illustrating an outline of a functional configuration of the broadcasting apparatus according to the present embodiment, and FIG. 3 is a block diagram illustrating an overview of a functional configuration of the mobile terminal according to the present embodiment.

図2において、放送装置100は、放送波送信処理部101、放送プログラム送信部102、放送プログラム生成部103、放送プログラム保存部104、ストリーミング送信部105、ストリーミング保存部106、ダウンロード送信部107、ダウンロード保存部108、ユーザインタフェース部109から構成される。   In FIG. 2, a broadcast apparatus 100 includes a broadcast wave transmission processing unit 101, a broadcast program transmission unit 102, a broadcast program generation unit 103, a broadcast program storage unit 104, a streaming transmission unit 105, a streaming storage unit 106, a download transmission unit 107, and a download. The storage unit 108 and the user interface unit 109 are configured.

放送波送信処理部101は、放送プログラム送信部102から放送プログラムの通知を受けた後、携帯端末200に対して、放送プログラムを放送する。なお、放送装置100での放送プログラムの放送タイミングと携帯端末200での受信タイミングとは、同期しており、1日複数回実施されるものとする。また、放送波送信処理部101は、ストリーミング映像音声の放送時間に、ストリーミング送信部105からストリーミング映像音声の通知を受けた際に、ストリーミング映像音声を携帯端末200に放送する。さらに、放送波送信処理部101は、ダウンロードファイルの放送時間に、ダウンロード送信部107からダウンロードファイルの通知を受けた際に、ダウンロードファイルを携帯端末200に放送する。   After receiving the broadcast program notification from the broadcast program transmission unit 102, the broadcast wave transmission processing unit 101 broadcasts the broadcast program to the mobile terminal 200. In addition, the broadcast timing of the broadcast program in the broadcast apparatus 100 and the reception timing in the portable terminal 200 are synchronized, and are executed a plurality of times a day. Also, the broadcast wave transmission processing unit 101 broadcasts the streaming video / audio to the mobile terminal 200 when receiving the notification of the streaming video / audio from the streaming transmission unit 105 during the broadcast video / audio broadcasting time. Further, the broadcast wave transmission processing unit 101 broadcasts the download file to the mobile terminal 200 when receiving a download file notification from the download transmission unit 107 during the download file broadcast time.

ここで、放送プログラムは、EPGや、ECGに類似するものであり、ストリーミング放送用プログラムとダウンロード放送用プログラムとがある。ストリーミング放送用プログラムは、ストリーミング映像音声用の番組表であり、ストリーミング送信部105でのストリーミング映像音声の通知契機や、携帯端末200の視聴者への番組表や、各番組内容の提示に用いられる。また、ダウンロード放送用プログラムは、ダウンロードファイル用の番組表であり、ダウンロード送信部107でのダウンロードファイルの通知契機や、携帯端末200でのダウンロードファイルの受信契機の制御のために用いられる。   Here, the broadcast program is similar to EPG or ECG, and there are a streaming broadcast program and a download broadcast program. The streaming broadcast program is a streaming video / audio program guide, and is used for the streaming video / audio notification in the streaming transmission unit 105, the program guide to the viewer of the mobile terminal 200, and the presentation of each program content. . The download broadcast program is a program table for download files, and is used to control download file notification triggers at the download transmission unit 107 and download file reception triggers at the mobile terminal 200.

ここで、図4は、本実施形態による、ストリーミング映像音声の放送用に用いられるストリーミングファイルの一例を示す概念図である。ストリーミングファイルは、番組コンテンツ(番組映像音声用)と広告コンテンツ(広告映像音声用)とから構成される。   Here, FIG. 4 is a conceptual diagram showing an example of a streaming file used for streaming video / audio broadcasting according to the present embodiment. The streaming file is composed of program content (for program video and audio) and advertisement content (for advertisement video and audio).

ここで、ストリーミングファイル中の構造は、MPEG−4や、H.264で用いられているISOベースメディアファイルフォーマット(ISO/IEC14496−12)を用いている。そして、当該フォーマットのmoovボックスに、各番組コンテンツと各広告コンテンツの開始位置、終了位置や、広告コンテンツのための各種メタデータを格納する。携帯端末200は、moovボックス内の情報を参照することにより、後述する処理を実施する。   Here, the structure in the streaming file is MPEG-4 or H.264. The ISO base media file format (ISO / IEC 14496-12) used in H.264 is used. Then, the start position and end position of each program content and each advertisement content, and various metadata for the advertisement content are stored in the moov box of the format. The portable terminal 200 performs the process described later by referring to the information in the moov box.

番組コンテンツは、既存の地上アナログテレビ放送や、地上デジタルテレビ放送と同様なニュース/報道、ドラマ、バラエティなどの番組の番組映像音声である。広告コンテンツは、番組コンテンツの前後や、途中に挿入されるものであり、品質補完映像音声用メタデータ、代替補完映像音声用メタデータ、及び広告映像音声から構成される。   The program content is a program video / audio of a program such as news / report, drama, variety, etc. similar to the existing terrestrial analog TV broadcast and digital terrestrial TV broadcast. The advertisement content is inserted before, after or in the middle of the program content, and is composed of quality-complementary video / audio metadata, alternative complementary video / audio metadata, and advertisement video / audio.

品質補完映像音声用メタデータは、広告主、広告タイトル、広告時間にから構成され、後述する携帯端末200での視聴者への品質禰完映像音声の提示判断に用いられる。代替補完映像音声用メタデータは、広告主と広告時間とにより構成され、後述する携帯端末200での視聴者の個人特性に応じた代替補完映像音声の提示判断に用いられる。   The quality-complementary video / audio metadata is composed of the advertiser, the advertising title, and the advertising time, and is used to determine the presentation of quality-complete video / audio to the viewer on the mobile terminal 200 described later. The alternative complementary video / audio metadata is composed of an advertiser and an advertisement time, and is used for presentation determination of alternative complementary video / audio according to the personal characteristics of the viewer on the mobile terminal 200 described later.

広告映像音声は、後述する携帯端末200での放送波の受信状態の監視により、広告映像音声の正常再生が可能と判断された場合に、視聴者に提示されるものである。もしくは、前述の品質補完映像音声の提示判断、及び代替補完映像音声の提示判断の結果、ダウンロードファイルに視聴者に提示すべき品質補完映像音声や、代替補完映像音声がない場合に、視聴者に提示されるものである。   The advertising video / audio is presented to the viewer when it is determined that normal playback of the advertising video / audio is possible by monitoring the reception state of the broadcast wave in the mobile terminal 200 described later. Alternatively, if there is no quality-complementary video / sound that should be presented to the viewer in the download file as a result of the above-mentioned judgment of presentation of quality-complementary video / sound and presentation of alternative-complementary video / sound, It is what is presented.

図5は、本実施形態による、ダウンロードファイルの一例を示す概念図である。ダウンロードファイルは、広告提示判断メタデータと提示広告映像音声とから構成される。ここで、ダウンロードファイル中の構造は、MPEG−4や、H.264で用いられているISOベースメディアファイルフォーマット(ISO/IEC14496−12)を用いている。そして、当該フォーマットのmoovボックスに、広告提示判断メタデータを格納する。携帯端末200は、moovボックス内の情報を参照することにより、後述する処理を実施する。   FIG. 5 is a conceptual diagram illustrating an example of a download file according to the present embodiment. The download file includes advertisement presentation determination metadata and presentation advertisement video / audio. Here, the structure in the download file is MPEG-4 or H.264. The ISO base media file format (ISO / IEC 14496-12) used in H.264 is used. Then, the advertisement presentation determination metadata is stored in the moov box of the format. The portable terminal 200 performs the process described later by referring to the information in the moov box.

広告提示判断メタデータは、広告主や、広告タイトル、広告期間などから構成され、後述する携帯端末200での品質補完映像音声の提示判断、及び視聴者の個人特性に応じた代替補完映像音声の提示判断に用いられる。提示広告映像音声は、品質補完映像音声、または代替補完映像音声であり、後述する携帯端末200での当該視聴者への品質補完映像音声の提示判断、及び代替補完映像音声の提示判断の後、視聴者に提示される映像音声である。   The advertisement presentation determination metadata includes an advertiser, an advertisement title, an advertisement period, and the like. The presentation of quality-complementary video / audio on the mobile terminal 200 to be described later, and alternative complementary video / audio according to the personal characteristics of the viewer. Used for presentation judgment. The presented advertisement video / audio is quality-complementary video / audio or alternative complementary video / audio, and after the judgment of presentation of the quality-complementary video / audio to the viewer and the presentation of alternative complementary video / audio on the mobile terminal 200 described later, It is video and audio presented to the viewer.

次に、図2に説明を戻すと、放送プログラム送信部102は、放送プログラム保存部104に保存されている放送プログラム(ストリーミング放送用プログラム、及びダウンロード放送用プログラム)を定期的(例えば、1時間に1回)に取得し、放送波送信処理部101に通知する。   Next, returning to FIG. 2, the broadcast program transmitting unit 102 periodically transmits broadcast programs (streaming broadcast program and download broadcast program) stored in the broadcast program storage unit 104 (for example, for one hour). And broadcast wave transmission processing unit 101 is notified.

放送プログラム生成部103は、ストリーミング保存部106に保存されているストリーミングファイルに基づいて、ストリーミング放送用プログラムを作成し、放送プログラム保存部104に保存する。また、放送プログラム生成部103は、ダウンロード保存部108に保存されているダウンロードファイルに基づいて、ダウンロード放送用プログラムを作成し、放送プログラム保存部104に保存する。放送プログラム保存部104は、放送プログラム生成部103にて生成された放送プログラム(ストリーミング放送用プログラム、及びダウンロード放送用プログラム)を保存する。   The broadcast program generation unit 103 creates a streaming broadcast program based on the streaming file stored in the streaming storage unit 106 and stores it in the broadcast program storage unit 104. Also, the broadcast program generation unit 103 creates a download broadcast program based on the download file stored in the download storage unit 108 and stores it in the broadcast program storage unit 104. The broadcast program storage unit 104 stores the broadcast programs (streaming broadcast program and download broadcast program) generated by the broadcast program generation unit 103.

ストリーミング送信部105は、放送プログラム保存部104中のストリーミング放送用プログラムを取得し、各ストリーミング映像音声の放送時間に、放送波送信処理部101に該当のストリーミング映像音声の通知を行い、携帯端末200へのストリーミング映像音声の放送を実施する。ストリーミング保存部106は、ユーザインタフェース部109を用いてオペレータが登録したストリーミングファイルを保存する。   The streaming transmission unit 105 acquires the streaming broadcast program stored in the broadcast program storage unit 104, notifies the broadcast wave transmission processing unit 101 of the corresponding streaming video / audio at the broadcast time of each streaming video / audio, and the mobile terminal 200 Broadcasting of streaming video and audio to The streaming storage unit 106 stores the streaming file registered by the operator using the user interface unit 109.

ダウンロード送信部107は、放送プログラム保存部104中のダウンロード放送用プログラムを取得し、各ダウンロードファイルの放送時間に、放送波送信処理部101に該当のダウンロードファイルの通知を行い、携帯端末200へのダウンロードファイルの放送を実施する。ダウンロード保存部108は、ユーザインタフェース部109を用いてオペレータが登録したダウンロードファイルを保存する。   The download transmission unit 107 acquires the download broadcast program in the broadcast program storage unit 104, notifies the broadcast wave transmission processing unit 101 of the corresponding download file at the broadcast time of each download file, and sends it to the mobile terminal 200. Broadcast download files. The download storage unit 108 stores a download file registered by the operator using the user interface unit 109.

ユーザインタフェース部109は、オペレータに対して、ストリーミングファイルとダウンロードファイルを登録する環境を提供し、ストリーミングファイルをストリーミング保存部106に、ダウンロードファイルをダウンロード保存部108に保存する。   The user interface unit 109 provides an operator with an environment for registering a streaming file and a download file, and stores the streaming file in the streaming storage unit 106 and the download file in the download storage unit 108.

次に、図3において、携帯端末200は、ユーザインタフェース部201、個人特性情報保存部202、放送波受信処理部203、放送プログラム受信部204、放送プログラム保存部205、ダウンロード受信部206、ダウンロード保存部207、ストリーミング受信部208、ストリーミング一時記憶部209、ストリーミング再生部210、現在日時管理部211、及び記録部212から構成される。   Next, in FIG. 3, the mobile terminal 200 includes a user interface unit 201, personal characteristic information storage unit 202, broadcast wave reception processing unit 203, broadcast program reception unit 204, broadcast program storage unit 205, download reception unit 206, download storage. 207, streaming receiving unit 208, streaming temporary storage unit 209, streaming playback unit 210, current date / time management unit 211, and recording unit 212.

ユーザインタフェース部201は、視聴者に対する入出力インタフェースであり、映像表示装置、音声出力装置、入力キーなどを含む。個人特性情報保存部202は、ユーザインタフェース部201を用いて、視聴者が入力する視聴者の個人特性を示す個人特性情報を保存する。   The user interface unit 201 is an input / output interface for a viewer, and includes a video display device, an audio output device, an input key, and the like. The personal characteristic information storage unit 202 uses the user interface unit 201 to store personal characteristic information indicating the personal characteristics of the viewer input by the viewer.

ここで、図6は、本実施形態による、個人特性情報の一例を示す概念図である。個人特性情報は、生体情報、状況情報、嗜好情報から構成される。生体情報は、性別、年齢などを含む。状況情報は、携帯端末200内のシステム情報であり、現在日付や、現在時刻などを含む。嗜好情報は、ジャンル、サブジャンル、キーワードなどを含む。   Here, FIG. 6 is a conceptual diagram showing an example of personal characteristic information according to the present embodiment. The personal characteristic information is composed of biometric information, situation information, and preference information. The biometric information includes sex, age, and the like. The status information is system information in the mobile terminal 200, and includes the current date, the current time, and the like. The preference information includes a genre, a sub genre, a keyword, and the like.

放送波受信処理部203は、放送プログラム受信部204から放送プログラム受信開始通知を受けると、放送装置100からの放送プログラムを受信し、該放送プログラムを放送プログラム受信部204に供給する。また、放送波受信処理部203は、ダウンロード受信部206からダウンロードファイルの受信開始通知を受けると、放送装置100からのダウンロードファイルを受信し、ダウンロード受信部206にダウンロードファイルを供給する。さらに、放送波受信処理部203は、ストリーミング受信部208からストリーミング映像音声の受信開始通知を受けると、放送装置100からのストリーミング映像音声を受信し、ストリーミング受信部208にストリーミング映像音声を供給する。   When receiving the broadcast program reception start notification from the broadcast program reception unit 204, the broadcast wave reception processing unit 203 receives the broadcast program from the broadcast device 100 and supplies the broadcast program to the broadcast program reception unit 204. In addition, when receiving a download file reception start notification from the download reception unit 206, the broadcast wave reception processing unit 203 receives the download file from the broadcast device 100 and supplies the download file to the download reception unit 206. Further, upon receiving the streaming video / audio reception start notification from the streaming receiving unit 208, the broadcast wave reception processing unit 203 receives the streaming video / audio from the broadcasting device 100 and supplies the streaming video / audio to the streaming receiving unit 208.

また、放送波受信処理部203は、放送波の受信状態を常時監視し、一定周期(例えば、15秒周期)で平均値を取り、保存する。保存先は、例えば、放送波受信処理部内のバッファメモリとする。   The broadcast wave reception processing unit 203 constantly monitors the reception state of the broadcast wave, takes an average value at a constant cycle (for example, a cycle of 15 seconds), and stores it. The storage destination is, for example, a buffer memory in the broadcast wave reception processing unit.

放送プログラム受信部204は、定期的(例えば、1時間に1回)に放送波受信処理部203に放送プログラムの受信開始通知を行い、放送装置100が放送する放送プログラムを放送波受信処理部203経由で受信する。また、受信した放送プログラムを放送プログラム保存部205に保存する。放送プログラム保存部205は、放送プログラム受信部204から供給される放送プログラムを保存する。   The broadcast program receiving unit 204 periodically notifies the broadcast wave reception processing unit 203 of reception of a broadcast program (for example, once an hour), and the broadcast program received by the broadcast device 100 is broadcasted. Receive via. The received broadcast program is stored in the broadcast program storage unit 205. The broadcast program storage unit 205 stores the broadcast program supplied from the broadcast program reception unit 204.

ダウンロード受信部206は、放送プログラム保存部205中のダウンロード放送用プログラムを取得し、各ダウンロードファイルの放送時間に、放送波受信処理部203に該当のダウンロードファイルの受信開始通知を行い、ダウンロードファイルを放送波受信処理部203経由で受信する。また、受信したダウンロードコンテンツをダウンロード保存部207に保存する。ダウンロード保存部207は、ダウンロード受信部206から供給されるダウンロードファイルを保存する。   The download receiving unit 206 acquires the download broadcast program in the broadcast program storage unit 205, notifies the broadcast wave reception processing unit 203 of reception start of the corresponding download file at the broadcast time of each download file, and downloads the download file. Received via the broadcast wave reception processing unit 203. The received download content is stored in the download storage unit 207. The download storage unit 207 stores the download file supplied from the download reception unit 206.

ストリーミング受信部208は、ユーザインタフェース部201から通知される視聴者の視聴開始、及び希望チャンネルに応じて、放送波受信処理部203に該当のストリーミング映像音声の受信開始通知を行い、ストリーミング映像音声を放送波受信処理部203経由で受信する。また、受信中のストリーミング映像音声をストリーミング一時記憶部209に保存する。ストリーミング再生部210は、ストリーミング一時記憶部209に保存されているストリーミングコンテンツの再生を行う。また、ストリーミング再生部210は、ストリーミングコンテンツ再生において、広告コンテンツの箇所に到達したか否かを判定し、広告コンテンツに到達したと判定すると、後述するように、受信状態に応じて、ストリーミング映像音声中の広告映像音声の再生を継続するか、ダウンロードファイル(品質補完映像音声、または代替補完映像音声)への切り替え再生を実行する。記録部212は、放送波の受信状態を判定する際に用いる閾値thを保持している。   The streaming receiving unit 208 notifies the broadcast wave reception processing unit 203 of the start of reception of the corresponding streaming video / audio according to the viewer's start of viewing notified from the user interface unit 201 and the desired channel, and the streaming video / audio is transmitted. Received via the broadcast wave reception processing unit 203. Also, the streaming video / audio being received is stored in the streaming temporary storage unit 209. The streaming playback unit 210 plays back the streaming content stored in the streaming temporary storage unit 209. Also, when the streaming playback unit 210 determines whether or not the location of the advertisement content has been reached in the playback of the streaming content, and determines that the advertising content has been reached, the streaming video / audio is streamed according to the reception state, as will be described later. The playback of the advertisement video / sound in the middle is continued, or switching to the download file (quality supplemental video / sound or alternative supplemental video / sound) is performed. The recording unit 212 holds a threshold th used when determining the reception state of the broadcast wave.

図7は、ストリーミング映像音声の再生処理の一例を示す概念図である。
ストリーミング再生部210は、ストリーミング映像音声の再生時に、放送波受信処理部203にて管理されている放送波受信レベルの平均値avn(当該広告コンテンツの直前の平均値)を取得する。そして、平均値avnの閾値thに対する上下によって、放送波の受信状態を判断し、平均値avnが閾値th以上の場合には、当該ストリーミング映像音声中の広告映像音声の再生を行い、平均値avnが閾値thより小さい場合には、ダウンロードファイル(品質補完映像音声、または代替補完映像音声)の再生処理を行う。
FIG. 7 is a conceptual diagram illustrating an example of streaming video / audio reproduction processing.
The streaming playback unit 210 acquires the average value avn of the broadcast wave reception level managed by the broadcast wave reception processing unit 203 (the average value immediately before the advertisement content) when the streaming video / audio is played back. Then, the reception state of the broadcast wave is determined based on whether the average value avn is higher or lower than the threshold value th. When the average value avn is equal to or greater than the threshold value th, the advertising video / audio in the streaming video / audio is reproduced, Is smaller than the threshold th, a download file (quality-complementary video / audio or substitute-complementary video / audio) is played back.

なお、放送波の受信状態が非常に悪く、ストリーミング映像音声中のメタデータの検出ができない場合には、当該ストリーミング映像音声の再生を継続する。   If the reception state of the broadcast wave is very bad and metadata in the streaming video / audio cannot be detected, the reproduction of the streaming video / audio is continued.

図8は、本実施形態による携帯端末向け放送サービス提供システムの全体動作を説明するためのフローチャートである。まず、携帯端末200において、ユーザインタフェース部201がユーザの操作情報を取得し(ステップSa1)、続いて、ユーザ指示を取得する(ステップSa2)。次に、ユーザインタフェース部201がストリーミング映像音声の受信開始通知があるか否かを判定し(ステップSa3)、ストリーミング映像音声の受信開始通知がない場合には、ステップSa1に戻る。   FIG. 8 is a flowchart for explaining the overall operation of the mobile terminal broadcasting service providing system according to the present embodiment. First, in the mobile terminal 200, the user interface unit 201 acquires user operation information (step Sa1), and then acquires a user instruction (step Sa2). Next, the user interface unit 201 determines whether there is a streaming video / audio reception start notification (step Sa3). If there is no streaming video / audio reception start notification, the process returns to step Sa1.

一方、ストリーミング映像音声の受信開始通知がある場合には、ストリーミング受信部208がストリーミング映像音声の受信を開始し(ステップSa4)、受信中のストリーミング映像音声が広告コンテンツの箇所に到達したか否かを判定する(ステップSa5)。ここで、受信中のストリーミング映像音声が広告コンテンツの箇所に到達していない場合には、ストリーミング再生部210で受信中のストリーミング映像音声をそのまま再生する(ステップSa9)。   On the other hand, if there is a streaming video / audio reception start notification, the streaming receiving unit 208 starts receiving the streaming video / audio (step Sa4), and whether or not the streaming video / audio being received has reached the location of the advertisement content. Is determined (step Sa5). Here, if the streaming video / audio being received has not reached the location of the advertisement content, the streaming video / audio being received is reproduced as it is by the streaming playback unit 210 (step Sa9).

一方、受信中のストリーミング映像音声が広告コンテンツの箇所に到達した場合には、ストリーミング受信部208が放送波受信処理部203から放送波の受信レベルの平均値avnを取得し(ステップSa6)、受信レベルの平均値avnが閾値th以下であるか否かを判定する(ステップSa7)。そして、受信レベルの平均値avnが閾値th以下でない場合、すなわち、十分な受信信号強度がある場合には、上述したステップSa9に進み、ストリーミング再生部210で受信中のストリーミング映像音声をそのまま再生する。   On the other hand, when the received streaming video / audio reaches the location of the advertisement content, the streaming reception unit 208 acquires the average value avn of the broadcast wave reception level from the broadcast wave reception processing unit 203 (step Sa6). It is determined whether or not the average level value avn is equal to or less than the threshold value th (step Sa7). If the average value avn of the reception level is not less than or equal to the threshold th, that is, if there is a sufficient received signal strength, the process proceeds to step Sa9 described above, and the streaming video / audio being received by the streaming playback unit 210 is played back as it is. .

一方、受信レベルの平均値avnが閾値th以下である場合には、受信状態の劣化によって、広告コンテンツ映像や、音声が停止、またはスキップされる可能性があるので、ダウンロードファイル再生処理を実施する(ステップSa8)。   On the other hand, when the average value avn of the reception level is equal to or less than the threshold th, the download content reproduction process is performed because there is a possibility that the advertisement content video and audio may be stopped or skipped due to the deterioration of the reception state. (Step Sa8).

ダウンロードファイル再生処理では、当該広告映像音声に対する品質補完映像音声の有無判断、代替補完映像音声の有無の判断が実施され、品質補完映像音声、及び代替補完映像音声のいずれも存在しない場合には、当該ストリーム映像音声中の広告映像音声の再生が行われる。   In the download file playback process, the presence / absence of quality-complementary video / audio and the presence / absence of alternative-complementary video / audio are determined for the advertisement video / audio. The advertisement video / audio in the stream video / audio is reproduced.

図9は、本実施形態によるダウンロードコンテンツ再生処理の動作を説明するためのフローチャートである。まず、ダウンロードファイルがあるか否かを判定し(ステップSb1)、ダウンロードファイルがない場合には、そのまま、ストリーミング再生部210で広告コンテンツ映像音声の再生を継続する(ステップSb8)。一方、ダウンロードファイルがある場合には、品質補完映像音声を検索する(ステップSb2)。   FIG. 9 is a flowchart for explaining the operation of the download content reproduction process according to the present embodiment. First, it is determined whether or not there is a download file (step Sb1). If there is no download file, the streaming playback unit 210 continues to play the advertisement content video and audio (step Sb8). On the other hand, if there is a download file, the quality-complementary video / audio is searched (step Sb2).

品質補完映像音声有無判断は、品質補完映像音声用メタデータの「広告主」、「広告タイトル」、「広告時間」とダウンロードファイルの広告提示判断メタデータの「広告主」、「広告タイトル」、「広告時間」との各項目の比較により行われる。各項目比較後の結果の論理積を取り、真となるものが、当該ストリーム映像音声中の広告映像音声の品質補完映像音声として選択される。なお、品質補完映像音声の検索処理の詳細については後述する。   Quality supplemental video / audio presence / absence judgment is based on “Advertiser”, “Advertising title”, “Advertising time” of quality supplemental video / audio metadata and “Advertiser”, “Advertising title” This is done by comparing each item with “Advertising time”. The logical product of the results after comparison of each item is calculated, and the one that is true is selected as the quality-complementary video / audio of the advertising video / audio in the stream video / audio. Details of the quality-complementary video / audio search process will be described later.

次に、品質補完映像音声の検索結果に基づいて、該当する品質補完映像音声があったか否かを判定し(ステップSb3)、該当する品質補完映像音声があれば、該品質補完映像音声を再生する(ステップSb4)。一方、該当する品質補完映像音声がない場合には、代替補完映像音声を検索する(ステップSb5)。   Next, based on the search result of the quality-complementary video / audio, it is determined whether or not there is a corresponding quality-complementary video / audio (step Sb3). (Step Sb4). On the other hand, if there is no relevant quality-complementary video / audio, an alternative complementary video / audio is searched (step Sb5).

代替補完映像音声有無判断は、図9に示すように、一次選択、二次選択、三次選択と段階的に処理される。一次選択は、代替補完映像音声用メタデータの「広告主」、「広告時間」と広告提示判断メタデータの「広告主」、「広告時間」との各項目、及び個人特性情報の「現在日付」、「現在時刻」と広告判断メタデータの「広告期間」、「広告時刻」との各項目の比較により行われる。各項目比較後の結果の論理積を取り、真となるものが、一次選択結果として複数選択される。   As shown in FIG. 9, the determination of the presence / absence of alternative complementary video / audio is processed step by step as primary selection, secondary selection, and tertiary selection. The primary selection is “Advertiser”, “Advertising time” in the alternative complementary video / audio metadata, “Advertiser”, “Advertising time” in the advertisement presentation judgment metadata, and “Current date” in the personal characteristic information. ”,“ Current time ”and“ advertisement period ”and“ advertisement time ”in the advertisement determination metadata. A logical product of the results after each item comparison is calculated, and a plurality of true ones are selected as primary selection results.

二次選択は、一次選択により選択されたものに対して、まず、代替補完映像音声用メタデータの「ジャンル」、「サブジャンル」と広告提示判断メタデータの「ジャンル」、「サブジャンル」との比較を行い、各項目比較後の結果の論理積を取り、真となるものが、キーワード処理の対象となる。キーワード処理は、代替補完映像音声用メタデータの「キーワード」と広告判断提示メタデータの「キーワード」との比較を行い、キーワード一致数のカウントを行う。二次選択結果では、キーワードの一致数に応じて点数付けをされたものが複数選択される。   For the secondary selection, first, the “genre” and “subgenre” of the alternative complementary video / audio metadata and the “genre” and “subgenre” of the advertisement presentation determination metadata are selected. Are compared, and the logical product of the results after the comparison of each item is calculated. The keyword processing compares the “keyword” of the alternative complementary video / audio metadata with the “keyword” of the advertisement determination presentation metadata, and counts the number of keyword matches. In the secondary selection result, a plurality of scored points are selected according to the number of matching keywords.

三次選択は、二次選択結果のうち、点数の最も高いものが選択される。一次選択、二次選択、三次選択の過程の中で、選択候補がなくなった際には、代替補完映像音声有無判断結果は、代替補完映像音声なしとなる。なお、代替補完映像音声の検索処理の詳細については後述する。   In the tertiary selection, the secondary selection result having the highest score is selected. When there is no selection candidate in the process of primary selection, secondary selection, and tertiary selection, the alternative complementary video / audio presence / absence determination result is no alternative complementary video / audio. The details of the alternative complementary video / audio search processing will be described later.

次に、代替補完映像音声の検索結果に基づいて、該当する代替補完映像音声があったか否かを判定し(ステップSb6)、該当する代替補完映像音声があれば、該代替補完映像音声を再生する(ステップSb7)。一方、該当する代替補完映像音声がない場合には、上述したステップSb8で、そのまま、ストリーミング再生部210で広告コンテンツ映像音声の再生を継続する。   Next, based on the search result of the alternative complementary video / audio, it is determined whether there is a corresponding alternative complementary video / audio (step Sb6). If there is a corresponding alternative complementary video / audio, the alternative complementary video / audio is reproduced. (Step Sb7). On the other hand, if there is no corresponding alternative complement video / audio, the streaming playback unit 210 continues to play the advertising content video / audio in the above-described step Sb8.

次に、図10は、本実施形態による、上述した品質補完映像音声の検索処理(Sb2)の一例を説明するためのフローチャートである。まず、品質補完映像音声用メタデータを取得し(ステップSc1)、ダウンロードファイル数をカウントし、nとする(ステップSc2)。次に、ループカウンタiを「1」とし(ステップSc3)、ダウンロードファイル数n分、次のステップSc4〜Sc11を繰り返し実行する。   Next, FIG. 10 is a flowchart for explaining an example of the above-described quality-complementary video / audio search processing (Sb2) according to the present embodiment. First, the quality-complementary video / audio metadata is acquired (step Sc1), and the number of download files is counted and set to n (step Sc2). Next, the loop counter i is set to “1” (step Sc3), and the following steps Sc4 to Sc11 are repeatedly executed for the number of download files n.

まず、i番目のダウンロードファイルを取得し(ステップSc5)、広告提示判断メタデータを取得する(ステップSc6)。次に、品質補完映像音声用メタデータの「広告主」と広告提示判断メタデータの「広告主」とが一致するか否かを判定し(ステップSc7)、双方が一致すれば、次に、品質補完映像音声用メタデータの「広告タイトル」と広告提示判断メタデータの「広告タイトル」とが一致するか否かを判定し(ステップSc8)、双方が一致すれば、次に、品質補完映像音声用メタデータの「広告時間」と広告提示判断メタデータの「広告時間」とが一致するか否かを判定する(ステップSc9)。   First, the i-th download file is acquired (step Sc5), and advertisement presentation determination metadata is acquired (step Sc6). Next, it is determined whether or not the “advertiser” of the quality-complementary video / audio metadata and the “advertiser” of the advertisement presentation determination metadata match (step Sc7). It is determined whether the “advertising title” of the quality-complementary video / audio metadata matches the “advertising title” of the advertisement presentation determination metadata (step Sc8). It is determined whether or not the “advertisement time” of the audio metadata matches the “advertisement time” of the advertisement presentation determination metadata (step Sc9).

そして、上記判定のうち、いずれか1つでも一致しなければ(ステップSc7のNO or ステップSc8のNO or ステップSc9のNO)、ループカウンタiを「1」だけインクリメントし(ステップSc10)、ステップSc11でステップSc4に戻り、次のダウンロードファイルについて同様の処理を繰り返す。   If any one of the above determinations does not match (NO in step Sc7 or NO in step Sc8 or NO in step Sc9), the loop counter i is incremented by “1” (step Sc10), and step Sc11. In step Sc4, the same processing is repeated for the next download file.

一方、上記判定で、全ての項目が一致した場合には(ステップSc7のYES and ステップSc8のYE Sand ステップSc9のYES)、その時点のダウンロードファイル、すなわち、i番目のダウンロードファイルのファイル名を記録し(ステップSc13)、図9のステップSb3へ進む。   On the other hand, if all the items match in the above determination (YES in step Sc7 and YES in step Sc8 and YES in step Sc9), the download file at that time, that is, the file name of the i-th download file is recorded. (Step Sc13), the process proceeds to Step Sb3 in FIG.

上述したように、ダウンロードファイル数n分繰り返すまで、ループカウンタiを「1」づつインクリメントしながら、順次、ダウンロードファイルに対して、品質補完映像音声用メタデータと広告提示判断メタデータとの各項目を比較し、全てが一致したダウンロードファイルが、当該ストリーム映像音声中の広告映像音声の品質補完映像音声として選択され、ストリーミング映像音声(広告映像音声)に代えて、再生されることになる。   As described above, each item of the quality-complementary video / audio metadata and the advertisement presentation determination metadata is sequentially added to the download file while incrementing the loop counter i by “1” until the download file number n is repeated. The downloaded files that match all are selected as the quality-complementary video / audio of the advertising video / audio in the stream video / audio, and are reproduced instead of the streaming video / audio (advertisement video / audio).

図11乃至図13は、本実施形態による、上述した代替補完映像音声の検索処理(Sb5)の一例を説明するためのフローチャートである。まず、代替補完映像音声用メタデータを取得し(ステップSd1)、個人特性情報から「現在日付」、「現在時刻」を取得し(ステップSd2)、ダウンロードファイル数をカウントし、nとする(ステップSd3)。次に、ループカウンタiを「1」とし(ステップSd4)、ダウンロードファイル数n分、次のステップSd5〜Sd14を繰り返し実行する。   11 to 13 are flowcharts for explaining an example of the above-described alternative complementary video / audio search processing (Sb5) according to the present embodiment. First, alternative complementary video / audio metadata is acquired (step Sd1), "current date" and "current time" are acquired from the personal characteristic information (step Sd2), the number of downloaded files is counted, and set to n (step). Sd3). Next, the loop counter i is set to “1” (step Sd4), and the following steps Sd5 to Sd14 are repeatedly executed for the number of download files n.

まず、i番目のダウンロードファイルを取得し(ステップSd6)、広告提示判断メタデータを取得する(ステップSd7)。次に、代替補完映像音声用メタデータの「広告主」と広告提示判断メタデータの「広告主」とが一致するか否かを判定し(ステップSd8)、双方が一致すれば、次に、代替補完映像音声用メタデータの「広告時間」と広告提示判断メタデータの「広告時間」とが一致するか否かを判定し(ステップSd9)、双方が一致すれば、次に、個人特性情報の「現在日付」と広告判断メタデータの「広告期間」とを比較して、現在日付が広告期間内であるか否かを判定し(ステップSd10)、現在日付が広告期間内であれば、さらに、個人特性情報の「現在時刻」と広告判断メタデータの「広告時刻」とを比較し、現在時刻が広告時刻であるか判定する(ステップSd11)。   First, the i-th download file is acquired (step Sd6), and advertisement presentation determination metadata is acquired (step Sd7). Next, it is determined whether or not the “advertiser” of the alternative complementary video / audio metadata matches the “advertiser” of the advertisement presentation determination metadata (step Sd8). It is determined whether or not the “advertising time” of the alternative complementary video / audio metadata matches the “advertising time” of the advertisement presentation determination metadata (step Sd9). Is compared with the “advertisement period” of the advertisement determination metadata to determine whether the current date is within the advertisement period (step Sd10). If the current date is within the advertisement period, Further, the “current time” of the personal characteristic information and the “advertisement time” of the advertisement determination metadata are compared to determine whether the current time is the advertisement time (step Sd11).

そして、上記判定のうち、いずれか1つでも一致しなければ(ステップSd8のNO or ステップSd9のNO or ステップSd10のNO or ステップSd11のNO)、ループカウンタiを「1」だけインクリメントし(ステップSd13)、ステップSd14でステップSd5に戻り、次のダウンロードファイルについて同様の処理を繰り返す。   If any one of the above determinations does not match (NO in step Sd8, NO in step Sd9 or NO in step Sd10, or NO in step Sd11), the loop counter i is incremented by “1” (step Sd8). Sd13), returning to step Sd5 in step Sd14, the same processing is repeated for the next download file.

一方、上記判定で、全ての項目が一致した場合には(ステップSd8のYES and ステップSd9のYES and ステップSd10のYES and ステップSd11のYES)、i番目のダウンロードファイルのファイル名を記録し(ステップSd12)、上述したステップSd13で、ループカウンタiを「1」だけインクリメントし、ステップSd14でステップSd5に戻り、次のダウンロードファイルについて同様の処理を繰り返す。   On the other hand, if all items match in the above determination (YES in step Sd8 and YES in step Sd9 and YES in step Sd10 and YES in step Sd11), the file name of the i-th download file is recorded (step In step Sd12), the loop counter i is incremented by “1” in step Sd13 described above, the process returns to step Sd5 in step Sd14, and the same processing is repeated for the next download file.

そして、ダウンロードファイル数分(n回)の処理が終わると、記録済みのダウンロードファイル名の有無、記録した数、ファイル名を出力する(ステップSd15)。これにより、上述した一次選択結果が得られる。   When the processing for the number of download files (n times) is completed, the presence / absence of recorded download file names, the number recorded, and the file names are output (step Sd15). Thereby, the primary selection result mentioned above is obtained.

次に、一次選択結果数をカウントし、nとする(ステップSd16)。次に、一次選択結果数nがゼロ、すなわち1つも選択されなかったか否かを判定し(ステップSd17)、一次選択結果数nがゼロであれば、前述した図9のステップSb6で「NO」となり、ステップSb8へ進み、広告コンテンツ映像音声が再生されることになる。   Next, the number of primary selection results is counted and set to n (step Sd16). Next, it is determined whether or not the number of primary selection results n is zero, that is, no selection has been made (step Sd17). If the number of primary selection results n is zero, “NO” is determined in step Sb6 of FIG. 9 described above. Thus, the process proceeds to step Sb8, and the advertising content video / audio is reproduced.

一方、一次選択結果数nがゼロでなければ、すなわち、少なくとも1つでもダウロードファイルが選択されていれば、個人特性情報「ジャンル」、「サブジャンル」、「キーワード」を取得する(ステップSd18)。次に、ループカウンタiを「1」とし(ステップSd19)、一次選択結果数n分、次のステップSd20〜Sd28を繰り返し実行する。   On the other hand, if the number n of primary selection results is not zero, that is, if at least one download file is selected, personal characteristic information “genre”, “sub-genre”, and “keyword” are acquired (step Sd18). . Next, the loop counter i is set to “1” (step Sd19), and the following steps Sd20 to Sd28 are repeatedly executed for the number of primary selection results n.

まず、一次選択結果の中のi番目のダウンロードファイルを取得し(ステップSd21)、広告提示判断メタデータを取得する(ステップSd22)。次に、個人特性情報の「ジャンル」と広告提示判断メタデータの「ジャンル」とが一致するか否かを判定し(ステップSd23)、双方が一致すれば、次に、個人特性情報の「サブジャンル」と広告提示判断メタデータの「サブジャンル」とが一致するか否かを判定する(ステップSd24)。   First, the i-th download file in the primary selection result is acquired (step Sd21), and advertisement presentation determination metadata is acquired (step Sd22). Next, it is determined whether or not the “genre” of the personal characteristic information matches the “genre” of the advertisement presentation determination metadata (step Sd23). It is determined whether or not “genre” matches the “sub-genre” of the advertisement presentation determination metadata (step Sd24).

そして、上記判定のうち、1つでも一致しなければ(ステップSd23のNO or ステップSd24のNO)、ループカウンタiを「1」だけインクリメントし(ステップSd27)、ステップSd28でステップSd20に戻り、次の一次候補結果のダウンロードファイルについて同様の処理を繰り返す。   If even one of the above determinations does not match (NO in step Sd23 or NO in step Sd24), the loop counter i is incremented by “1” (step Sd27), and the process returns to step Sd20 in step Sd28. The same process is repeated for the downloaded file of the primary candidate result.

一方、上記判定で、全ての項目が一致した場合には(ステップSd23のYES and ステップSd24のYES)、キーワード一致数をカウントし(ステップSd25)、i番目のダウンロードファイル名とキーワード一致数とを記録し(ステップSd26)、上述したステップSd27で、ループカウンタiを「1」だけインクリメントし、ステップSd28でステップSd20に戻り、次のダウンロードファイルについて同様の処理を繰り返す。   On the other hand, if all items match in the above determination (YES in step Sd23 and YES in step Sd24), the number of keyword matches is counted (step Sd25), and the i-th download file name and the number of keyword matches are calculated. Record (step Sd26), increment the loop counter i by “1” in step Sd27 described above, return to step Sd20 in step Sd28, and repeat the same processing for the next download file.

そして、一次選択結果数分(n回)の処理が終わると、記録済みのダウンロードファイル名の有無、数、キーワード一致数、ファイル名を出力する(ステップSd29)。これにより、上述した二次選択結果として、キーワードの一致数に応じて点数付けをされたものが複数選択される。   When the processing for the number of primary selection results (n times) is completed, the presence / absence, number of keyword downloads, number of keyword matches, and file names are output (step Sd29). As a result, a plurality of points selected according to the number of matching keywords are selected as the secondary selection results described above.

次に、二次選択結果数をカウントし、nとする(ステップSd30)。次に、二次選択結果数nがゼロ、すなわち1つも選択されなかったか否かを判定し(ステップSd31)、二次選択結果数nがゼロであれば、前述した図9のステップSb6で「NO」となり、ステップSb8へ進み、広告コンテンツ映像音声が再生されることになる。   Next, the number of secondary selection results is counted and set to n (step Sd30). Next, it is determined whether or not the number n of secondary selection results is zero, that is, no one has been selected (step Sd31). If the number n of secondary selection results is zero, the above-described step Sb6 in FIG. NO ", the process proceeds to step Sb8, and the advertising content video / audio is reproduced.

一方、二次選択結果数nがゼロでなければ、すなわち、一次選択で少なくとも1つでもダウロードファイルが選択されていれば、ループカウンタiを「1」とし(ステップSd32)、二次選択結果の中のi番目のファイル名、キーワード一致数を取得し、File_cmpに保存する(ステップSd33)。次に、ループカウンタiを「1」だけインクリメントし(ステップSd34)、二次選択結果数n分、次のステップSd35〜Sd40を繰り返し実行する。   On the other hand, if the number of secondary selection results n is not zero, that is, if at least one download file is selected in the primary selection, the loop counter i is set to “1” (step Sd32), and the secondary selection result The i-th file name and the number of keyword matches are acquired and stored in File_cmp (step Sd33). Next, the loop counter i is incremented by “1” (step Sd34), and the next steps Sd35 to Sd40 are repeatedly executed for the number n of secondary selection results.

まず、二次選択結果の中のi番目のファイル名、キーワード一致数を取得し、File_tmpに保存する(ステップSd36)。このとき、ループカウンタiは、既に「1」だけインクリメントされているので、ステップSd33でのFile_cmpと、ステップS36でのFile_tmpとは、二次選択結果の中の異なるダウンロードファイルのファイル名、キーワード一致数であることに注意されたい。   First, the i-th file name and keyword matching number in the secondary selection result are acquired and stored in File_tmp (step Sd36). At this time, since the loop counter i has already been incremented by “1”, File_cmp in Step Sd33 and File_tmp in Step S36 match the file name and keyword of different download files in the secondary selection result. Note that it is a number.

次に、File_tmpのキーワード一致数がFile_cmpのキーワード一致数より大であるか否かを判定する(ステップSd37)。そして、File_tmpのキーワード一致数の方が小さいならば(ステップSd37のNO)、ループカウンタiを「1」だけインクリメントし(ステップSd38)、ステップSd40でステップSd35に戻り、次の二次候補結果のダウンロードファイルについて同様の処理を繰り返す。   Next, it is determined whether the keyword match number of File_tmp is larger than the keyword match number of File_cmp (step Sd37). If the number of keyword matches in File_tmp is smaller (NO in step Sd37), the loop counter i is incremented by “1” (step Sd38), the process returns to step Sd35 in step Sd40, and the next secondary candidate result is obtained. Repeat the process for the downloaded file.

一方、File_tmpのキーワード一致数の方が大きければ(ステップSd37のYES)、File_tmpの内容を、File_cmpにコピーし(ステップSd39)、ステップSd40でステップSd35に戻り、次の二次候補結果のダウンロードファイルについて同様の処理を繰り返す。   On the other hand, if the number of keyword matches of File_tmp is larger (YES in step Sd37), the contents of File_tmp are copied to File_cmp (step Sd39), the process returns to step Sd35 in step Sd40, and the download file of the next secondary candidate result Repeat the same process for.

上記ステップSd35〜Sd40を繰り返すことにより、二次候補のうち、キーワード一致数が最も大きいダウンロードファイルのファイル名、キーワード一致数がFile_cmpに残ることになる。   By repeating the above steps Sd35 to Sd40, the file name and the keyword matching number of the download file having the largest keyword matching number among the secondary candidates remain in File_cmp.

そして、二次次選択結果数分(n回)の処理が終わると、検索結果の有無、もしくはFile_cmpの内容(最終的に三次選択候補として残ったダウンロードファイルのファイル名)を出力する(ステップSd41)。これにより、三次選択結果として、二次選択結果のうち、点数(キーワード一致数)の最も高いものが選択される。   When the processing for the number of secondary selection results (n times) is completed, the presence or absence of the search result or the contents of File_cmp (the file name of the download file finally remaining as the tertiary selection candidate) is output (step Sd41). ). As a result of the secondary selection, the secondary selection result having the highest score (keyword matching number) is selected.

上述した実施形態によれば、携帯電話や、カー・ナビゲーション・システムなどで放送波を受信可能な携帯端末に対して、TV放送中のニュースや、ドラマなどの番組映像音声や、商品広告のための広告映像音声をストリーミングとして視聴者に提供するサービスにおいて、放送波の受信状態が悪く、ストリーミング中の広告映像音声を視聴者に正しく提示できない場合であっても、携帯端末に既にダウンロードされている広告映像音声を視聴者に提示することにより、ストリーミング中の広告映像音声を補完することができる。   According to the above-described embodiment, for mobile terminals capable of receiving broadcast waves by a mobile phone, a car navigation system, etc., for TV broadcast news, program video / audio such as dramas, and product advertisements. In a service that provides viewers with streaming advertising video and audio, even if the broadcast wave reception status is poor and the streaming advertising video and audio cannot be correctly presented to the viewer, it has already been downloaded to the mobile terminal By presenting the advertising video / audio to the viewer, the advertising video / audio being streamed can be complemented.

また、携帯端末にダウンロードされている広告映像音声を視聴者に提示するときにおいて、受信中のストリーミング映像音声の広告映像音声と同一のダウンロードされた広告映像音声を視聴者に提示することにより、ストリーミング中の広告映像音声の品質補完をすることができる。   In addition, when the advertisement video / audio downloaded to the mobile terminal is presented to the viewer, the downloaded advertisement video / audio that is the same as the advertisement video / audio of the streaming video / audio being received is presented to the viewer. It is possible to supplement the quality of advertisement video and audio inside.

また、ダウンロードされている広告映像音声からストリーミング中の広告映像音声と同一の広告映像音声を検索できなかった場合であっても、ダウンロードされている広告映像音声の中から、視聴者の個人特性に近い広告映像音声を代替広告映像音声として視聴者に提示することができる。   In addition, even if it is not possible to search the same advertising video and audio as the streaming advertising video and audio from the downloaded advertising video and audio, the personal characteristics of the viewer can be determined from the downloaded advertising video and audio. The near advertisement video / audio can be presented to the viewer as the alternative advertisement video / audio.

なお、上述した実施形態において、上述した放送装置100、携帯端末200による各処理部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、各種処理を実現してもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものであってもよい。また、「コンピュータシステム」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、フラッシュメモリ等の書き込み可能な不揮発性メモリ、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。   In the above-described embodiment, a program for realizing the functions of the processing units by the broadcasting device 100 and the mobile terminal 200 described above is recorded on a computer-readable recording medium, and the program recorded on the recording medium is recorded. Various processes may be realized by being read and executed by a computer system. Here, the “computer system” may include an OS and hardware such as peripheral devices. Further, the “computer system” includes a homepage providing environment (or display environment) if a WWW system is used. The “computer-readable recording medium” means a flexible disk, a magneto-optical disk, a ROM, a writable nonvolatile memory such as a flash memory, a portable medium such as a CD-ROM, a hard disk built in a computer system, etc. This is a storage device.

さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(例えばDRAM(Dynamic Random Access Memory))のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であっても良い。   Further, the “computer-readable recording medium” means a volatile memory (for example, DRAM (Dynamic DRAM) in a computer system that becomes a server or a client when a program is transmitted through a network such as the Internet or a communication line such as a telephone line. Random Access Memory)), etc., which hold programs for a certain period of time. The program may be transmitted from a computer system storing the program in a storage device or the like to another computer system via a transmission medium or by a transmission wave in the transmission medium. Here, the “transmission medium” for transmitting the program refers to a medium having a function of transmitting information, such as a network (communication network) such as the Internet or a communication line (communication line) such as a telephone line. The program may be for realizing a part of the functions described above. Furthermore, what can implement | achieve the function mentioned above in combination with the program already recorded on the computer system, and what is called a difference file (difference program) may be sufficient.

本発明の実施形態による携帯端末向け放送サービス提供システムの全体的な構成を示すブロック図である。It is a block diagram which shows the whole structure of the broadcast service provision system for portable terminals by embodiment of this invention. 本実施形態による放送装置の機能構成の概要を示すブロック図である。It is a block diagram which shows the outline | summary of the function structure of the broadcasting apparatus by this embodiment. 本実施形態による携帯端末の機能構成の概要を示すブロック図である。It is a block diagram which shows the outline | summary of the function structure of the portable terminal by this embodiment. 本実施形態による、ストリーミング映像音声の放送用に用いられるストリーミングファイルの一例を示す概念図である。It is a conceptual diagram which shows an example of the streaming file used for the broadcast of audio | voice streaming audio | voice by this embodiment. 本実施形態による、ダウンロードファイルの一例を示す概念図である。It is a conceptual diagram which shows an example of the download file by this embodiment. 本実施形態ストリーミング映像音声の再生処理の一例を示す概念図である。による、個人特性情報の一例を示す概念図である。It is a conceptual diagram which shows an example of the reproduction | regeneration processing of the streaming video / audio of this embodiment. It is a conceptual diagram which shows an example of personal characteristic information by. 本実施形態による、ストリーミング映像音声の再生処理の一例を示す概念図である。It is a conceptual diagram which shows an example of the reproduction | regeneration processing of a streaming video audio | voice by this embodiment. 本実施形態による携帯端末向け放送サービス提供システムの全体動作を説明するためのフローチャートである。It is a flowchart for demonstrating the whole operation | movement of the broadcasting service provision system for portable terminals by this embodiment. 本実施形態によるダウンロードコンテンツ再生処理の動作を説明するためのフローチャートである。It is a flowchart for demonstrating operation | movement of the download content reproduction | regeneration processing by this embodiment. 本実施形態による、上述した品質補完映像音声の検索処理(Sb2)の一例を説明するためのフローチャートである。It is a flowchart for demonstrating an example of the search process (Sb2) of the quality complementation video sound mentioned above by this embodiment. 本実施形態による、上述した代替補完映像音声の検索処理(Sb5)の一例を説明するためのフローチャートである。It is a flowchart for demonstrating an example of the search process (Sb5) of the alternative complement video | voice sound mentioned above by this embodiment. 本実施形態による、上述した代替補完映像音声の検索処理(Sb5)の一例を説明するためのフローチャートである。It is a flowchart for demonstrating an example of the search process (Sb5) of the alternative complement video | audio sound mentioned above by this embodiment. 本実施形態による、上述した代替補完映像音声の検索処理(Sb5)の一例を説明するためのフローチャートである。It is a flowchart for demonstrating an example of the search process (Sb5) of the alternative complement video | audio sound mentioned above by this embodiment.

符号の説明Explanation of symbols

100 放送装置
101 放送波送信処理部
102 放送プログラム送信部
103 放送プログラム生成部
104 放送プログラム保存部
105 ストリーミング送信部
106 ストリーミング保存部
107 ダウンロード送信部
108 ダウンロード保存部
109、201 ユーザインタフェース部
200 携帯端末
202 個人特性情報保存部
203 放送波受信処理部
204 放送プログラム受信部
205 放送プログラム保存部
206 ダウンロード受信部
207 ダウンロード保存部
208 ストリーミング受信部
209 ストリーミング一時記憶部
210 ストリーミング再生部
211 現在日時管理部
300 放送アンテナ
DESCRIPTION OF SYMBOLS 100 Broadcast apparatus 101 Broadcast wave transmission process part 102 Broadcast program transmission part 103 Broadcast program production | generation part 104 Broadcast program preservation | save part 105 Streaming transmission part 106 Streaming preservation | save part 107 Download transmission part 108 Download preservation | save part 109, 201 User interface part 200 Portable terminal 202 Personal characteristic information storage unit 203 Broadcast wave reception processing unit 204 Broadcast program reception unit 205 Broadcast program storage unit 206 Download reception unit 207 Download storage unit 208 Streaming reception unit 209 Streaming temporary storage unit 210 Streaming playback unit 211 Current date and time management unit 300 Broadcast antenna

Claims (9)

番組映像音声及び広告映像音声を含む放送波をストリーミング映像音声として受信可能な携帯端末であって、
放送波の受信状態を監視する監視手段と、
受信中のストリーミング映像音声とは別に放送波の受信状態が良いときに広告映像音声をダウンロードするダウンロード手段と、
前記ダウンロード手段によりダウンロードされた広告映像音声を保存する保存手段と、
前記受信中のストリーミング映像音声において前記広告映像音声の箇所に到達したか否かを判定する到達判定手段と、
前記到達判定手段により広告映像音声の箇所に到達したと判定されると、前記監視手段による受信状態に基づいて、前記受信中のストリーミング映像音声に含まれる広告映像音声に代えて、前記保存手段に保存されている前記ダウンロードされた広告映像音声を提示する提示手段と
を備えることを特徴とする携帯端末。
A portable terminal capable of receiving broadcast waves including program video audio and advertisement video audio as streaming video audio,
Monitoring means for monitoring the reception state of the broadcast wave;
Downloading means for downloading the advertising video and audio when the reception state of the broadcast wave is good separately from the streaming video and audio being received,
Storage means for storing the advertising video and audio downloaded by the download means;
Arrival determination means for determining whether or not the advertisement video / audio part has been reached in the streaming video / audio being received;
If it is determined by the arrival determining means that the location of the advertising video / audio has been reached, the storage means replaces the advertising video / audio included in the streaming video / audio being received based on the reception state by the monitoring means. Presenting means for presenting the stored advertisement video and audio stored therein.
前記監視手段は、前記放送波の受信状態を監視するに際し、放送波の受信レベルの一定周期における平均値を取得する平均値取得手段を備え、
所定の閾値を予め記憶する記憶手段と、
前記平均値取得手段により取得された受信レベルの平均値と前記記憶手段に記憶されている所定の閾値とを比較する比較手段を更に備え、
前記提示手段は、
前記比較手段による比較の結果、前記受信レベルの平均値が前記所定の閾値以上である場合、受信中のストリーミング映像音声に含まれる広告映像音声の再生を行い、前記受信レベルの平均値が前記所定の閾値を下回った場合、前記受信中のストリーミング映像音声に含まれる広告映像音声に代えて、前記保存手段に保存されている前記ダウンロードされた広告映像音声を提示する、
ことを特徴とする請求項1記載の携帯端末。
The monitoring means includes an average value acquisition means for acquiring an average value in a predetermined cycle of the reception level of the broadcast wave when monitoring the reception state of the broadcast wave,
Storage means for storing a predetermined threshold value in advance;
Comparing means for comparing the average value of the reception levels acquired by the average value acquiring means with a predetermined threshold value stored in the storage means,
The presenting means is
As a result of the comparison by the comparison means, when the average value of the reception level is equal to or greater than the predetermined threshold, the advertising video / audio included in the streaming video / audio being received is reproduced, and the average value of the reception level is the predetermined level Less than the threshold value of the streaming video and audio being received, in place of the advertising video and audio, the downloaded advertising video and audio stored in the storage means is presented,
The mobile terminal according to claim 1.
前記受信中のストリーミング映像音声に含まれる広告映像音声に付加されたメタデータと、前記ダウンロードされた広告映像音声に付加されたメタデータとを取得するメタデータ取得手段と、
前記メタデータ取得手段により取得された、前記受信中のストリーミング映像音声に含まれる広告映像音声に付加されたメタデータと前記ダウンロードされた広告映像音声に付加されたメタデータとに基づいて、前記ダウンロードされた広告映像音声の中から、前記受信中のストリーミング映像音声に含まれる広告映像音声と同一の広告映像音声を検索する第1の検索手段と、
を有し、
前記提示手段は、
前記受信中のストリーミング映像音声に含まれる広告映像音声の代わりに、前記第1の検索手段により検索された、前記ダウンロードされた広告映像音声を提示する、
ことを特徴とする請求項1または2記載の携帯端末。
Metadata acquisition means for acquiring metadata added to the advertising video and audio included in the streaming video and audio being received, and metadata added to the downloaded advertising video and audio;
The download based on the metadata added to the advertising video / audio included in the streaming video / audio being received and the metadata added to the downloaded advertising video / audio acquired by the metadata acquisition means. First searching means for searching for the same advertising video and audio as the advertising video and audio included in the received streaming video and audio from the advertising video and audio that have been received;
Have
The presenting means is
Presenting the downloaded advertising video and audio searched by the first search means instead of the advertising video and audio included in the streaming video and audio being received.
The mobile terminal according to claim 1, wherein the mobile terminal is a mobile terminal.
視聴者の個人特性情報を予め記憶する個人特性情報記憶手段と、
前記ダウンロードされた広告映像音声に付加されたメタデータと前記個人特性情報記憶手段から読み出した個人特性情報との相関関係を取得する相関取得手段と、
前記相関取得手段により取得された相関関係に基づいて、前記ダウンロードされた広告映像音声の中から、前記視聴者の個人特性に合致する広告映像音声を検索する第2の検索手段と、
を有し、
前記提示手段は、
前記受信中のストリーミング映像音声に含まれる広告映像音声の代わりに、前記第2の検索手段により検索された、ダウンロードされた広告映像音声を提示する、
ことを特徴とする請求項1から3のいずれかに記載の携帯端末。
Personal characteristic information storage means for storing the personal characteristic information of the viewer in advance;
Correlation acquisition means for acquiring a correlation between metadata added to the downloaded advertisement video and audio and personal characteristic information read from the personal characteristic information storage means;
Based on the correlation acquired by the correlation acquisition means, a second search means for searching for the advertisement video and audio that matches the personal characteristics of the viewer from the downloaded advertisement video and audio;
Have
The presenting means is
Presenting the downloaded advertising video and audio searched by the second search means instead of the advertising video and audio included in the streaming video and audio being received.
The mobile terminal according to claim 1, wherein the mobile terminal is a mobile terminal.
番組映像音声及び広告映像音声を含む放送波をストリーミング映像音声とし携帯端末で受信して視聴者に提示する放送サービス提示方法であって、
放送波の受信状態を監視するステップと、
受信中のストリーミング映像音声とは別に放送波の受信状態が良いときに広告映像音声をダウンロードするステップと、
前記ダウンロードされた広告映像音声を保存するステップと、
前記受信中のストリーミング映像音声において前記広告映像音声の箇所に到達したか否かを判定するステップと、
広告映像音声の箇所に到達したと判定されると、前記放送波の受信状態に基づいて、前記受信中のストリーミング映像音声に含まれる広告映像音声に代えて、前記ダウンロードされた広告映像音声を提示するステップと
を含むことを特徴とする放送サービス提示方法。
A broadcast service presentation method for receiving broadcast waves including program video audio and advertisement video audio as streaming video audio by a mobile terminal and presenting them to a viewer,
Monitoring the reception status of the broadcast wave;
Downloading advertisement video and audio when the reception condition of the broadcast wave is good separately from the streaming video and audio being received;
Storing the downloaded advertising video and audio;
Determining whether or not the advertisement video / audio portion has been reached in the streaming video / audio being received;
When it is determined that the location of the advertisement video / audio is reached, the downloaded advertisement video / audio is presented instead of the advertisement video / audio included in the streaming video / audio being received based on the reception state of the broadcast wave A broadcasting service presentation method comprising the steps of:
前記放送波の受信状態を監視するステップは、放送波の受信レベルの一定周期における平均値を取得するステップを含み、
前記放送サービス提示方法は、
所定の閾値を予め記憶するステップと、
前記取得された受信レベルの平均値と前記所定の閾値とを比較するステップと
を更に含み、
前記広告映像音声を提示するステップにおいて、
前記比較の結果、前記受信レベルの平均値が前記所定の閾値以上である場合、受信中のストリーミング映像音声に含まれる広告映像音声の再生を行い、前記受信レベルの平均値が前記所定の閾値を下回った場合、前記受信中のストリーミング映像音声に含まれる広告映像音声に代えて、前記ダウンロードされた広告映像音声を提示する、
ことを特徴とする請求項5記載の放送サービス提示方法。
The step of monitoring the reception state of the broadcast wave includes the step of obtaining an average value in a certain cycle of the reception level of the broadcast wave,
The broadcast service presentation method includes:
Storing a predetermined threshold in advance;
Comparing the acquired average value of the received levels with the predetermined threshold,
In the step of presenting the advertising video and audio,
As a result of the comparison, when the average value of the reception level is equal to or greater than the predetermined threshold, the advertising video / audio included in the streaming video / audio being received is reproduced, and the average value of the reception level exceeds the predetermined threshold. If it falls below, instead of the advertising video and audio included in the streaming video and audio being received, the downloaded advertising video and audio is presented,
6. A broadcast service presentation method according to claim 5, wherein:
前記受信中のストリーミング映像音声に含まれる広告映像音声に付加されたメタデータと、前記ダウンロードされた広告映像音声に付加されたメタデータとを取得するステップと、
前記取得された受信中のストリーミング映像音声に含まれる広告映像音声に付加されたメタデータと前記ダウンロードされた広告映像音声に付加されたメタデータとに基づいて、前記ダウンロードされた広告映像音声の中から、受信中のストリーミング映像音声に含まれる広告映像音声と同一の広告映像音声を検索するステップと
を更に含み、
前記広告映像音声を提示するステップにおいて、
前記受信中のストリーミング映像音声に含まれる広告映像音声の代わりに、前記検索された、ダウンロードされた広告映像音声を提示する、
ことを特徴とする請求項5または6記載の放送サービス提示方法。
Obtaining metadata added to the advertising video / audio included in the streaming video / audio being received, and metadata added to the downloaded advertising video / audio;
Based on the metadata added to the advertising video / audio included in the acquired streaming video / audio being received and the metadata added to the downloaded advertising video / audio, And searching for the same advertising video and audio as the advertising video and audio included in the received streaming video and audio,
In the step of presenting the advertising video and audio,
Presenting the retrieved downloaded advertisement video / audio instead of the advertisement video / audio included in the streaming video / audio being received.
The method of presenting a broadcast service according to claim 5 or 6.
視聴者の個人特性情報を記憶するステップと、
前記ダウンロードされた広告映像音声に付加されたメタデータと前記個人特性情報との相関関係を取得するステップと、
前記取得された相関関係に基づいて、ダウンロードされた広告映像音声の中から、視聴者の個人特性に合致する広告映像音声を検索するステップと
を更に含み、
前記広告映像音声を提示するステップにおいて、
前記受信中のストリーミング映像音声に含まれる広告映像音声の代わりに、前記検索された、ダウンロードされた広告映像音声を提示する、
ことを特徴とする請求項5から7のいずれかに記載の放送サービス提示方法。
Storing viewer personal characteristics information;
Obtaining a correlation between the metadata added to the downloaded advertisement video and audio and the personal characteristic information;
Searching for an advertising video / audio that matches the personal characteristics of the viewer from the downloaded advertising video / audio based on the acquired correlation; and
In the step of presenting the advertising video and audio,
Presenting the retrieved downloaded advertisement video / audio instead of the advertisement video / audio included in the streaming video / audio being received.
The broadcast service presentation method according to claim 5, wherein:
請求項5から8のいずれかに記載の放送サービス提示方法をコンピュータに実行させるためのプログラム。   A program for causing a computer to execute the broadcast service presentation method according to claim 5.
JP2008327442A 2008-12-24 2008-12-24 Mobile terminal, broadcasting service presentation method, and program Expired - Fee Related JP5121692B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008327442A JP5121692B2 (en) 2008-12-24 2008-12-24 Mobile terminal, broadcasting service presentation method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008327442A JP5121692B2 (en) 2008-12-24 2008-12-24 Mobile terminal, broadcasting service presentation method, and program

Publications (2)

Publication Number Publication Date
JP2010154010A true JP2010154010A (en) 2010-07-08
JP5121692B2 JP5121692B2 (en) 2013-01-16

Family

ID=42572619

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008327442A Expired - Fee Related JP5121692B2 (en) 2008-12-24 2008-12-24 Mobile terminal, broadcasting service presentation method, and program

Country Status (1)

Country Link
JP (1) JP5121692B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012023592A (en) * 2010-07-15 2012-02-02 Sharp Corp Digital broadcast receiver, digital broadcast reception method, computer program and computer-readable storage medium

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002344399A (en) * 2001-05-16 2002-11-29 Matsushita Electric Ind Co Ltd Information distributing system, apparatus thereof and receiving terminal
JP2004356884A (en) * 2003-05-28 2004-12-16 Toshiba Corp Television receiver

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002344399A (en) * 2001-05-16 2002-11-29 Matsushita Electric Ind Co Ltd Information distributing system, apparatus thereof and receiving terminal
JP2004356884A (en) * 2003-05-28 2004-12-16 Toshiba Corp Television receiver

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012023592A (en) * 2010-07-15 2012-02-02 Sharp Corp Digital broadcast receiver, digital broadcast reception method, computer program and computer-readable storage medium

Also Published As

Publication number Publication date
JP5121692B2 (en) 2013-01-16

Similar Documents

Publication Publication Date Title
KR100754676B1 (en) Apparatus and method for managing electronic program guide data in digital broadcasting reception terminal
US9432424B2 (en) User-selected media content blocking
US20050144637A1 (en) Signal output method and channel selecting apparatus
US20120089911A1 (en) Bookmarking System
KR20100122486A (en) Techniques to consume content and metadata
US20070162935A1 (en) Program search device
KR100807735B1 (en) Apparatus and method for processing broadcast data in a digital multimedia broadcasting terminal
TWI376948B (en) Method, device and storage medium for frame specification
US20110138418A1 (en) Apparatus and method for generating program summary information regarding broadcasting content, method of providing program summary information regarding broadcasting content, and broadcasting receiver
JP2007166363A (en) Information processing apparatus and method, and program
JP2006350925A (en) Program retrieval support system
US20190082226A1 (en) System and method for recommendations for smart foreground viewing among multiple tuned channels based on audio content and user profiles
JP4645102B2 (en) Advertisement receiver and advertisement receiving system
JP2012134980A (en) System and method of providing personalized service
JP2008098793A (en) Receiving device
JP5121692B2 (en) Mobile terminal, broadcasting service presentation method, and program
KR20070012058A (en) Electronic program guide method and apparatus using captured still image of digital multimedia broadcasting
KR20150030669A (en) Reception device, information processing method, program, transmission device and application linking system
JP2007294020A (en) Recording and reproducing method, recording and reproducing device, recording method, recording device, reproducing method, and reproducing device
JP3569441B2 (en) Similar program search device, similar program search method, and medium recording similar program search program
EP2723067B1 (en) Information-providing system, reception device, and information management server
JP7084859B6 (en) Transmitter and transmission method
JP7084860B6 (en) Transmission / reception system
JP7084858B6 (en) Receiver and receiving method
JP2007068042A (en) Receiving device and method

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20100526

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20101217

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120726

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120731

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120927

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121016

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121023

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151102

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151102

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees