JP5977612B2 - Source device, sink device, system, program, and storage medium - Google Patents

Source device, sink device, system, program, and storage medium Download PDF

Info

Publication number
JP5977612B2
JP5977612B2 JP2012163966A JP2012163966A JP5977612B2 JP 5977612 B2 JP5977612 B2 JP 5977612B2 JP 2012163966 A JP2012163966 A JP 2012163966A JP 2012163966 A JP2012163966 A JP 2012163966A JP 5977612 B2 JP5977612 B2 JP 5977612B2
Authority
JP
Japan
Prior art keywords
state change
information
source device
sink device
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012163966A
Other languages
Japanese (ja)
Other versions
JP2014027360A (en
Inventor
林 宏之
宏之 林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2012163966A priority Critical patent/JP5977612B2/en
Publication of JP2014027360A publication Critical patent/JP2014027360A/en
Application granted granted Critical
Publication of JP5977612B2 publication Critical patent/JP5977612B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、シンク機器にコンテンツを供給するソース機器、そのようなソース機器から供給されたコンテンツを出力するシンク機器、及び、そのようなソース機器とシンク機器とを含むシステムに関する。また、コンピュータをそのようなソース機器として動作させるためのプログラム、及び、そのようなプログラムが記録された記録媒体に関する。   The present invention relates to a source device that supplies content to a sink device, a sink device that outputs content supplied from such a source device, and a system including such a source device and a sink device. The present invention also relates to a program for operating a computer as such a source device, and a recording medium on which such a program is recorded.

近年、機器間の双方向通信、例えばHDMI(High-Definition Multimedia Interface)を搭載するテレビジョン受信装置(以下、「テレビ」と称する。)、レコーダ等が普及し、シンク機器であるテレビと、テレビにコンテンツ等を提供するソース機器とをHDMIケーブルを介して接続することが一般的となっている。HDMIケーブルを介して接続されたテレビとソース機器とは、映像信号および音声信号に加え、CEC(Consumer Electronics Control)コマンドを互いに送受信する。   In recent years, two-way communication between devices, for example, television receivers (hereinafter referred to as “TVs”), recorders and the like equipped with HDMI (High-Definition Multimedia Interface) have become widespread. It is common to connect a source device that provides content or the like via an HDMI cable. The TV and the source device connected via the HDMI cable transmit and receive a CEC (Consumer Electronics Control) command to each other in addition to the video signal and the audio signal.

CECコマンドを用いれば、テレビからソース機器を制御したり、ソース機器からテレビを制御したりすることによって、これまでにはなかった利便性をユーザに提供することが可能になる。例えば、テレビの入力ソースを、コンテンツの再生を開始したソース機器に自動的に切り替えることができる。HDMIの詳細については、例えば、非特許文献1に記載されている。   By using the CEC command, it becomes possible to provide the user with unprecedented convenience by controlling the source device from the television or controlling the television from the source device. For example, the input source of the television can be automatically switched to the source device that has started playing the content. Details of HDMI are described in Non-Patent Document 1, for example.

さらに、Micro・HDMIコネクタが規格化されたことに伴い、今後、携帯機器とテレビ等とをHDMI接続し、携帯機器によって再生されたコンテンツをテレビに表示させるなどの利用場面の増加が見込める。例えば、昨今の携帯端末は、静止画コンテンツ、動画コンテンツ、及び音声コンテンツを再生する機能を有しており、ソース機器として利用することができる。スマートフォン、PDA、携帯型デジタルオーディオプレーヤ、デジタルカメラなどの携帯機器も同様である。   Furthermore, with the standardization of the Micro / HDMI connector, an increase in usage scenes such as connecting a portable device to a television or the like and displaying content reproduced by the portable device on the television can be expected in the future. For example, recent portable terminals have a function of reproducing still image content, moving image content, and audio content, and can be used as a source device. The same applies to portable devices such as smartphones, PDAs, portable digital audio players, and digital cameras.

下記特許文献1は、シンク機器が出力するコンテンツをシンク機器に供給するソース機器において、ソース機器の状態をシンク機器に表示させるためのコマンドであって、ソース機器の状態を指定する状態指定情報を含むコマンドを発行するものである。
これにより、ソース機器の状態がシンク機器に表示され、結果として、ソース機器の状態をより確実にユーザに報知することができるという利点がある。
Patent Document 1 listed below is a command for causing the sink device to display the state of the source device in the source device that supplies the content output by the sink device to the sink device, and includes state designation information for designating the state of the source device. Issue commands that contain.
Thereby, the state of the source device is displayed on the sink device, and as a result, there is an advantage that the state of the source device can be more reliably notified to the user.

特開2012−5116号公報JP 2012-5116 A

High-Definition Multimedia Interface Specification Version 1.3a, November 10 2006High-Definition Multimedia Interface Specification Version 1.3a, November 10 2006

上記のように、特許文献1では、ソース機器の状態がそのままシンク機器に表示されるため、ソース機器の映像表示部等で表示されるコンテンツ等の映像と、それに重畳される表示の両方で状態変化が表示されるため、ユーザにとって煩雑であった。つまり、シンク機器の映像表示部の2か所で表示されるため、ユーザがどちらを注視すればいいのかわからない問題がある。   As described above, in Patent Document 1, since the state of the source device is displayed as it is on the sink device, the state of both the video such as the content displayed on the video display unit of the source device and the display superimposed on it is displayed. Since the change is displayed, it is complicated for the user. That is, since it is displayed at two places on the video display unit of the sink device, there is a problem that the user does not know which to watch.

例えば、特許文献1では、携帯電話(ソース機器)からテレビ(シンク機器)に映像を出力している場合は、ユーザはテレビを注視しており、状態変化の通知をユーザが見落とす可能性が高いことを鑑みて、携帯電話(ソース機器)がテレビに接続されている場合は、テレビに携帯電話の状態変化が通知され、テレビに状態変化の内容を表示することを開示している。これは、携帯電話(ソース機器)からテレビ(シンク機器)へ出力する映像は、動画コンテンツの再生画面やカメラで撮影した静止画を全画面表示していて、携帯電話(ソース機器)の状態変化がテレビ(シンク機器)へ送信している映像に含まれない場合や、携帯電話(ソース機器)とテレビ(シンク機器)とが接続はされているが、テレビ(シンク機器)では携帯電話(ソース機器)からの映像ではなく放送番組などを表示している場合には有効な手段であった。   For example, in Patent Document 1, when a video is output from a mobile phone (source device) to a television (sink device), the user is watching the television, and the user is likely to overlook notification of a state change. In view of this, it is disclosed that when a mobile phone (source device) is connected to a television, a change in the state of the mobile phone is notified to the television and the contents of the state change are displayed on the television. This is because the video output from the mobile phone (source device) to the TV (sink device) is a full-screen display of the video content playback screen or still images taken by the camera, and the state of the mobile phone (source device) changes. Is not included in the video being sent to the TV (sink device), or the mobile phone (source device) is connected to the TV (sink device), but the mobile phone (source) is connected to the TV (sink device). This is an effective means when a broadcast program or the like is displayed instead of the video from the device.

しかしながら、携帯電話(ソース機器)からテレビ(シンク機器)へ送信する画像は前記のような全画面表示の映像ばかりではなく、携帯電話(ソース機器)の「LCDパネル」に表示される通常の映像(待ち受け画面のような映像、画像)でソース機器の状態変化が表示されるものや、動画コンテンツを全画面で表示していても重要度の高い状態変化は動画コンテンツの映像に重畳して状態変化が表示される場合があり、テレビ(シンク機器)において、携帯電話(ソース機器)からの映像と通知された状態変化により表示した内容との同様の通知が2重に表示されて煩雑な表示等になってしまうという問題があった。
本発明は、上記の煩雑な表示等の問題を解決することを目的とする。
However, the image transmitted from the mobile phone (source device) to the TV (sink device) is not only a full-screen video as described above, but also a normal video displayed on the “LCD panel” of the mobile phone (source device). (Video, image such as standby screen) The state change of the source device is displayed, or even if the video content is displayed in full screen, the state change with high importance is superimposed on the video content video Changes may be displayed, and on the TV (sink device), the same notification as the video displayed from the mobile phone (source device) and the content displayed by the notified state change is displayed twice and is complicated. There was a problem of becoming.
An object of the present invention is to solve the problems such as the complicated display described above.

本発明の一観点によれば、シンク機器が出力するコンテンツ情報を供給するソース機器であって、前記ソース機器の状態変化を検出する状態変化検出部と、前記状態変化検出部で検出された前記ソース機器の状態変化を通知するための状態変化情報を生成する通知情報生成部と、前記状態変化情報の通知先がコンテンツ情報を送るシンク機器であるか否かを判定する通知先判定部と、を有し、前記状態変化情報を通知する状態変化情報通知部は、前記状態変化情報を受け取るシンク機器と前記コンテンツ情報を受け取るシンク機器とが同じシンク機器である場合には、前記状態変化情報を前記シンク機器には通知しないことを特徴とするソース機器が提供される。
前記ソース機器の状態の変化を示す状態変化情報を受け取るシンク機器がコンテンツ情報を受け取るシンク機器とは異なる場合には、前記状態変化情報を前記シンク機器に通知することが好ましい。
前記状態変化情報を前記ソース機器において報知する状態変化情報報知部を有し、前記状態変化情報報知部は、前記状態変化情報通知部が前記状態変化情報を前記シンク機器に通知しない場合には、前記ソース機器において前記状態変化情報を報知することを特徴とする。
さらに、コンテンツ情報を送るシンク機器がコンテンツを送信中であるか否かを判定するコンテンツ送信状態判定部を有し、前記状態変化情報通知部は、前記状態変化情報を受け取るシンク機器と前記コンテンツ情報を受け取るシンク機器とが同じシンク機器である場合であっても、前記コンテンツ情報の送信中でないと判定された場合には、前記ソース機器の状態変化を通知することが好ましい。
前記状態変化情報通知部は、状態変化の重要度、緊急度に依存して、状態変化の通知対象シンク機器数を増減、通知の態様の認知性を増減させることが好ましい。
また、本発明は、ソース機器から供給されたコンテンツ情報を出力するシンク機器であって、前記ソース機器の状態変化を検出するソース機器状態変化発生検出部と、前記ソース機器からの状態変化の内容を解釈する通知情報解釈部と、前記通知情報解釈部の解釈に基づいて、前記コンテンツ情報又はソース機器の状態変化に基づく出力を出力部に指示する出力指示部と、を有し、前記通知情報解釈部は、状態変化に関する表示をシンク機器で判断する必要があるか否かを判断し、表示しているコンテンツのシンク機器と、状態変化の通知を送信してきたシンク機器とが同一の場合は、状態変化に関する表示をシンク機器で行わないと判断する表示要否判断部を有することを特徴とするシンク機器である。
前記ソース機器からの状態変化の内容は、ソース機器側では特別な通知要否判断が行われなかったか否かを含む内容であっても良い。前記コンテンツを提供するソース機器と、状態変化情報を通知するソース機器とが同一の場合には、状態変化に関する表示をシンク機器では行わないようにすると良い。
また、本発明は、シンク機器が出力するコンテンツ情報を供給するソース機器であって、前記ソース機器の状態変化を検出する状態変化検出部と、前記状態変化検出部で検出された前記ソース機器の状態変化を通知するための状態変化情報を生成する通知情報生成部と、前記状態変化情報の通知先がコンテンツ情報を送るシンク機器であるか否かを判定する通知先判定部と、を有し、前記状態変化情報を通知する状態変化情報通知部は、前記状態変化情報を受け取るシンク機器と前記コンテンツ情報を受け取るシンク機器とが同じシンク機器である場合には、前記状態変化情報を前記シンク機器には通知しないことを特徴とするソース機器と、前記ソース機器から供給されたコンテンツ情報を出力するシンク機器であって、前記ソース機器の状態変化を検出するソース機器状態変化発生検出部と、前記ソース機器からの状態変化の内容を解釈する通知情報解釈部と、前記通知情報解釈部の解釈に基づいて、前記コンテンツ情報又はソース機器の状態変化に基づく出力を出力部に指示する出力指示部と、を有することを特徴とするシンク機器と、を有することを特徴とするシステムである。
本発明の他の観点によれば、シンク機器が出力するコンテンツ情報を、シンク機器に供給するソース機器における処理方法であって、前記ソース機器の状態変化を検出する状態変化検出ステップと、前記状態変化検出ステップで検出された前記ソース機器の状態変化を通知するための状態変化情報を生成する通知情報生成ステップと、前記状態変化情報の通知先がコンテンツ情報を送るシンク機器であるか否かを判定する通知先判定ステップと、を有し、前記状態変化情報を通知する状態変化情報通知ステップにおいて、前記ソース機器の状態の変化を示す状態変化情報を受け取るシンク機器がコンテンツ情報を受け取るシンク機器とは異なる場合には、前記状態変化情報を前記シンク機器に通知することを特徴とする処理方法が提供される。
シンク機器側で判断を行うことで、シンク機器側にある人感センサ等によって状態変化が通知されたときにユーザが表示部を注視していない可能性が高いことを判断して、ユーザが注視するまでは、別途状態変化情報を携帯端末側から供給されるコンテンツ(映像等)に重畳してシンク機器側で表示し続けるなどの処理が可能となる。
本発明は、コンピュータに上記に記載の処理方法を実行させるためのプログラムであっても良く、当該プログラムを記録するコンピュータ読み取り可能な記録媒体であっても良い。
According to an aspect of the present invention, a source device that supplies content information output by a sink device, the state change detection unit that detects a state change of the source device, and the state change detection unit that detects the state change A notification information generation unit that generates state change information for notifying a state change of the source device, a notification destination determination unit that determines whether the notification destination of the state change information is a sink device that sends content information, The state change information notifying unit that notifies the state change information includes the state change information when the sink device that receives the state change information and the sink device that receives the content information are the same sink device. A source device is provided that does not notify the sink device.
When the sink device that receives the state change information indicating the state change of the source device is different from the sink device that receives the content information, it is preferable that the state change information is notified to the sink device.
The state change information notification unit that notifies the state change information in the source device, and the state change information notification unit, when the state change information notification unit does not notify the sink device of the state change information, The state change information is reported in the source device.
Furthermore, it has a content transmission state determination part which determines whether the sink device which transmits content information is transmitting the content, The said state change information notification part receives the said state change information, and said content information Even when the sink device that receives the information is the same sink device, it is preferable to notify the state change of the source device when it is determined that the content information is not being transmitted.
It is preferable that the state change information notification unit increases or decreases the number of sink devices to be notified of the state change and increases or decreases the cognition of the notification mode depending on the importance and urgency of the state change.
In addition, the present invention is a sink device that outputs content information supplied from a source device, the source device state change occurrence detection unit that detects a state change of the source device, and the contents of the state change from the source device A notification information interpreting unit that interprets the content information or an output instruction unit that instructs the output unit to output based on a change in the state of the source device based on the interpretation of the notification information interpreting unit. The interpretation unit determines whether or not the display regarding the state change needs to be determined by the sink device, and if the sink device of the displayed content is the same as the sink device that transmitted the state change notification The sink device is characterized by having a display necessity determination unit that determines that the display regarding the state change is not performed by the sink device.
The content of the status change from the source device may include content indicating whether or not a special notification necessity determination has not been performed on the source device side. When the source device that provides the content and the source device that notifies the state change information are the same, it is preferable not to display the state change on the sink device.
In addition, the present invention provides a source device that supplies content information output by a sink device, the state change detecting unit that detects a state change of the source device, and the source device detected by the state change detecting unit. A notification information generation unit that generates state change information for notifying a state change; and a notification destination determination unit that determines whether or not the notification destination of the state change information is a sink device that transmits content information. The state change information notifying unit for notifying the state change information is configured to send the state change information to the sink device when the sink device that receives the state change information and the sink device that receives the content information are the same sink device. And a sink device that outputs content information supplied from the source device, wherein the source device A source device state change occurrence detection unit for detecting a state change, a notification information interpretation unit for interpreting the content of the state change from the source device, and the content information or the source device based on the interpretation of the notification information interpretation unit And a sink device characterized by having an output instruction unit that instructs the output unit to output based on a state change.
According to another aspect of the present invention, there is provided a processing method in a source device that supplies content information output by a sink device to the sink device, the state change detecting step for detecting a state change of the source device, and the state A notification information generating step for generating state change information for notifying the state change of the source device detected in the change detection step, and whether or not the notification destination of the state change information is a sink device that sends content information. A sink device that receives content information from a sink device that receives state change information indicating a change in the state of the source device in the state change information notification step of notifying the state change information. Is provided, a processing method is provided that notifies the sink device of the state change information.
By determining on the sink device side, it is determined that there is a high possibility that the user is not gazing at the display unit when a state change is notified by a human sensor or the like on the sink device side, and the user pays attention Until this is done, processing such as separately displaying state change information superimposed on content (video or the like) supplied from the mobile terminal side and continuing display on the sink device side becomes possible.
The present invention may be a program for causing a computer to execute the processing method described above, or a computer-readable recording medium for recording the program.

本発明によれば、ソース機器からのコンテンツを表示している場合は、状態変化通知を行わず、状態変化通知による表示が行われないため、シンク機器に同じ内容の状態変化通知が表示されないのでわずらわしくないという利点がある。   According to the present invention, when the content from the source device is displayed, the state change notification is not performed, and the display by the state change notification is not performed. Therefore, the same state change notification is not displayed on the sink device. There is an advantage that it is not bothersome.

本発明の一実施の形態によるソース機器、シンク機器等のシステムの一構成例を示す機能ブロック図であり、基本原理を示す図である。It is a functional block diagram which shows one structural example of systems, such as a source device and a sink device, by one embodiment of this invention, and is a figure which shows a basic principle. 本実施の形態によるソース/シンク機器の処理の流れを示すフローチャート図である。It is a flowchart figure which shows the flow of a process of the source / sink apparatus by this Embodiment. 本実施の形態によるソース機器の処理の流れを示すフローチャート図である。It is a flowchart figure which shows the flow of a process of the source device by this Embodiment. 本実施の形態によるソース機器の映像出力指示に関する処理の流れを示すフローチャート図である。It is a flowchart figure which shows the flow of the process regarding the video output instruction | indication of the source device by this Embodiment. 本実施の形態によるソース機器、シンク機器等を含むシステムAの一構成例を示す機能ブロック図である。It is a functional block diagram which shows the example of 1 structure of the system A containing the source device, sink device, etc. by this Embodiment. 本実施の形態によるシステムのより詳細な構成例を示す機能ブロック図である。It is a functional block diagram which shows the more detailed structural example of the system by this Embodiment. 通知情報指示部の一構成例を示す機能ブロック図である。It is a functional block diagram which shows the example of 1 structure of a notification information instruction | indication part. 映像出力指示部一構成例を示す機能ブロック図である。It is a functional block diagram which shows the example of 1 structure of a video output instruction | indication part. ソース機器の通知情報解析部23の一構成例を示す機能ブロック図である。It is a functional block diagram which shows the example of 1 structure of the notification information analysis part 23 of a source device. ソース機器である携帯端末Cの外観構成例を示す図である。It is a figure which shows the example of an external appearance structure of the portable terminal C which is a source device. テレビの外観構成例を示す図である。It is a figure which shows the external appearance structural example of a television. HDMI規格に基づくシンク機器とソース機器との連携を含むシステム構成例を示す図である。FIG. 2 is a diagram illustrating a system configuration example including cooperation between a sink device and a source device based on the HDMI standard. Wi−Fiなどの無線経由でソース機器からシンク機器へ映像を送信する構成例を示す図である。It is a figure which shows the structural example which transmits an image | video from a source device to a sink device via wireless, such as Wi-Fi. 無線による状態変化の通知システムの一例を示す図である。It is a figure which shows an example of the notification system of a state change by a radio | wireless. 本実施の形態の変形例による映像コンテンツを表示する制御を行うシンク機器の選択処理例(図12(a))と、状態通知先の選択処理例(図12(b))の流れの一例を示すフローチャート図である。An example of a flow of a selection process example of a sink device (FIG. 12A) that performs control to display video content according to a modification of the present embodiment and a state notification destination selection process example (FIG. 12B) FIG.

本明細書において、状態変化情報とは、ソース機器における状態の変化に関する情報である。ここで、機器などの状態変化とは、例えばソース機器が携帯端末である場合は、電話の着信をした、メール受信をした、あらかじめ設定していた時刻がきた、緊急地震速報を受信した、電池残量が少なくなった、無線が圏外となった、ソフトウェア更新が発生した、インストールしているアプリケーションが新着情報取得したなど、機能に基づく状態の変化(メールであれば、未受信から受信などへの変化)のことなどである。また、コンテンツの例として映像コンテンツを例にして説明するが、これに限定されるものではない。
以下、本発明の実施の形態によるソース機器、シンク機器、システム、プログラム及び記憶媒体(以下、「ソース機器、シンク機器等」と称する。)について、図面を参照しながら詳細に説明する。本明細書において、ソース機器とは、シンク機器が出力するコンテンツ等を供給する機器である。シンク機器とは、ソース機器から供給されたコンテンツを出力する機器又はソース機器の状態の変化を示す状態変化情報を出力する機器であり、両方の機能を兼ねることもできる。以下により詳細に説明する。
In this specification, the state change information is information relating to a state change in the source device. Here, for example, if the source device is a mobile terminal, the status change of the device etc. means that a call has been received, a mail has been received, a preset time has arrived, an earthquake early warning has been received, a battery State changes based on functions, such as when the remaining amount is low, the wireless is out of service area, software update has occurred, the installed application has received new information, etc. Change). Moreover, although video content is described as an example of content, the present invention is not limited to this.
Hereinafter, a source device, a sink device, a system, a program, and a storage medium (hereinafter referred to as “source device, sink device, etc.”) according to an embodiment of the present invention will be described in detail with reference to the drawings. In this specification, a source device is a device that supplies content output from a sink device. The sink device is a device that outputs content supplied from the source device or a device that outputs state change information indicating a change in the state of the source device, and can also serve as both functions. This will be described in more detail below.

図1は、本実施の形態によるソース機器、シンク機器を含むシステムの一構成例を示す機能ブロック図であり、基本原理を示す図である。状態変化情報を通知する場合と、状態変化情報を通知しない場合の例を示す図である。図1(a)は、状態変化情報を通知する構成例であり、図1(b)は、状態変化情報を通知しない例を示す図である。図1(a)に示すシステムA1では、映像・ソース機器であり、かつ、状態変化情報・ソース機器である機器Cが、映像・シンク機器B1に映像(+音声)を送り、状態変化情報・シンク機器B2に、状態変化情報を送る。このように、状態変化情報を受け取るシンク機器が映像情報を受け取るシンク機器とは異なる場合には、映像・ソース機器Cは状態変化情報を通知する。
一方、図1(b)に示すシステムA2のように、状態変化情報を受け取るシンク機器と映像情報を受け取るシンク機器とが同じシンク機器B3である場合には、映像・ソース機器Cは状態変化情報を通知しない。
いずれの場合も、状態変化情報は、ソース機器Cに報知(表示)される。
FIG. 1 is a functional block diagram showing a configuration example of a system including a source device and a sink device according to the present embodiment, and shows a basic principle. It is a figure which shows the example in the case of notifying state change information, and the case where state change information is not notified. FIG. 1A is a configuration example in which state change information is notified, and FIG. 1B is a diagram illustrating an example in which state change information is not notified. In the system A1 shown in FIG. 1A, the device C, which is a video / source device and also the state change information / source device, sends video (+ audio) to the video / sink device B1, and the state change information / The state change information is sent to the sink device B2. As described above, when the sink device that receives the state change information is different from the sink device that receives the video information, the video / source device C notifies the state change information.
On the other hand, when the sink device that receives the state change information and the sink device that receives the video information are the same sink device B3 as in the system A2 shown in FIG. 1B, the video / source device C has the state change information. Do not notify.
In either case, the state change information is notified (displayed) to the source device C.

図2から図4までは、本実施の形態によるソース機器、シンク機器等の処理の流れを示すフローチャート図である。後述する図6Aから図6Dまでの各機能部が以下の処理を行うため、以下において図6Aから図6Dまでの符号を参照する。
図2に示すように、ソース機器において、例えばCPU51がプログラムを動作させ、ユーザ操作によりシンク機器の設定処理が開始され(ステップS1)、状態変化情報を通知するシンク機器を設定する(ステップS2: 図12(b)参照)。まず、ユーザ操作によりシンク機器の設定を開始し、例えば、UPnPを使い、情報変化情報の受信/処理が可能な携帯端末等のシンク機器を探索する。探索の結果、シンク機器名のリストをユーザに提示し、リストを参照したシンク機器の選択がなされる。選択されたシンク機器の機器情報をデータベースAに登録する。ここで、データベースAに登録する機器情報としては、例えば、シンク機器のIPアドレス、MACアドレス、機器名(ID)など機器に固有なものとする。
ステップS3(図3のステップS11に相当)において、通知情報指示部(ソース機器状態変化発生検出部)83−4が、ソース機器の状態変化の発生をソース機器から送信し(YES)、ステップS4において、ソース機器からシンク機器へと状態変化情報を通知され、ステップS5において、シンク機器において、通知情報解釈部23−2が、ソース機器からシンク機器へ送信された状態変化情報を解釈して表示内容を生成する。状態変化情報は、状態変化情報報知部83−4aによりソース機器Cに報知(表示)される。
尚、ソース機器からシンク機器への状態変化情報の通知方法は特に制限されないが、例えば状態変化情報を通知する一例としてHTTPを利用して状態変化情報を通知する場合を考えると、ソース機器がHTTPクライアント、シンク機器がHTTPサーバとなり、ソース機器の状態変化情報通知部83−7がシンク機器間にHTTPコネクションを生成し、ソース機器側から状態変化情報を送られる。ステップS5において、通知情報解釈部23−2が、受信した状態変化情報を解釈して、通知映像表示部23−3が、LCD画面などに通知映像の表示を行う。解釈の方法としては、XMLを用いて表現するなど、可読性/拡張性を持たせたデータフォーマットであることを想定すると、そのフォーマットを解釈して、どのような通知種別で、どのような通知内容か、ということをシンク機器側で取得/表示を行うことを意味する。ソース機器Cへの報知(表示)も、表示、音声出力など限定されない。
ここで、表示要否判断部(出力指示部)23−4が、状態変化に関する表示をシンク機器で判断する必要があるか否かを判断してもよい。例えば、後述のように、ソース機器(携帯電話)C側では特別な判断を行わずに、シンク機器(テレビ)B側で、表示している映像のシンク機器と、状態変化の通知を送信してきたシンク機器(テレビ)とが同一の場合は、状態変化に関する表示をシンク機器で行わないと判断する。
そして、必要に応じて映像を出力し(ステップS6)、処理を終了する(ステップS7)。状態変化情報がシンク機器Bに通知され表示される場合には、状態変化情報を、ソース機器Cに表示しないようにしても良い。ユーザはシンク機器B又はソース機器Cのいずれかを見ることで、状態変化を知ることができる。
2 to 4 are flowcharts showing the flow of processing of the source device, sink device, etc. according to this embodiment. Since each functional unit shown in FIGS. 6A to 6D described below performs the following processing, reference numerals in FIGS. 6A to 6D are referred to below.
As shown in FIG. 2, in the source device, for example, the CPU 51 operates a program, and the sink device setting process is started by a user operation (step S1), and the sink device that notifies the state change information is set (step S2: (Refer FIG.12 (b)). First, setting of a sink device is started by a user operation, and for example, a sink device such as a portable terminal capable of receiving / processing information change information is searched using UPnP. As a result of the search, a list of sink device names is presented to the user, and the sink device that refers to the list is selected. The device information of the selected sink device is registered in the database A. Here, the device information registered in the database A is specific to the device, such as the IP address, MAC address, and device name (ID) of the sink device.
In step S3 (corresponding to step S11 in FIG. 3), the notification information instruction unit (source device state change occurrence detection unit) 83-4 transmits the occurrence of the state change of the source device from the source device (YES), and step S4. In step S5, the state change information is notified from the source device to the sink device. In step S5, the notification information interpretation unit 23-2 interprets and displays the state change information transmitted from the source device to the sink device. Generate content. The state change information is notified (displayed) to the source device C by the state change information notification unit 83-4a.
The method for notifying the state change information from the source device to the sink device is not particularly limited. For example, when the state change information is notified using HTTP as an example of notifying the state change information, the source device is HTTP. The client and the sink device become an HTTP server, and the state change information notifying unit 83-7 of the source device generates an HTTP connection between the sink devices, and the state change information is sent from the source device side. In step S5, the notification information interpretation unit 23-2 interprets the received state change information, and the notification video display unit 23-3 displays the notification video on an LCD screen or the like. Assuming that the data format has readability / extensibility, such as expressing using XML, the interpretation method is to interpret the format, what kind of notification, what kind of notification content This means that the sink device acquires / displays. The notification (display) to the source device C is not limited to display, audio output, and the like.
Here, the display necessity determination unit (output instruction unit) 23-4 may determine whether or not the sink device needs to determine the display related to the state change. For example, as will be described later, the source device (mobile phone) C side does not make any special determination, and the sink device (TV) B side transmits a notification of state change with the sink device of the displayed video. If the sink device (television) is the same, it is determined that the display regarding the state change is not performed on the sink device.
Then, video is output as necessary (step S6), and the process is terminated (step S7). When the state change information is notified to the sink device B and displayed, the state change information may not be displayed on the source device C. The user can know the state change by looking at either the sink device B or the source device C.

図3は、ソース機器における、通知情報指示部83における状態変化の通知の要否判定処理の流れを示すフローチャート図である。まず、シンク機器探索部83−1が、シンク機器の探索を行い、コネクション生成部83−2が、シンク機器とのコネクションを生成する。そして、機器情報登録部83−3が、機器情報をメモリ55等に登録することで、事前の準備が終了する。
次いで、ステップS11において、ソース機器状態変化発生検出部83−4がソース機器の状態変化の発生を検出すると(yes)、ステップS12に進み、通知先判定部/映像送信状態判定部83−5が、通知先はソース機器が映像を出力することを設定された映像シンク機器であるか否かを判定する。
ステップS12でnoの場合には、ステップS13に進み、通知情報生成部83−6が、シンク機器へ通知する状態変化情報を生成し、状態変化情報通知部83−7が通知先のシンク機器へ状態変化情報を通知する。
一方、ステップS12でyesの場合には、ステップS14に進み、通知先判定部/映像送信状態判定部(コンテンツ送信状態判定部)83−5が、映像は送信中か否かを判定し、yesの場合には、ステップS11に戻り、noの場合には、ステップS13に進む。
ここで、ステップS12において、通知先判定部/映像送信状態判定部83−5が、通知先はソース機器が映像を出力することを設定された映像シンク機器であるか否か、すなわち、状態変化情報表示用のシンク機器と、映像表示用のシンク機器とが同一か否かを判断するのは、シンク機器のデータベースAおよび映像を表示するデータベースBに登録されている情報により行う。例えば、IPが同一か否かを照合することで状態変化情報表示用のシンク機器と、映像表示用のシンク機器とが同一か否かを判断する。そして、同一でない場合にのみ、通知先のシンク機器に状態変化情報を表示させる。
ユーザは、ひとつの状態変化の表示をシンク機器B又はソース機器Cのいずれかの表示により注視すればいいため、結果として、ユーザの煩わしさを解消することができる。
FIG. 3 is a flowchart showing the flow of the state change notification necessity determination process in the notification information instruction unit 83 in the source device. First, the sink device search unit 83-1 searches for a sink device, and the connection generation unit 83-2 generates a connection with the sink device. Then, the device information registration unit 83-3 registers the device information in the memory 55 and the like, and the preparation in advance is completed.
Next, when the source device state change occurrence detection unit 83-4 detects the occurrence of the state change of the source device (yes) in step S11, the process proceeds to step S12, where the notification destination determination unit / video transmission state determination unit 83-5 The notification destination determines whether or not the source device is a video sink device set to output video.
In the case of no in step S12, the process proceeds to step S13, in which the notification information generation unit 83-6 generates state change information to be notified to the sink device, and the state change information notification unit 83-7 to the notification destination sink device. Notifies state change information.
On the other hand, if yes in step S12, the process proceeds to step S14, where the notification destination determination unit / video transmission state determination unit (content transmission state determination unit) 83-5 determines whether the video is being transmitted. If NO, the process returns to step S11. If NO, the process proceeds to step S13.
Here, in step S12, the notification destination determination unit / video transmission state determination unit 83-5 determines whether the notification destination is a video sink device set to output video by the source device, that is, a state change. Whether the sink device for displaying information is the same as the sink device for displaying video is determined based on information registered in the database A of the sink device and the database B that displays video. For example, it is determined whether or not the state change information display sink device and the video display sink device are the same by checking whether or not the IPs are the same. Only when they are not identical, the state change information is displayed on the sink device that is the notification destination.
Since the user only has to watch the display of one state change by the display of either the sink device B or the source device C, the user's troublesomeness can be eliminated as a result.

図4は、ソース機器が、シンク機器に映像を出力させる際に、ソース機器が、映像データをWi−Fiでソース機器に送信するWi−Fi Displayを利用した場合のフローチャート図であり、ソース機器の映像出力指示部87映像の出力指示に関連する処理(ステップS15)の流れを示すフローチャート図である。
図4に示すように、映像の出力指示に関連する処理においては、まず、ステップS15−1において、ユーザ操作により出力の前処理を開始し、ステップS15−2において、シンク機器探索部87−1が、Wi−Fi Displayのシンク機器を探索する。 次いで、ステップS15−3において、コネクション生成部87−2が、ステップS15−2の探索結果に基づいて選択されたシンク機器とコネクションを生成し、ステップS15−4で、対応機器がWFD IE(Information Element)により、能力交換部87−3が、各機器の基本情報を交換する。ステップS15−2の探索結果(機器名のリスト)をユーザに提示し、ユーザがシンク機器を選択し、選択された機器とコネクション(Wi−FI DirectまたはTDLS)を生成する。ステップS15−4において、能力交換部87−3が、シンク機器と連絡し、ソース/シンク機器間で能力交換を行い(解像度、コーデック種別など)、ステップS15−5において、ストリーミング部87−4が、RTPにより映像データをソース機器からシンク機器へストリーミング指示を行い、ステップS15−6で、シンク機器でのストリーミングを開始させ、シンク機器に対してステップS15−6において、映像データ表示指示部87−5が、受信した映像データをLCD画面などに表示を促す指示を行う。ステップS15−7において、機器情報登録部87−6が、選択された機器情報をデータベースBに登録する。登録する情報は、IPアドレス、MACアドレス、機器名などユニークなものとする。なお、本例では機器情報登録は映像データ送信後に登録処理を行う例を記載したが、これより前に機器情報登録が実施されてもよい。これにより、映像シンク機器に映像が出力される。
尚、指示は、通知しない場合には、何も指示しないことなどを含む実質的な指示の有無である。
FIG. 4 is a flowchart when the source device uses Wi-Fi Display for transmitting video data to the source device via Wi-Fi when the source device outputs video to the sink device. It is a flowchart figure which shows the flow of the process (step S15) relevant to the output instruction | indication of the image | video output instruction | indication part 87 of FIG.
As shown in FIG. 4, in the processing related to the video output instruction, first, in step S15-1, output preprocessing is started by a user operation, and in step S15-2, the sink device search unit 87-1 is started. Searches for a Wi-Fi Display sink device. Next, in step S15-3, the connection generation unit 87-2 generates a connection with the sink device selected based on the search result of step S15-2, and in step S15-4, the corresponding device receives the WFD IE (Information Element), the capability exchange unit 87-3 exchanges basic information of each device. The search result (device name list) in step S15-2 is presented to the user, and the user selects a sink device and generates a connection (Wi-FI Direct or TDLS) with the selected device. In step S15-4, the capability exchange unit 87-3 communicates with the sink device and exchanges capabilities between the source / sink device (resolution, codec type, etc.). In step S15-5, the streaming unit 87-4 In step S15-6, streaming of the video data from the source device to the sink device is started by RTP, and streaming in the sink device is started in step S15-6. In step S15-6, the video data display instruction unit 87- 5 instructs to display the received video data on an LCD screen or the like. In step S15-7, the device information registration unit 87-6 registers the selected device information in the database B. Information to be registered is unique such as an IP address, a MAC address, and a device name. In this example, the device information registration is described as an example in which registration processing is performed after video data transmission, but device information registration may be performed before this. As a result, the video is output to the video sink device.
It should be noted that the instruction is the presence or absence of a substantial instruction including no instruction when not notified.

(第1の実施の形態)
以下、本発明の第1の実施の形態によるソース機器、シンク機器等について、ソース機器を携帯電話などの携帯端末、シンク機器をテレビジョン受信装置(テレビと称する。)とするシステムを例にしてより詳細に説明する。
図5は、本実施の形態によるソース機器、シンク機器等を含むシステムAの一構成例を示す機能ブロック図である。図5に示すシステムは、ソース機器として用いる携帯電話、スマートフォンなどの携帯端末Cと、シンク機器として用いるテレビBと、を有している。テレビBには、表示部7とインターフェイス部21とが設けられる。携帯電話Cにも、表示部57と、インターフェイス部77とが設けられている。ここでは、携帯電話Cが電子メールを受信した旨の状態変化を、無線(L1)によりテレビBに通知しメールを受信したという状態変化をテレビBのディスプレイ7に表示させるとともに、ソース機器である携帯電話Cの表示部57にも表示させる例が示されている。
(First embodiment)
Hereinafter, regarding the source device, the sink device, and the like according to the first embodiment of the present invention, a system in which the source device is a portable terminal such as a mobile phone and the sink device is a television receiver (referred to as a television) is taken as an example. This will be described in more detail.
FIG. 5 is a functional block diagram illustrating a configuration example of the system A including the source device, the sink device, and the like according to the present embodiment. The system illustrated in FIG. 5 includes a mobile terminal C such as a mobile phone or a smartphone used as a source device, and a television B used as a sink device. The television B is provided with a display unit 7 and an interface unit 21. The mobile phone C is also provided with a display unit 57 and an interface unit 77. Here, the state change that the mobile phone C has received the e-mail is notified to the television B by radio (L1) and the state change that the e-mail has been received is displayed on the display 7 of the television B, and is the source device. An example of display on the display unit 57 of the mobile phone C is also shown.

図6Aは、本実施の形態によるシステムのより詳細な構成例を示す機能ブロック図である。シンク機器として用いるテレビBは、例えば、CPU1と、フラッシュメモリ3と、メモリ5と、LCDパネルなどの表示部7と、スピーカ11と、リモコン受光部15と、HDMIインターフェイス(I/F)部17と、WiFiインターフェイス部(I/F部)21と、通知情報解析部23と、多重化データ分離部25と、符号化データ復号部27と、地デジチューナ31と、操作ボタン33と、を、有し、リモコン装置35などにより操作することが可能である。
ソース機器である携帯端末Cは、例えば、CPU51と、フラッシュメモリ53と、メモリ55と、LCDパネルなどの表示部57と、スピーカ61と、キーボード(入力部)63と、データ多重化部65と、データ符号化部67と、撮影ボタン71aを有するカメラ71と、ライト73と、マイク74と、HDMIのインターフェイス(I/F)部77と、W−CDMAインターフェイス(IF)部81などの通信部と、通知情報指示部83と、バイブレータ85などの受信通知部と、映像出力指示部87と、を有している。但し、これらの構成は、例示であり、発明の構成に必須でないものも含まれている。
FIG. 6A is a functional block diagram showing a more detailed configuration example of the system according to the present embodiment. The television B used as the sink device includes, for example, a CPU 1, a flash memory 3, a memory 5, a display unit 7 such as an LCD panel, a speaker 11, a remote control light receiving unit 15, and an HDMI interface (I / F) unit 17. A WiFi interface unit (I / F unit) 21, a notification information analysis unit 23, a multiplexed data separation unit 25, an encoded data decoding unit 27, a terrestrial digital tuner 31, and an operation button 33. And can be operated by the remote control device 35 or the like.
The mobile terminal C as the source device includes, for example, a CPU 51, a flash memory 53, a memory 55, a display unit 57 such as an LCD panel, a speaker 61, a keyboard (input unit) 63, a data multiplexing unit 65, A communication unit such as a data encoding unit 67, a camera 71 having a shooting button 71a, a light 73, a microphone 74, an HDMI interface (I / F) unit 77, and a W-CDMA interface (IF) unit 81. A notification information instruction unit 83, a reception notification unit such as a vibrator 85, and a video output instruction unit 87. However, these configurations are examples, and some are not essential to the configuration of the invention.

図6Bは、ソース機器である携帯端末C等の、通知情報指示部83の一構成例を示す機能ブロック図である。図6Bに示すように、通知情報指示部83は、シンク機器を探索するシンク機器探索部83−1と、HTTP等のコネクションを生成するコネクション生成部83−2と、機器情報を登録する機器情報登録部83−3と、ソース機器の状態変化の発生を検出するソース機器状態変化発生検出部83−4と、通知先を判定する通知先判定部/映像送信状態を判定する通知先判定部/映像送信状態判定部83−5と、通知情報を生成する通知情報生成部83−6と、状態変化情報をシンク機器であるテレビBに通知する状態変化情報通知部83−7と、を有している。通知先判定部83−5は、通知情報生成部83−6と状態変化情報通知部83−7との間に設けても良い。通知先判定部/映像送信状態判定部83−5は、通知先判定部と映像送信状態判定部とが独立していても良い。
図6Cは、ソース機器である携帯端末C等の、映像を出力する映像出力指示部87の一構成例を示す機能ブロック図である。映像出力指示部87は、コンテンツ等の出力対象のシンク機器を探索するシンク機器探索部87−1と、シンク機器とのコネションを生成するコネクション生成部87−2と、能力の情報を交換する能力交換部87−3と、符号化データのストリーミングを行うストリーミング部87−4と、映像データの表示を指示する映像データ表示指示部87−5と、機器情報を登録する機器情報登録部87−6と、を有している。コネクション生成部87−2が、能力交換部87−3と、シンク機器への映像符号化データのストリーミングを行うストリーミング部87−4と、シンク機器への映像の表示を指示する映像データ表示指示部87−5と、を有し、例えば、スター接続されており、複数見つかったシンクから一つ選び、そのシンク機器を識別する情報を登録し、シンクと能力交換を行い、映像データをストリーミングし、その映像出力を指示(Play)する。
図6Dは、シンク機器の通知情報解析部23の一構成例を示す機能ブロック図である。通知情報解析部23は、ソース機器からの通知情報を受信する通知情報受信部(状態変化検出部)23−1と、受信した通知情報を解釈する通知情報解釈部23−2と、通知映像を表示する通知映像表示部23−3と、表示の要否を判断する表示要否判断部(出力指示部)23−4と、を有し、表示要否判断部(出力指示部)23−4の判断結果に基づいて、通知情報を解釈する。
上記構成における処理の内容に関しては、上記図2から図4を参照して上述した。
FIG. 6B is a functional block diagram illustrating a configuration example of the notification information instruction unit 83 such as the mobile terminal C that is the source device. As shown in FIG. 6B, the notification information instruction unit 83 includes a sink device search unit 83-1 that searches for a sink device, a connection generation unit 83-2 that generates a connection such as HTTP, and device information that registers device information. A registration unit 83-3, a source device state change occurrence detection unit 83-4 that detects occurrence of a state change of the source device, a notification destination determination unit that determines a notification destination / a notification destination determination unit that determines a video transmission state / A video transmission state determination unit 83-5, a notification information generation unit 83-6 that generates notification information, and a state change information notification unit 83-7 that notifies the state change information to the television B that is a sink device. ing. The notification destination determination unit 83-5 may be provided between the notification information generation unit 83-6 and the state change information notification unit 83-7. In the notification destination determination unit / video transmission state determination unit 83-5, the notification destination determination unit and the video transmission state determination unit may be independent.
FIG. 6C is a functional block diagram illustrating a configuration example of the video output instruction unit 87 that outputs video, such as the mobile terminal C that is the source device. The video output instructing unit 87 includes a sink device searching unit 87-1 that searches for a sink device that is an output target of content and the like, a connection generation unit 87-2 that generates a connection with the sink device, and an ability to exchange capability information Exchange unit 87-3, streaming unit 87-4 for streaming encoded data, video data display instruction unit 87-5 for instructing display of video data, and device information registration unit 87-6 for registering device information And have. The connection generation unit 87-2 includes a capability exchange unit 87-3, a streaming unit 87-4 for streaming video encoded data to the sink device, and a video data display instruction unit for instructing display of video on the sink device. 87-5, for example, are connected in a star, select one of a plurality of found sinks, register information for identifying the sink device, perform capability exchange with the sink, stream video data, The video output is instructed (Play).
FIG. 6D is a functional block diagram illustrating a configuration example of the notification information analysis unit 23 of the sink device. The notification information analysis unit 23 includes a notification information reception unit (state change detection unit) 23-1 that receives notification information from the source device, a notification information interpretation unit 23-2 that interprets the received notification information, and a notification video. It has a notification video display unit 23-3 to be displayed and a display necessity determination unit (output instruction unit) 23-4 that determines whether or not display is necessary, and a display necessity determination unit (output instruction unit) 23-4. The notification information is interpreted based on the determination result.
The contents of the processing in the above configuration have been described above with reference to FIGS.

図7は、ソース機器である携帯端末Cの外観構成例を示す図である。図7に示すように、携帯電話Cは、正面側には、筐体101と、筐体101に設けられ、ユーザからの入力を受け付けるキーボード(入力部)63と、映像(文字やアイコンなども含む)を表示するためのLCDパネル(表示部)57と、マイク(通話をおこなうための通話口)74と、を有している。側面側には、スピーカ61(通話をおこなうための受話口と、別途側面に設けられているスピーカと、を有する例を示す。)と、撮影ボタン71aと、HDMI端子(I/F)75を有し、背面側には、カメラ71,ライト73、マイク74が設けられている。装置の配置は、特に限定されるものではない。
キーボード63は、図7のように物理的な入力機能を具備してもよいし、タッチパネルが一体化されたLCDパネルにキーボードが表示されるようなソフトウェアキーボードの構成でもよい。LCDパネルに表示されるキーボードは、入力したい文字種別ごとに異なるもの(かな入力用のキーボードやアルファベット入力用のキーボードのように)を表示することができる。尚、物理的なキーボードは、ソフトウェアキーボードと異なり、LCDパネルに表示する映像の一部を隠すことがなく、また実際にキーを押下した感覚を得られるためにユーザが入力を行いやすい。
FIG. 7 is a diagram illustrating an external configuration example of the mobile terminal C that is a source device. As shown in FIG. 7, the mobile phone C has a housing 101 on the front side, a keyboard (input unit) 63 that is provided on the housing 101 and receives input from the user, and video (characters, icons, etc.). An LCD panel (display unit) 57 for displaying an image and a microphone (a call port for making a call) 74. On the side surface, a speaker 61 (an example having an earpiece for making a call and a speaker separately provided on the side surface), a shooting button 71a, and an HDMI terminal (I / F) 75 are provided. The camera 71, the light 73, and the microphone 74 are provided on the back side. The arrangement of the apparatus is not particularly limited.
The keyboard 63 may have a physical input function as shown in FIG. 7, or may have a software keyboard configuration in which the keyboard is displayed on an LCD panel integrated with a touch panel. The keyboard displayed on the LCD panel can be different for each character type to be input (such as a kana input keyboard or alphabet input keyboard). Note that, unlike a software keyboard, a physical keyboard does not hide part of the image displayed on the LCD panel, and allows the user to easily input because it feels like an actual key press.

携帯電話Cは、W−CDMA、cdma2000やLTEなどの通信機能を持ち、通話やメール送受信等が可能である。着信やメール受信をユーザに通知する手段としては、LCDパネル57への情報表示、スピーカ61からの音声出力、ライト73の点滅等、内蔵バイブレータ85による振動などを用いることができる。
また、最近の携帯電話は、上記のW−CDMA、cdma2000やLTEなどの通信機能だけでなく、Wi−Fiの通信機能を持つものがある。Wi−Fiが利用可能な場所ではWi−Fiを優先的に使うことにより、高速なデータ通信が利用可能となるとともに、家庭内ネットワークにWi−Fiのアクセスポイントを用意することにより、携帯電話Cを容易に家庭内ネットワークへ接続することが可能となっている。
通常、携帯電話Cが映像を表示する機構は、携帯電話Cに内蔵されるLCDパネル57であるが、HDMI端子75にHDMIケーブルの一端を接続し、HDMIケーブルの他端を外部のディスプレイやテレビ(シンク機器)B等に接続することにより外部ディスプレイで表示することも可能である。また、HDMIケーブルではなくWi−Fiなどの無線で映像データを外部ディスプレイに送信することにより、外部ディスプレイやテレビでの表示を実現するものもある。この場合は、映像データは非圧縮である場合、H.264などの符号化方式により圧縮される場合、のいずれも利用されている。
なお、HDMI経由およびWi−Fiなどの無線経由のいずれの場合も、映像だけではなく音に関しても同時に外部モニタへ出力される場合もある。その場合は、映像と同様に音声も、非圧縮である場合、AACなどの符号化方式により圧縮される場合のいずれも利用できる。
The mobile phone C has a communication function such as W-CDMA, cdma2000, and LTE, and is capable of making calls and sending / receiving mails. As means for notifying the user of an incoming call or mail reception, vibration by the built-in vibrator 85 such as information display on the LCD panel 57, sound output from the speaker 61, blinking of the light 73, and the like can be used.
Some recent mobile phones have not only communication functions such as W-CDMA, cdma2000, LTE, etc., but also Wi-Fi communication functions. By using Wi-Fi preferentially in places where Wi-Fi can be used, high-speed data communication can be used, and by providing a Wi-Fi access point in the home network, mobile phone C Can be easily connected to a home network.
Normally, the mobile phone C displays an image on the LCD panel 57 built in the mobile phone C, but one end of the HDMI cable is connected to the HDMI terminal 75 and the other end of the HDMI cable is connected to an external display or television. (Sink device) It is also possible to display on an external display by connecting to B or the like. In addition, there are some that realize display on an external display or a television by transmitting video data to an external display wirelessly such as Wi-Fi instead of an HDMI cable. In this case, if the video data is uncompressed, Any of the cases where compression is performed by an encoding method such as H.264 is used.
Note that in both cases via HDMI and via wireless such as Wi-Fi, not only video but also sound may be simultaneously output to an external monitor. In that case, as in the case of video, audio can be used in any case where it is uncompressed or compressed by an encoding method such as AAC.

図8は、テレビの外観構成例を示す図である。図8に示すように、テレビBは、例えば、台に支えられた本体に設けられて映像を表示するためのLCDパネル7と、音を出力するためのスピーカ11と、リモコン受光部15と、側面に操作ボタン33、HDMI端子17、を有している。地上デジタル放送やBS放送などの放送波を受信し、映像をLCDパネル7に、音声をスピーカ11或いはイヤフォンなどに出力することが可能である。テレビBを遠隔操作するリモコン装置35は、赤外線出射機能を有しており、図8(c)に示すように、キーボード35aを備える。
図9に示すように、HDMI端子75にHDMIケーブル91経由で接続された機器(ソース機器)である携帯電話Cからの映像および音を、シンク機器であるテレビBのHDMI端子17経由で、LCDパネルおよびスピーカへそれぞれ出力することも可能である。
FIG. 8 is a diagram illustrating an external configuration example of a television. As shown in FIG. 8, for example, the television B is provided in a main body supported by a stand, an LCD panel 7 for displaying images, a speaker 11 for outputting sound, a remote control light receiving unit 15, The operation button 33 and the HDMI terminal 17 are provided on the side surface. It is possible to receive broadcast waves such as terrestrial digital broadcasts and BS broadcasts and output video to the LCD panel 7 and sound to the speakers 11 or earphones. The remote control device 35 for remotely operating the television B has an infrared emission function and includes a keyboard 35a as shown in FIG.
As shown in FIG. 9, the video and sound from the mobile phone C, which is a device (source device) connected to the HDMI terminal 75 via the HDMI cable 91, are transmitted via the HDMI terminal 17 of the TV B, which is a sink device, to the LCD. It is also possible to output to a panel and a speaker, respectively.

また、図10に示すように、Wi−Fiなどの無線経由で携帯電話(ソース機器)Cからテレビ(シンク機器)Bへ映像を送信する場合は、携帯電話CとテレビBがアクセスポイントを介して接続される方式(アクセスポイントとテレビBとの接続は有線および無線のいずれでも良い。)と、携帯電話CとテレビBとが直接無線で接続(Peer-to-peerで接続)される方式のいずれの構成とすることも可能である。このとき、映像データを、H.264などの符号化方式により符号化した後、映像データと音データとをMPEG−2 トランスポートストリームなどの方式で多重化し送信する。これにより、テレビB側で出力する際に、映像と音との時間的な同期処理を行うことができる。   Also, as shown in FIG. 10, when video is transmitted from a mobile phone (source device) C to a television (sink device) B via wireless such as Wi-Fi, the mobile phone C and the television B are connected via an access point. Connected to each other (the connection between the access point and the TV B may be either wired or wireless), and the mobile phone C and the TV B are directly connected by wireless (connected via peer-to-peer). Any of these configurations is possible. At this time, the video data is H.264. After encoding by an encoding method such as H.264, video data and sound data are multiplexed and transmitted by a method such as an MPEG-2 transport stream. Thereby, when outputting on the TV B side, temporal synchronization processing of video and sound can be performed.

以下に、携帯電話(ソース機器)Cからテレビ(シンク機器)Bへ、Wi−Fiなどの無線により映像を送信する場合の操作例について説明する。
まず、ユーザは、携帯電話を操作し、Wi−Fiなどの無線による映像を受信するテレビ(シンク機器)を選択する。これは、次のような処理により実現される。携帯電話から他の機器を探索し、発見した機器に前記映像を受信する能力があるかどうか判断をおこない、前記能力のあるテレビ(シンク機器)の名称などを携帯電話の「LCDパネル」にリスト表示する。ユーザは、そのリストを見ながら、「キーボード」を操作して映像を出力したいシンク機器を選択する。この時選択されるテレビ(シンク機器)は通常ひとつであるが、複数台であってもよい。複数台のテレビに同時に映像を出力することにより、より多くの人が同時に映像を閲覧可能となったり、別々の部屋にいる人が同じ映像を閲覧可能することが可能になったりする。
Hereinafter, an operation example in the case of transmitting video from the mobile phone (source device) C to the television (sink device) B by wireless such as Wi-Fi will be described.
First, the user operates a mobile phone to select a television (sink device) that receives wireless video such as Wi-Fi. This is realized by the following processing. Search for other devices from the mobile phone, determine whether the discovered device has the ability to receive the video, and list the names of the TVs (sink devices) with the capability in the LCD panel of the mobile phone indicate. While viewing the list, the user operates the “keyboard” to select a sink device to which video is to be output. At this time, only one television (sink device) is selected, but a plurality of televisions may be selected. By simultaneously outputting images to a plurality of televisions, more people can view the images at the same time, or people in different rooms can view the same images.

ユーザ操作により映像を出力するテレビ(シンク機器)Bが選択されるか(機器選択と映像送信開始の指示がひとつの手順となっている場合)、選択された後にキーボード35を操作して映像送信の開始が指示されると、携帯電話(ソース機器)Cは携帯電話CのLCDパネル57に表示される映像を、データ符号化部67,データ多重化部65により必要に応じて符号化および多重化した後に、送信を開始する。
テレビ(シンク機器)Bは、携帯電話(ソース機器)Cから送信されたデータを受信すると、必要であれば、多重化データ分離部25及び符号化データ復号部27により、データの分離および符号化データの復号を行い、テレビ(シンク機器)BのLCDパネル7およびスピーカ11に出力する。
Whether TV (sink device) B that outputs video is selected by user operation (when device selection and video transmission start instruction are one procedure) or after selection, video is transmitted by operating keyboard 35 Mobile phone (source device) C encodes and multiplexes the video displayed on LCD panel 57 of mobile phone C as necessary by data encoding unit 67 and data multiplexing unit 65. After transmission, transmission starts.
When the television (sink device) B receives the data transmitted from the mobile phone (source device) C, the multiplexed data separator 25 and the encoded data decoder 27 separate and encode the data, if necessary. Data is decoded and output to the LCD panel 7 and the speaker 11 of the television (sink device) B.

尚、テレビ(シンク機器)Bが、通常の放送番組の表示などからWi−Fiなどの無線信号からの映像データを受信して表示するためのモードに切り替えるのは、ユーザによるテレビBのリモコン35の操作によってもよいし、携帯電話(ソース機器)Bから映像データを受信すると自動的に行われるようにしてもよい。リモコン35によるモード切り替えを行う方式では、テレビBで放送などを視聴している人以外が携帯電話Cを操作して、意図せずに放送の視聴を中断されることがない。
一方、携帯電話Cの操作で自動的に切り替わる方式では、テレビBのリモコン35と携帯電話Cの2つの機器を持ち替えて操作を行う手間を省くことが可能となる。また、この自動的に切り替わる方式では、テレビBと携帯電話Cとを特定するため、テレビBと携帯電話Cとでパスワードなどにより認証処理が必要な場合があるが、2度目以降の接続では前回のパスワードを記録しておくことで、接続のたびにユーザに入力させる手間を省くことが可能である。
Note that the TV B (sink device) B is switched to a mode for receiving and displaying video data from a wireless signal such as Wi-Fi from display of a normal broadcast program or the like. Or may be automatically performed when video data is received from the mobile phone (source device) B. In the method of switching the mode using the remote controller 35, a person other than the person who is viewing the broadcast on the television B operates the mobile phone C and the viewing of the broadcast is not interrupted unintentionally.
On the other hand, in the method of automatically switching by the operation of the mobile phone C, it is possible to save time and effort to switch between the two devices, the remote control 35 of the television B and the mobile phone C. Further, in this automatic switching method, the TV B and the mobile phone C may be identified by a password or the like in order to specify the TV B and the mobile phone C. By recording the password, it is possible to save the user from having to input each time a connection is made.

また、携帯電話Cで映像データを送信するテレビBに関して、前回接続したテレビBのID等を記録しておき、複数のテレビがある場合は、例えば、前回接続したテレビBを優先的に表示する(リスト表示の最初に表示したり、太字で表示したりする)ことで、接続時の操作を簡単にし、ユーザの利便性が向上することができる。また、ネットワーク上で接続可能なテレビが1台しか見つからない場合は、テレビ選択のリストなどを表示することなく(ユーザが選択動作を促すことなく)、前回接続したテレビに自動的に接続するようにすることで、ユーザの利便性を向上することができる。   In addition, regarding the television B that transmits video data by the mobile phone C, the ID of the television B connected last time is recorded, and when there are a plurality of televisions, for example, the previously connected television B is preferentially displayed. (Displayed at the beginning of the list display or displayed in bold) makes it possible to simplify the operation at the time of connection and improve user convenience. If only one TV that can be connected is found on the network, it will automatically connect to the previously connected TV without displaying a TV selection list or the like (without prompting the user to select). By doing so, user convenience can be improved.

携帯電話(ソース機器)Cからテレビ(シンク機器)Bに送信される映像は、装置によるLCDパネルの大きさや解像度の違いを考慮して、携帯電話CのLCDパネルに表示されるものとは異なる専用の映像としても良いし、携帯電話CのLCDパネル57に表示されるものをそのまま表示(ミラーリング表示)しても良い。テレビB専用の映像を用意する場合は、携帯電話C側では操作専用の画面を表示したり、テレビBで表示している映像等の内容に関連する簡単な情報を表示させたりすることができ、これにより、状況に適した情報をユーザに提供したり、操作性を向上させたりすることができる。
例えば、テレビB側において、携帯電話Cで撮影した写真を表示しながら、携帯電話Cでは撮影日時や撮影位置を示す地図、類似する画像等をインターネット上で検索した結果などを表示したりすることで、多彩な情報を提供したり、テレビB側でウェブ画面を表示しながら、携帯電話C側では、表示されたページにあるハイパーリンクのみを複数表示してユーザの選択がしやすくなるようにすることも可能となる。また、携帯電話Cで表示されている内容と同じ内容をテレビBでも表示する場合には、スクロールやオブジェクトの選択など、携帯電話Cを手に持って手元の画面を見ながら操作する際に、両方で表示されているものが同一なので、あたかもゲーム機の遠隔操作などのような感覚でユーザが操作しやすいという利点がある。
以下に、携帯電話(ソース機器)Cの状態変化の通知に関してより具体的な態様について詳細に説明する。図11は、無線による状態変化の通知システムの一例を示す図である。図11に示すように、携帯電話Cは前述の通り、W−CDMA、cdma2000やLTEなどの通信機能を有している。
通信機能を介した音声電話やTV電話の着信、メールの受信や、あらかじめ設定しておいた時刻になったことをユーザに通知するアラームなど、携帯電話Cではユーザに通知すべき状態変化が存在する。
The video transmitted from the mobile phone (source device) C to the television (sink device) B is different from that displayed on the LCD panel of the mobile phone C in consideration of the size and resolution of the LCD panel depending on the device. A dedicated video may be displayed, or what is displayed on the LCD panel 57 of the mobile phone C may be displayed as it is (mirroring display). When preparing a video dedicated to TV B, the mobile phone C can display an operation-specific screen or display simple information related to the content of the video displayed on TV B, etc. Thus, it is possible to provide information suitable for the situation to the user and improve operability.
For example, on the TV B side, while displaying a photograph taken with the mobile phone C, the mobile phone C displays a map showing the shooting date and time or a shooting position, a result of searching for similar images on the Internet, and the like. Thus, while providing a variety of information and displaying a web screen on the TV B side, the mobile phone C side displays only a plurality of hyperlinks on the displayed page so that the user can easily select. It is also possible to do. When the same content as that displayed on the mobile phone C is also displayed on the TV B, when operating while holding the mobile phone C and holding the mobile phone C, such as scrolling or selecting an object, Since what is displayed on both is the same, there is an advantage that it is easy for the user to operate as if it were a remote operation of a game machine.
Hereinafter, a more specific aspect regarding the notification of the state change of the mobile phone (source device) C will be described in detail. FIG. 11 is a diagram illustrating an example of a wireless state change notification system. As shown in FIG. 11, the mobile phone C has communication functions such as W-CDMA, cdma2000, and LTE as described above.
There are status changes to be notified to the user in the mobile phone C, such as an incoming voice call or videophone via a communication function, reception of mail, an alarm notifying the user that a preset time has come. To do.

本実施の形態では、ソース機器である携帯電話Cにおいて状態変化が発生すると、携帯電話CのLCDパネル57に状態変化の内容を表示され、或いは、スピーカ61から音を出力したり、ライト73を点滅したり、バイブレータ85により振動を発生させたりすることでユーザへの通知を行う。
状態変化をWi−Fiなどの無線を介してテレビ(シンク機器)Bにも通知する場合は、図9に示すようにケーブルにより接続される場合と異なり、通知対象が1体1ではない場合もあるため、状態変化の通知先をあらかじめ設定しておく必要がある。ユーザは、予め、状態変化を通知したいテレビ(シンク機器)Bを選択しておく。例えば、携帯電話(ソース機器)Cは、Wi−Fiなどの無線ネットワーク上で同一ネットワークにある状態変化の受信・表示に対応した機器(シンク機器)を探索してユーザに提示し、ユーザが表示したいシンク機器を選択することにより実現される。その後、携帯電話(ソース機器)Cで通知すべき状態変化が発生すると、携帯電話(ソース機器)Cは、選択されたテレビ(シンク機器)Bに対して、例えば、状態を通知することを意味する通知IDと、通知する状態変化(通話の着信やメール受信など)の状態変化ID、および、状態変化の内容(着信番号やメールの送信者など)を、Wi−Fiなどの無線ネットワークを介してテレビ(シンク機器)Bに通知する。通知を受けたテレビ(シンク機器)Bは、状態変化の内容を解釈し、その時に表示している映像に重畳する形で通知内容(「メールを受信しました。」など)をLCDパネル7等に表示する。この際、例えば、重畳表示の制御を行う重畳表示制御部を有する。
In the present embodiment, when a state change occurs in the mobile phone C as the source device, the contents of the state change are displayed on the LCD panel 57 of the mobile phone C, or a sound is output from the speaker 61 or the light 73 is turned on. The user is notified by blinking or generating vibration by the vibrator 85.
When notifying the state change to the television (sink device) B via wireless such as Wi-Fi, unlike the case of being connected by a cable as shown in FIG. For this reason, it is necessary to set the notification destination of the state change in advance. The user selects a television (sink device) B to be notified of a state change in advance. For example, the mobile phone (source device) C searches for a device (sink device) that supports reception / display of state changes in the same network on a wireless network such as Wi-Fi and presents it to the user, and the user displays it. This is realized by selecting a sink device to be used. Thereafter, when a state change to be notified by the mobile phone (source device) C occurs, the mobile phone (source device) C means, for example, notifying the selected television (sink device) B of the state. Notification ID to be notified, status change ID of status change to be notified (such as incoming call or mail reception), and contents of status change (incoming call number, mail sender, etc.) via a wireless network such as Wi-Fi To the TV (sink device) B. The TV (sink device) B that has received the notification interprets the contents of the state change and superimposes the notification contents (such as “I received an email”) on the LCD panel 7 etc. To display. At this time, for example, a superimposed display control unit that performs control of superimposed display is provided.

この例では、携帯電話(ソース機器)Cのメモリ55が、ユーザが設定した映像を表示させるシンク機器B1と、状態変化を通知されるシンク機器B2と、のそれぞれのMACアドレスを保持し、前記それぞれのMACアドレスが同一の場合で、映像をシンク機器へ送信中の場合は、シンク機器への携帯電話の状態変化の通知をおこなわないように制御されることを特徴とする。尚、MACアドレスのように下位レイヤではなく、より上位のレイヤIDで、ユーザが設定した映像を表示させるシンク機器B1と、状態変化を通知されるシンク機器B2とを確認することができる場合は、それらのレイアIDをMACアドレスの代わりに使用してもよい。例えば、シンク機器固有の、IPアドレス、名称、シリアル番号などを用いることができる。より上位レイヤのIDを利用することで、一つの機器で複数のMACアドレスを保持している場合(複数のネットワークをサポートしているなど)でも、機器を特定することが可能となる。   In this example, the memory 55 of the mobile phone (source device) C holds the MAC addresses of the sink device B1 that displays the video set by the user and the sink device B2 that is notified of the state change. When each MAC address is the same and when video is being transmitted to the sink device, control is performed so as not to notify the sink device of a change in the state of the mobile phone. When the sink device B1 that displays the video set by the user and the sink device B2 that is notified of the state change can be confirmed with the higher layer ID instead of the lower layer as in the MAC address. These layer IDs may be used instead of the MAC address. For example, an IP address, a name, a serial number, etc. specific to the sink device can be used. By using higher layer IDs, it is possible to identify a device even when a single device holds a plurality of MAC addresses (eg, supports a plurality of networks).

図12は、本実施例による映像コンテンツを表示する制御を行うシンク機器の選択処理例(図12(a))と、状態通知先の選択処理例(図12(b))の流れの一例を示すフローチャート図である。各シンクのID保持の流れを詳細に説明する図である。
図12(a)に示すように、携帯電話(ソース機器)Cが、ステップS21において、映像コンテンツを表示する映像シンク機器を探索する。次いで、ステップS22において、探索した映像シンク機器のリストを携帯電話(ソース機器)CのLCDパネル57に表示する。ステップS23において、例えば、キーボード63などのユーザによる映像シンク機器の映像シンク機器のリストからの選択操作に応じたユーザ入力を検出し、ステップS24において、選択した映像シンク機器のIDを携帯電話(ソース機器)Cのメモリ55等に保持する。
一方、図12(b)に示すように、状態変化通知先の選択処理では、携帯電話(ソース機器)Cが、ステップS31において、状態変化通知先のシンク機器を探索する。ステップS32において、ステップS22で取得した映像シンク機器のリスト表示をLCDパネル57に行わせる。ステップS33において、映像シンク機器のリスト表示から、ユーザ操作等による映像シンク機器の選択操作を検出し、ステップS34において、状態変化通知先の映像シンク機器のIDをメモリ55等に保持する。
FIG. 12 shows an example of the flow of a selection process example of a sink device (FIG. 12A) that performs control of displaying video content according to the present embodiment and a state notification destination selection process example (FIG. 12B). FIG. It is a figure explaining the flow of ID holding | maintenance of each sink in detail.
As shown in FIG. 12A, the mobile phone (source device) C searches for a video sink device that displays video content in step S21. Next, in step S22, the searched list of video sink devices is displayed on the LCD panel 57 of the mobile phone (source device) C. In step S23, for example, a user input corresponding to a selection operation from the list of video sink devices by the user such as the keyboard 63 is detected. In step S24, the ID of the selected video sink device is set to the mobile phone (source Device) held in C memory 55 or the like.
On the other hand, as shown in FIG. 12B, in the state change notification destination selection process, the mobile phone (source device) C searches for the sink device that is the state change notification destination in step S31. In step S32, the LCD panel 57 is caused to display a list of video sink devices acquired in step S22. In step S33, the selection operation of the video sink device by the user operation or the like is detected from the list display of the video sink device. In step S34, the ID of the video sink device that is the state change notification destination is held in the memory 55 or the like.

また、上記のように、逆にソース機器(携帯電話)C側では特別な判断を行わずに、シンク機器(テレビ)B側で、表示している映像のシンク機器と、状態変化の通知を送信してきたシンク機器(テレビ)とが同一の場合は、状態変化に関する表示をシンク機器で行わないと判断するようにしてもよい。シンク機器(テレビ)B側で判断を行うことで、シンク機器(テレビ)側にある人感センサ等によって状態変化が通知されたときにユーザがLCDパネル7を注視していない可能性が高いとを判断して、ユーザが注視するまで(人感センサ等が検知するまで)は、別途状態変化情報を携帯電話C側から供給される映像に重畳してシンク機器側で表示し続けるなどの処理が可能となる。   Also, as described above, the source device (mobile phone) C side does not make any special judgment, and the sink device (TV) B side notifies the sink device of the displayed video and the state change notification. When the sink device (television) that has transmitted is the same, it may be determined that the display regarding the state change is not performed on the sink device. By determining on the sink device (TV) B side, it is highly likely that the user is not gazing at the LCD panel 7 when a state change is notified by a human sensor or the like on the sink device (TV) side. Until the user gazes (until the human sensor or the like detects), the state change information is separately superimposed on the video supplied from the mobile phone C side and continuously displayed on the sink device side. Is possible.

以上に説明したように、本実施の形態によるシステムでは、映像・ソース機器であり、かつ、状態変化情報・ソース機器である機器Cが、映像・シンク機器B1に映像(+音声)を送り、状態変化情報・シンク機器B2に、状態変化情報を送る。このように、状態変化情報を受け取るシンク機器が映像情報を受け取るシンク機器とは異なる場合には、状態変化情報を通知する。状態変化情報を受け取るシンク機器と映像情報を受け取るシンク機器とが同じシンク機器である場合には、状態変化情報を通知しないように構成した。いずれの場合でも、ソース機器C側において状態変化情報を表示することもできるし、シンク機器で表示させない場合にもソース機器で表示されることが可能である。
これにより、シンク機器に同じ内容の状態変化通知が表示されないので、わずらわしさがないという利点がある。
As described above, in the system according to the present embodiment, the device C, which is a video / source device and also the state change information / source device, sends video (+ audio) to the video / sink device B1, The state change information is sent to the state change information / sink device B2. Thus, when the sink device that receives the state change information is different from the sink device that receives the video information, the state change information is notified. When the sink device that receives the state change information and the sink device that receives the video information are the same sink device, the state change information is not notified. In either case, the state change information can be displayed on the source device C side, and can be displayed on the source device even when not displayed on the sink device.
As a result, the state change notification having the same contents is not displayed on the sink device, and there is an advantage that there is no troublesomeness.

以下に、本発明の実施の形態の変形例について説明する。
本発明の基本コンセプトは、図1(b)のように、携帯端末の映像を出力しているシンク機器B3では、図11のようにメールの受信の映像上にメールを受診しましたという通知が重畳して煩雑になるので、一律、状態変化の通知を別途重畳表示しないというものである。
この表示等の仕方に依存する以下の変形例について説明する。
1)第1変化形は、映像出力を行っているシンク機器でも、場合に応じて、状態変化の通知を重畳表示することを特徴とするものである。この「場合」とは、例えば、情報の重要度や、変化からの経過時間、変化の頻度などである。
情報の重要度が高い場合、例えば、重要度の高いメールを受信した場合には、そのメールをすぐに見て欲しいケースが多く、情報をもらさず通知する必要があるため、図11のようにメールを受信したという状態変化情報を重畳表示する。
また、変化からの経過時間が長くなった場合には、それに気づいていない場合が多く、メールを受信したという状態変化情報を重畳表示する。重畳表示の要否のしきい値時間を、ユーザが設定できるようにしても良く、予め、状態変化の種別に応じて決めておいても良い
さらに、変化の頻度などにより、頻度が高い場合には、重畳表示をさせるようにしても良い。
2)第2変形例は、映像出力を行っているシンク機器でも、通常の重畳方式とは異なる(目立ちすぎない)アイコン/小さな文字などで重畳表示を行うものである。
TVなどの表示部に、メールのアイコンや「メール受信」などの通知(文字)を、映像とは異なる大きさ(より小さく)表示させたり、映像よりも薄い表示を行うことができる。これにより、ユーザは、状態変化を映像表示に比べてより意識としては低い状態で見ることができる。
3)第3変形例は、複数の映像シンクが選択されており、状態変化表示のシンクが一つ選択されている場合でも、(緊急度などで判断をおこない)、緊急度が高い場合には、選択を超えて、むしろ積極的に複数の映像シンクに対して、変化情報を通知し表示させるものである。
このようにすることで、緊急性の高い状態変化を見逃すことがないようになる。
要するに、重要度や緊急度に依存して、状態変化の通知対象シンク機器数を増減させたり、通知の態様をより認知性を増大させたりすることができる。
Below, the modification of embodiment of this invention is demonstrated.
The basic concept of the present invention is that, as shown in FIG. 1 (b), the sink device B3 that outputs the video of the mobile terminal is notified that a mail has been received on the received video as shown in FIG. Since it is complicated due to superimposition, notification of state change is not separately superimposed and displayed.
The following modified examples depending on the manner of display and the like will be described.
1) The first variation is characterized in that a notification of a state change is superimposed and displayed depending on the case even in a sink device that is outputting video. This “case” refers to, for example, the importance of information, the elapsed time since the change, the frequency of the change, and the like.
When the importance of information is high, for example, when a highly important mail is received, there are many cases in which the user wants to see the mail immediately, and it is necessary to notify without receiving the information. The state change information that the mail has been received is displayed in a superimposed manner.
In addition, when the elapsed time from the change becomes long, there are many cases where the user has not noticed it, and the state change information indicating that the mail has been received is superimposed and displayed. The threshold time for necessity of superimposed display may be set by the user, or may be determined in advance according to the type of state change. May be displayed in a superimposed manner.
2) In the second modified example, even a sink device that outputs video performs superimposed display using icons / small characters that are different (not too conspicuous) from the normal superimposition method.
A notification (character) such as a mail icon or “mail received” can be displayed on a display unit such as a TV in a size (smaller) different from the video, or a display thinner than the video. Thereby, the user can see the state change in a lower state as a consciousness than the video display.
3) In the third modified example, even when a plurality of video sinks are selected and one state change display sink is selected (judgment is made based on the level of urgency), the level of urgency is high. Instead of exceeding the selection, rather, the change information is actively notified to and displayed on a plurality of video sinks.
By doing in this way, it becomes possible not to miss a state change with high urgency.
In short, depending on the importance level and the urgency level, it is possible to increase or decrease the number of sink devices to be notified of the state change or to further increase the cognitiveness of the notification mode.

上記の実施の形態において、添付図面に図示されている構成等については、これらに限定されるものではなく、本発明の効果を発揮する範囲内で適宜変更することが可能である。その他、本発明の目的の範囲を逸脱しない限りにおいて適宜変更して実施することが可能である。
また、本発明の各構成要素は、任意に取捨選択することができ、取捨選択した構成を具備する発明も本発明に含まれるものである。
また、本実施の形態で説明した機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部の処理を行ってもよい。尚、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。
In the above-described embodiment, the configuration and the like illustrated in the accompanying drawings are not limited to these, and can be appropriately changed within a range in which the effect of the present invention is exhibited. In addition, various modifications can be made without departing from the scope of the object of the present invention.
Each component of the present invention can be arbitrarily selected, and an invention having a selected configuration is also included in the present invention.
In addition, a program for realizing the functions described in the present embodiment is recorded on a computer-readable recording medium, and the program recorded on the recording medium is read into a computer system and executed to execute processing of each unit. May be performed. The “computer system” here includes an OS and hardware such as peripheral devices.

また、「コンピュータシステム」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また前記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。機能の少なくとも一部は、集積回路などのハードウェアで実現しても良い。
Further, the “computer system” includes a homepage providing environment (or display environment) if a WWW system is used.
The “computer-readable recording medium” refers to a storage device such as a flexible medium, a magneto-optical disk, a portable medium such as a ROM and a CD-ROM, and a hard disk incorporated in a computer system. Furthermore, the “computer-readable recording medium” dynamically holds a program for a short time like a communication line when transmitting a program via a network such as the Internet or a communication line such as a telephone line. In this case, a volatile memory in a computer system serving as a server or a client in that case, and a program that holds a program for a certain period of time are also included. The program may be a program for realizing a part of the above-described functions, or may be a program that can realize the above-described functions in combination with a program already recorded in a computer system. At least a part of the functions may be realized by hardware such as an integrated circuit.

本発明は、ソース機器、シンク機器を含むシステムに利用可能である。   The present invention is applicable to a system including a source device and a sink device.

A…システム、B…シンク機器(テレビ)、1…CPU、3…フラッシュメモリ、5…メモリ、7…LCDパネル(表示部)、11…スピーカ、15…リモコン受光部、17…HDMIインターフェイス(I/F)部、21…WiFiインターフェイス部(I/F部)、23…通知情報解析部、25…多重化データ分離部、27…符号化データ復号部、31…地デジチューナ、33…操作ボタン、35…リモコン装置、C…携帯端末、51…CPU、53…フラッシュメモリ、55…メモリ、57…LCDパネル(表示部)、61…スピーカ、63…キーボード(入力部)、65…データ多重化部、67…データ符号化部、71…カメラ、71a…撮影ボタン、73…ライト、74…マイク、77…HDMIのインターフェイス(I/F)部、81…W−CDMAインターフェイス(IF)部、83…通知情報指示部、85…バイブレータ(受信通知部)、87…映像出力指示部。   A ... System, B ... Sink device (TV), 1 ... CPU, 3 ... Flash memory, 5 ... Memory, 7 ... LCD panel (display unit), 11 ... Speaker, 15 ... Remote control light receiving unit, 17 ... HDMI interface (I / F) section, 21 ... WiFi interface section (I / F section), 23 ... notification information analysis section, 25 ... multiplexed data separation section, 27 ... encoded data decoding section, 31 ... terrestrial digital tuner, 33 ... operation buttons 35 ... remote control device, C ... portable terminal, 51 ... CPU, 53 ... flash memory, 55 ... memory, 57 ... LCD panel (display unit), 61 ... speaker, 63 ... keyboard (input unit), 65 ... data multiplexing , 67 ... Data encoding part, 71 ... Camera, 71 a ... Shooting button, 73 ... Light, 74 ... Microphone, 77 ... HDMI interface (I / F) part, 8 ... W-CDMA interface (IF) section, 83 ... notification information instruction unit, 85 ... vibrator (reception notification portion), 87 ... the video output control unit.

Claims (9)

シンク機器が出力するコンテンツ情報を供給するソース機器であって、
前記ソース機器の状態変化を検出する状態変化検出部と、
前記状態変化検出部で検出された前記ソース機器の状態変化を通知するための状態変化情報を生成する通知情報生成部と、
前記状態変化情報の通知先がコンテンツ情報を送るシンク機器であるか否かを判定する通知先判定部と、を有し、
前記状態変化情報を通知する状態変化情報通知部は、
前記状態変化情報を受け取るシンク機器と前記コンテンツ情報を受け取るシンク機器とが同じシンク機器である場合には、前記状態変化情報を前記シンク機器には通知しないことを特徴とするソース機器。
A source device that supplies content information output by a sink device,
A state change detector for detecting a state change of the source device;
A notification information generation unit that generates state change information for notifying the state change of the source device detected by the state change detection unit;
A notification destination determination unit that determines whether the notification destination of the state change information is a sink device that transmits content information;
The state change information notification unit for notifying the state change information,
When the sink device that receives the state change information and the sink device that receives the content information are the same sink device, the source device is not notified of the state change information to the sink device.
前記状態変化情報通知部は、
前記ソース機器の状態の変化を示す状態変化情報を受け取るシンク機器がコンテンツ情報を受け取るシンク機器とは異なる場合には、前記状態変化情報を前記シンク機器に通知することを特徴とする請求項1に記載のソース機器。
The state change information notification unit
2. The state change information is notified to the sink device when a sink device that receives state change information indicating a change in state of the source device is different from a sink device that receives content information. Source device described.
さらに、コンテンツ情報を送るソース機器がコンテンツを送信中であるか否かを判定するコンテンツ送信状態判定部を有し、
前記状態変化情報通知部は、前記状態変化情報を受け取るシンク機器と前記コンテンツ情報を受け取るシンク機器とが同じシンク機器である場合であっても、前記コンテンツ情報の送信中でないと判定された場合には、前記ソース機器の状態変化を通知することを特徴とする請求項1又は2に記載のソース機器。
And a content transmission state determination unit that determines whether or not the source device that transmits the content information is transmitting content.
The state change information notifying unit determines that the content information is not being transmitted even when the sink device that receives the state change information and the sink device that receives the content information are the same sink device. The source device according to claim 1 or 2, wherein a status change of the source device is notified.
前記状態変化情報通知部は、状態変化の重要度、緊急度に依存して、状態変化の通知対象シンク機器数を増減、通知の態様の認知性を増減させることを特徴とする請求項1から3までのいずれか1項に記載のソース機器。   The state change information notification unit increases or decreases the number of sink devices to be notified of the state change and increases or decreases the cognition of the notification mode depending on the importance and urgency of the state change. The source device according to any one of 3 to 3. ソース機器から供給されたコンテンツ情報を出力するシンク機器であって、
前記ソース機器の状態変化を検出するソース機器状態変化発生検出部と、
前記ソース機器からの状態変化の内容を解釈する通知情報解釈部と、
前記通知情報解釈部の解釈に基づいて、前記コンテンツ情報又はソース機器の状態変化に基づく出力を出力部に指示する出力指示部と、を有し、
前記通知情報解釈部は
状態変化に関する表示をシンク機器で行わせるか否かを判断し、コンテンツを提供するソース機器と、状態変化情報を通知するソース機器とが同一の場合には、状態変化に関する表示をシンク機器では行わないことを特徴とするシンク機器。
A sink device that outputs content information supplied from a source device,
A source device state change occurrence detection unit for detecting a state change of the source device;
A notification information interpreter that interprets the contents of the state change from the source device;
An output instruction unit that instructs the output unit to output based on the content information or the state change of the source device based on the interpretation of the notification information interpretation unit;
The notification information interpretation unit includes :
It is determined whether or not the sink device displays the status change. If the source device that provides the content and the source device that notifies the status change information are the same, the sink device displays the status change. A sink device characterized by the absence .
前記ソース機器からの状態変化の内容は、ソース機器側では特別な通知要否判断が行われなかったか否かを含む内容であることを特徴とする請求項5に記載のシンク機器。 6. The sink device according to claim 5, wherein the content of the state change from the source device is a content including whether or not a special notification necessity determination has not been performed on the source device side. シンク機器が出力するコンテンツ情報を供給するソース機器であって、前記ソース機器の状態変化を検出する状態変化検出部と、前記状態変化検出部で検出された前記ソース機器の状態変化を通知するための状態変化情報を生成する通知情報生成部と、前記状態変化情報の通知先がコンテンツ情報を送るシンク機器であるか否かを判定する通知先判定部と、を有し、前記状態変化情報を通知する状態変化情報通知部は、前記状態変化情報を受け取るシンク機器と前記コンテンツ情報を受け取るシンク機器とが同じシンク機器である場合には、前記状態変化情報を前記シンク機器には通知しないことを特徴とするソース機器と、
前記ソース機器から供給されたコンテンツ情報を出力するシンク機器であって、前記ソース機器の状態変化を検出するソース機器状態変化発生検出部と、前記ソース機器からの状態変化の内容を解釈する通知情報解釈部と、前記通知情報解釈部の解釈に基づいて、前記コンテンツ情報又はソース機器の状態変化に基づく出力を出力部に指示する出力指示部と、を有することを特徴とするシンク機器と、
を有することを特徴とするシステム。
A source device that supplies content information output by a sink device, and a state change detection unit that detects a change in the state of the source device, and a notification of a change in the state of the source device detected by the state change detection unit A notification information generation unit that generates the state change information, and a notification destination determination unit that determines whether or not the notification destination of the state change information is a sink device that transmits content information. The state change information notifying unit for notifying notifies the sink device of the state change information when the sink device that receives the state change information and the sink device that receives the content information are the same sink device. Source device that features,
A sink device that outputs content information supplied from the source device, a source device state change occurrence detection unit that detects a state change of the source device, and notification information that interprets the contents of the state change from the source device A sink device comprising: an interpretation unit; and an output instruction unit that instructs the output unit to output based on the content information or a state change of the source device based on the interpretation of the notification information interpretation unit;
The system characterized by having.
シンク機器が出力するコンテンツ情報を、シンク機器に供給するソース機器における処理方法であって、
前記ソース機器の状態変化を検出する状態変化検出ステップと、
前記状態変化検出ステップで検出された前記ソース機器の状態変化を通知するための状態変化情報を生成する通知情報生成ステップと、
前記状態変化情報の通知先がコンテンツ情報を送るシンク機器であるか否かを判定する通知先判定ステップと、を有し、
前記状態変化情報を通知する状態変化情報通知ステップにおいて、前記ソース機器の状態の変化を示す状態変化情報を受け取るシンク機器がコンテンツ情報を受け取るシンク機器とは異なる場合には、前記状態変化情報を前記シンク機器に通知することを特徴とするソース機器における処理方法。
A processing method in a source device that supplies content information output from a sink device to the sink device,
A state change detecting step for detecting a state change of the source device;
A notification information generation step for generating state change information for notifying the state change of the source device detected in the state change detection step;
A notification destination determination step of determining whether or not the notification destination of the state change information is a sink device that sends content information;
In the state change information notification step of notifying the state change information, if the sink device that receives the state change information indicating the state change of the source device is different from the sink device that receives the content information, the state change information is A processing method in a source device, characterized by notifying a sink device.
コンピュータに請求項に記載の処理方法を実行させるためのプログラム。 A program for causing a computer to execute the processing method according to claim 8 .
JP2012163966A 2012-07-24 2012-07-24 Source device, sink device, system, program, and storage medium Expired - Fee Related JP5977612B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012163966A JP5977612B2 (en) 2012-07-24 2012-07-24 Source device, sink device, system, program, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012163966A JP5977612B2 (en) 2012-07-24 2012-07-24 Source device, sink device, system, program, and storage medium

Publications (2)

Publication Number Publication Date
JP2014027360A JP2014027360A (en) 2014-02-06
JP5977612B2 true JP5977612B2 (en) 2016-08-24

Family

ID=50200664

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012163966A Expired - Fee Related JP5977612B2 (en) 2012-07-24 2012-07-24 Source device, sink device, system, program, and storage medium

Country Status (1)

Country Link
JP (1) JP5977612B2 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3107347B1 (en) 2014-02-12 2021-03-10 Sony Corporation Information processing device, information processing system, and information processing method
JP6451238B2 (en) * 2014-11-17 2019-01-16 セイコーエプソン株式会社 Device for transmitting or receiving video, method for controlling device, computer program
US10225218B2 (en) * 2016-09-16 2019-03-05 Google Llc Management system for audio and visual content

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003061003A (en) * 2001-08-09 2003-02-28 Canon Inc Image processor, image processing method, recording medium and program
JP2005025582A (en) * 2003-07-04 2005-01-27 Hitachi Ltd Portable terminal device
JP2007006173A (en) * 2005-06-24 2007-01-11 Fujitsu Ltd Electronic apparatus, picture information output method, and program
JP2009004877A (en) * 2007-06-19 2009-01-08 Toshiba Corp Data transmission device and data transmission method
JP2009055538A (en) * 2007-08-29 2009-03-12 Sharp Corp Display device and display system
US20120044127A1 (en) * 2009-04-28 2012-02-23 Ryutaro Mashiko Terminal apparatus
RU2012117738A (en) * 2009-09-29 2013-11-10 Шарп Кабусики Кайся PERIPHERAL DEVICE INFORMATION DISPLAY SYSTEM, DISPLAY DEVICE AND PERIPHERAL DEVICE
JP5586331B2 (en) * 2010-06-02 2014-09-10 アルパイン株式会社 Content display device and content display method

Also Published As

Publication number Publication date
JP2014027360A (en) 2014-02-06

Similar Documents

Publication Publication Date Title
US8958742B2 (en) Mobile terminal and method for operating the same
US8233027B2 (en) Video conference apparatus and method thereof
US11115227B2 (en) Terminal and method for bidirectional live sharing and smart monitoring
US20090070840A1 (en) Terminal-Cooperated System, Terminal, Server and Method for Uninterrupted Reception of Contents
JP5113935B1 (en) REPRODUCTION DEVICE, TELEVISION RECEIVER, DEVICE SELECTION METHOD, PROGRAM, AND RECORDING MEDIUM
JP6598875B2 (en) Information processing system, wireless terminal, and information processing method
JP2016535351A (en) Video information sharing method, apparatus, program, and recording medium
EP2335410A1 (en) Communication system and method
JP2015080079A (en) Equipment and control method therefor
JP4743274B2 (en) Mobile device with TV function, program information storage method and program
KR101945813B1 (en) Image display apparatus, mobile terminal and method for operating the same
JP5977612B2 (en) Source device, sink device, system, program, and storage medium
US20140362166A1 (en) Incoming call display method, electronic device, and incoming call display system
JP2006101338A (en) Television set
JP4939095B2 (en) Content providing system and content switching method
JP5039201B2 (en) Image voice communication system and receiving apparatus
JP2012141787A (en) Video display device and display method for the same
JP2014056345A (en) Display device and display program
JP2013046319A (en) Image processing apparatus and image processing method
JP5010748B1 (en) Video display device, video processing method, and video display system
JP2009089274A (en) Device and method for supplying data, data display system, and program
JP2015104101A (en) Video receiving apparatus, video transmitting apparatus, and video reproduction method
US8913727B2 (en) Presence transmission method, video display device, and video display system
JP2006180179A (en) Television set
JP6431814B2 (en) Digital information transmitter / receiver

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150318

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20151221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160202

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160324

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160705

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160722

R150 Certificate of patent or registration of utility model

Ref document number: 5977612

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees