JP2011041026A - Terminal and program - Google Patents
Terminal and program Download PDFInfo
- Publication number
- JP2011041026A JP2011041026A JP2009186881A JP2009186881A JP2011041026A JP 2011041026 A JP2011041026 A JP 2011041026A JP 2009186881 A JP2009186881 A JP 2009186881A JP 2009186881 A JP2009186881 A JP 2009186881A JP 2011041026 A JP2011041026 A JP 2011041026A
- Authority
- JP
- Japan
- Prior art keywords
- display
- external
- unit
- image data
- terminal device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
Description
本発明は、端末装置、および、プログラムに関し、特に、外部装置を接続可能な端末装置に好適な端末装置、および、プログラムに関する。 The present invention relates to a terminal device and a program, and more particularly to a terminal device and a program suitable for a terminal device to which an external device can be connected.
携帯電話などの移動体通信端末では、多機能化が進み種々のアプリケーションなどが搭載されている。また、パーソナルコンピュータなどで採用されているＯＳ（Operating System）を実装する移動体通信端末も実現されつつあり、これまでパーソナルコンピュータなどでおこなっていたような処理が移動体通信端末でも実行可能になってきている。 Mobile communication terminals such as mobile phones have become increasingly multifunctional and are equipped with various applications. In addition, mobile communication terminals that implement an OS (Operating System) used in personal computers and the like are being realized, and processes that have been performed in personal computers and the like can now be executed in mobile communication terminals. It is coming.
しかしながら、移動体通信端末は携行できるサイズである必要があるため、移動体通信端末に搭載されている表示装置や入力装置も必然的に小型となってしまう。このため、情報処理にかかる能力が向上しても、ユーザとのインタフェースの部分で物理的な制約が残ってしまい、利便性を損ねてしまう問題がある。 However, since the mobile communication terminal needs to be a size that can be carried, the display device and input device mounted on the mobile communication terminal are inevitably small. For this reason, even if the ability for information processing is improved, there is a problem that physical restrictions remain in the interface with the user, and convenience is impaired.
一方で、例えば、MicroUSB（USB3.0）などのような、移動体通信端末でも採用可能な汎用インタフェースが普及しつつあり、移動体通信端末においても高速なデータ転送で外部装置と接続できる環境が整いつつある。このため、汎用装置として提供されている表示装置や入力装置（例えば、フルサイズのキーボードやポインティングデバイスなど）を移動体通信端末に接続することができ、拡張性の向上を図ることができる。これにより、上述したユーザインタフェース上の制約が解消されることが期待される。 On the other hand, for example, a general-purpose interface that can be adopted in mobile communication terminals such as MicroUSB (USB3.0) is becoming widespread, and there is an environment in which mobile communication terminals can be connected to external devices with high-speed data transfer. It is getting ready. For this reason, a display device or an input device (for example, a full-size keyboard or pointing device) provided as a general-purpose device can be connected to the mobile communication terminal, and the expandability can be improved. As a result, it is expected that the above-described restrictions on the user interface are eliminated.
しかしながら、移動体通信端末が搭載するアプリケーション等のすべてを種々の外部装置にも対応できるものにすることは、移動体通信端末の開発・製造過程で多大なコスト増を強いるものであり、現実的ではないという側面もある。この結果、外部装置に対応するアプリケーションと対応していないアプリケーションが移動体通信端末内に混在することが考えられる。この場合、アプリケーションによっては外部装置を利用することができないので、拡張性が向上してもそれを十分に活用することができない。 However, making all of the applications installed in the mobile communication terminal compatible with various external devices is a substantial increase in cost in the development and manufacturing process of the mobile communication terminal. There is also an aspect that is not. As a result, it is conceivable that applications corresponding to external devices and applications not corresponding to each other are mixed in the mobile communication terminal. In this case, since an external device cannot be used depending on the application, even if expandability is improved, it cannot be fully utilized.
なお、パーソナルコンピュータに接続した端末装置で実行しているアプリケーションの表示内容をキャプチャして表示させてリモート操作する技術や、携帯端末で実行しているアプリケーションの表示をビデオ信号に変換してテレビ受像機の画面に表示させる技術（例えば、特許文献１）などが知られている。 In addition, the display contents of the application running on the terminal device connected to the personal computer can be captured and displayed for remote operation, or the display of the application running on the mobile terminal can be converted into a video signal for television reception. A technique (for example, Patent Document 1) for displaying on a machine screen is known.
しかしながら、移動体通信端末などの端末装置を外部表示装置に接続した場合に、当該端末装置が有している表示装置に対応した画面の表示を外部表示装置にも適切におこなうことのできる技術は特許文献１などに開示されておらず、移動体通信端末などの拡張性を活用して利便性の向上をもたらす技術の確立が望まれている。
However, when a terminal device such as a mobile communication terminal is connected to an external display device, a technique that can appropriately display a screen corresponding to the display device included in the terminal device also on the external display device is It is not disclosed in
本発明は、上記実状に鑑みてなされたものであり、端末装置に外部装置を接続した際の利便性の向上を、低コストで実現することを目的とする。 The present invention has been made in view of the above circumstances, and an object thereof is to realize an improvement in convenience when an external device is connected to a terminal device at a low cost.
上記目的を達成するため、本発明の第１の観点にかかる端末装置は、
生成した画像データに基づく表示出力をおこなう表示手段を備えた端末装置において、
前記表示手段の表示サイズに対応する第１のメモリ領域に前記表示手段で出力する前記画像データを展開して前記表示手段への表示出力をおこなう第１の表示制御手段と、
外部装置を接続する接続手段と、
前記接続手段に接続された外部装置の種類を判別する接続判別手段と、
前記接続判別手段によって外部表示装置が接続されたと判別された場合に、前記表示手段への表示出力が該接続された外部表示装置に対応しているか否かを判別し、対応していない場合、前記第１のメモリ領域に展開されている前記画像データを、前記外部表示装置の表示サイズに対応する第２のメモリ領域に転送して展開する第２の表示制御手段と、
前記第２のメモリ領域に展開された前記画像データを、前記接続手段に接続された前記外部表示装置に出力する外部表示手段と、
を備えることを特徴とする。
In order to achieve the above object, a terminal device according to the first aspect of the present invention provides:
In a terminal device having display means for performing display output based on generated image data,
First display control means for expanding the image data output by the display means in a first memory area corresponding to the display size of the display means and performing display output to the display means;
A connection means for connecting an external device;
Connection determination means for determining the type of external device connected to the connection means;
When it is determined that the external display device is connected by the connection determining means, it is determined whether or not the display output to the display means corresponds to the connected external display device. Second display control means for transferring and expanding the image data expanded in the first memory area to a second memory area corresponding to a display size of the external display device;
External display means for outputting the image data expanded in the second memory area to the external display device connected to the connection means;
It is characterized by providing.
上記端末装置において、
前記第２の表示制御手段は、前記第１の表示制御手段と前記第２の表示制御手段との間のＡＰＩ（Application Programming Interface）により、前記第１のメモリ領域に展開されている画像データを前記第２のメモリ領域に転送することが望ましい。
In the above terminal device,
The second display control means stores image data developed in the first memory area by an API (Application Programming Interface) between the first display control means and the second display control means. It is desirable to transfer to the second memory area.
上記端末装置において、
前記第２の表示制御手段は、前記端末装置でのアプリケーションの実行に伴うイベントシンクについての追加イベントシンクにより前記第１のメモリ領域に展開されている画像データを前記第２のメモリ領域に転送してもよい。
In the above terminal device,
The second display control means transfers the image data developed in the first memory area to the second memory area by an additional event sink for an event sink associated with execution of an application in the terminal device. May be.
上記端末装置において、
指定されたアプリケーションがいずれであるかを示す設定情報を記憶する記憶手段をさらに備えていることが望ましく、この場合、
前記外部表示手段は、前記第２のメモリ領域に転送された前記設定情報が示すアプリケーションについての画像データを、当該画像データが示す画面が前記外部表示装置の表示画面における最前面に表示されるよう、当該画像データを該外部表示装置に出力することが望ましい。
In the above terminal device,
It is desirable to further include storage means for storing setting information indicating which application is designated, in this case,
The external display means displays the image data of the application indicated by the setting information transferred to the second memory area, and the screen indicated by the image data is displayed on the forefront of the display screen of the external display device. It is desirable to output the image data to the external display device.
上記端末装置において、
前記第１の表示制御手段は、実行されているアプリケーションの数に応じた複数の前記第１のメモリ領域に、実行中の各アプリケーションについての画像データを展開し、
前記第２の表示制御手段は、前記複数の第１のメモリ領域に展開されている画像データを、前記第２のメモリ領域に転送することが望ましい。
In the above terminal device,
The first display control means expands image data for each application being executed in the plurality of first memory areas corresponding to the number of applications being executed,
The second display control unit preferably transfers the image data expanded in the plurality of first memory areas to the second memory area.
上記端末装置において、
前記第１の表示制御手段は、前記接続判別手段により前記接続手段に外部入力装置が接続されたと判別された場合、該外部入力装置からの入力を示す画像データを前記第１のメモリ領域に展開することが望ましい。
In the above terminal device,
When the connection determination unit determines that an external input device is connected to the connection unit, the first display control unit expands image data indicating an input from the external input device in the first memory area. It is desirable to do.
上記端末装置は、音声通話機能を含む端末装置であることが望ましく、この場合、
前記接続判別手段により前記外部装置が接続されたことが判別された場合に、前記音声通話機能にかかる音声入出力をハンズフリーモードに切り替える音声制御手段をさらに備えていることが望ましい。
The terminal device is preferably a terminal device including a voice call function.
It is preferable that the apparatus further comprises voice control means for switching voice input / output related to the voice call function to a hands-free mode when the connection judgment means judges that the external device is connected.
上記目的を達成するため、本発明の第２の観点にかかるプログラムは、
生成した画像データに基づく表示出力をおこなう表示手段と、外部装置を接続する接続手段と、を備えた端末装置を制御するコンピュータに、
前記表示手段の表示サイズに対応する第１のメモリ領域に前記表示手段で出力する前記画像データを展開して前記表示手段への表示出力をおこなう機能と、
前記接続手段に接続された外部装置の種類を判別する機能と、
外部表示装置が接続されたと判別された場合に、前記表示手段への表示出力が該接続された外部表示装置に対応しているか否かを判別し、対応していない場合、前記第１のメモリ領域に展開されている前記画像データを、前記外部表示装置の表示サイズに対応する第２のメモリ領域に転送して展開する機能と、
前記第２のメモリ領域に展開された前記画像データを、前記接続手段に接続された前記外部表示装置に出力する機能と、
を実現させることを特徴とする。
In order to achieve the above object, a program according to the second aspect of the present invention is:
A computer that controls a terminal device including a display unit that performs display output based on the generated image data and a connection unit that connects an external device,
A function of developing the image data output by the display unit in a first memory area corresponding to a display size of the display unit and performing display output to the display unit;
A function of determining the type of external device connected to the connection means;
When it is determined that an external display device is connected, it is determined whether or not the display output to the display means corresponds to the connected external display device. A function of transferring and expanding the image data expanded in a region to a second memory region corresponding to the display size of the external display device;
A function of outputting the image data expanded in the second memory area to the external display device connected to the connection means;
It is characterized by realizing.
本発明によれば、端末装置に外部装置を接続した際の利便性の向上を、低コストで実現することができる。 According to the present invention, improvement in convenience when an external device is connected to a terminal device can be realized at low cost.
以下、図面を参照して、本発明にかかる実施形態を説明する。本実施形態では、携帯電話やＰＨＳ（Personal Handyphone System）に用いられる移動体通信端末に本発明を適用した場合を説明する。 Embodiments according to the present invention will be described below with reference to the drawings. In the present embodiment, a case will be described in which the present invention is applied to a mobile communication terminal used for a mobile phone or a PHS (Personal Handyphone System).
本実施形態にかかる移動体通信端末１００は、例えば、図１に示すような、表示部１３２を有する移動体通信端末であるものとする。また、移動体通信端末１００の動作電源となるバッテリへ充電する場合や、商用電源によって移動体通信端末１００を駆動させる場合などのために、所定の充電台（クレードル、スタンド、など。以下、「クレードル２００」とする）が用いられるものとする。本実施形態では、図１に示すようなクレードル２００に移動体通信端末１００を載置して充電等をおこなう。
The
本実施形態にかかる移動体通信端末１００は、例えば、２軸ヒンジなどを用いた折り畳み型であるものとし、クレードル２００に載置される際には、図１に示すように、表示画面（表示部１３２）が露出するように移動体通信端末１００が折りたたまれるとともに、表示画面（表示部１３２）がクレードル２００の正面側を向くよう載置されるものとする。
The
この場合、移動体通信端末１００とクレードル２００とを接続するコネクタは、移動体通信端末１００側では移動体通信端末１００の側面部に配置される。そして、クレードル２００側では、クレードル２００の載置面上にコネクタが配置され、移動体通信端末１００をクレードル２００上に載置した際にそれぞれのコネクタが係合されることとなる。
In this case, the connector that connects the
このような移動体通信端末１００の内部構成を、図２を参照して説明する。図２は移動体通信端末１００の構成を示すブロック図である。図示するように、移動体通信端末１００は、制御部１１０、通信制御部１２０、入力部１４０、出力部１３０、表示メモリ部１３５、コネクタ部１５０、電源部１６０、記憶部１７０、などから構成される。
The internal configuration of such a
制御部１１０は、例えば、ＣＰＵ（Central Processing Unit：中央演算処理装置）やワークエリアとなる所定の記憶装置（ＲＡＭ（Random Access Memory）など）から構成され、移動体通信端末１００の各部を制御するとともに、記憶部１７０に格納されている所定の動作プログラムに基づいて後述する各処理を実行する。なお、後述する移動体通信端末１００の各構成はそれぞれ制御部１１０と接続されており、各構成間でのデータ授受などは制御部１１０を介しておこなわれるものとする。
The
通信制御部１２０は、例えば、セルラ通信用の無線通信回路などから構成され、アンテナ部１２４を介した無線通信をおこなう。通信制御部１２０はさらに、音声通信部１２１、データ通信部１２２、などを有する。
The
音声通信部１２１は、移動体通信端末１００の音声通話機能にかかる通信を制御する。ここでは、例えば、アンテナ部１２３を制御して、移動体通信網などの電話回線網を介した音声通話のための無線通信をおこなうとともに、音声の符号化処理や復号処理などをおこなう。
The
データ通信部１２２は、移動体通信端末１００のデータ通信機能にかかる通信を制御する。本実施形態では、例えば、インターネットなどのＩＰ網を介したデータ通信を介しておこなうものとし、データ通信部１２２がアンテナ部１２３を制御することで、データ通信網への無線接続やデータ送受信がおこなわれる。
The
なお、音声通信部１２１およびデータ通信部１２２は、移動体通信端末１００に移動体通信サービスを提供する事業体（いわゆる、キャリア）が提供する基地局との間の無線通信をおこなう。
The
出力部１３０は、音声出力部１３１、表示部１３２、などから構成され、移動体通信端末１００による種々の情報出力動作をおこなう。
The
音声出力部１３１は、例えば、スピーカなどから構成され、音声通話時の着信音や受話音声などを出力する。
The
表示部１３２は、例えば、液晶表示装置などから構成され、移動体通信端末１００の機能にかかる種々の画面を表示する。
The
表示メモリ部１３５は、いわゆるＶＲＡＭ（Video RAM）などのような、表示部１３２に表示される画像データが展開されるメモリである。
The
入力部１４０は、操作部１４１や音声入力部１４２などから構成され、移動体通信端末１００に対するユーザ入力のためのインタフェースとして機能する。
The
操作部１４１は、ユーザによって操作されるキーパッド（文字キー（テンキー）、十字キーなど）や機能ボタンなどから構成され、ユーザ操作に応じた入力信号を生成して制御部１１０に入力する。
The operation unit 141 includes a keypad (character key (ten key), cross key, etc.) operated by a user, function buttons, and the like, and generates an input signal corresponding to the user operation and inputs the input signal to the
音声入力部１４２は、例えば、マイクロフォンなどから構成され、音声通話時のユーザ発話音声を入力する。 The voice input unit 142 is composed of, for example, a microphone and inputs a user uttered voice during a voice call.
コネクタ部１５０は、クレードル２００との接続用のコネクタであり、クレードル２００に接続されている商用電源を受電する他、クレードル２００を介して接続される外部装置との信号送受をおこなう。この場合、コネクタ部１５０は、例えば、MicroUSB（USB3.0）に準拠したコネクタなどによって構成されるものとする。
The
この場合、MicroUSB（USB3.0）などの外部インタフェース手段により、図１に示すような外部表示装置３００や外部入力装置４００などの外部装置が、クレードル２００を介して移動体通信端末１００に接続されるものとする。本実施形態では、クレードル２００に接続ポートが備えられ、この接続ポートに接続された外部装置との信号授受がコネクタ部１５０を介しておこなわれるものとする。
In this case, external devices such as the
クレードル２００を介して接続される外部装置として、本実施形態では、図１に示すような外部表示装置３００と外部入力装置４００を想定する。
In the present embodiment, an
外部表示装置３００は、例えば、液晶表示装置などであり、コネクタ部１５０が採用している外部インタフェース規格（例えば、MicroUSB（USB3.0）など）によって伝送される画像信号を表示可能な表示装置であるものとする。また、外部表示装置３００は、少なくとも、移動体通信端末１００の表示部１３２の画面サイズよりも大きい画面サイズであるものとする。
The
外部入力装置４００は、例えば、キーボードなどの文字入力装置であるものとし、コネクタ部１５０が採用している外部インタフェース規格（例えば、MicroUSB（USB3.0）など）によって入力信号を出力可能な入力装置であるものとする。
The
電源部１６０（図２）は、所定の電源回路や充電式バッテリなどから構成され、クレードル２００と接続されたコネクタ部１５０を介して供給された商用電源をバッテリに充電する他、クレードル２００から供給される電力やバッテリに蓄積された電力を移動体通信端末１００の各部に供給する。
The power supply unit 160 (FIG. 2) includes a predetermined power supply circuit, a rechargeable battery, and the like, and charges the commercial power supplied via the
記憶部１７０は、例えば、ＲＯＭ（Read Only Memory）やフラッシュメモリなどといった所定の記憶装置から構成され、制御部１１０が実行する動作プログラムの他、各処理の実行に必要なデータや各処理の実行によって生成されたデータなどを格納する。
The
記憶部１７０に格納される動作プログラムは、移動体通信端末１００の基本動作を司る任意の基本プログラムなどの他に、後述する各処理を実現するための動作プログラムが格納されている。後述する移動体通信端末１００による処理は、制御部１１０がこれらの動作プログラムを実行することで実現される。
The operation program stored in the
すなわち、記憶部１７０に格納されている動作プログラムを実行することで、制御部１１０は、図３に示すような構成として機能する。図示するように、制御部１１０は、アプリケーション実行部１１１、接続検出部１１２、出力制御部１１３、入力制御部１１４、などとして機能する。
That is, by executing the operation program stored in the
アプリケーション実行部１１１は、記憶部１７０に格納されている種々のアプリケーションプログラムを実行する。
The
接続検出部１１２は、コネクタ部１５０での受電を検出することなどにより、移動体通信端末１００がクレードル２００と接続されたことを検出するとともに、クレードル２００を介して外部装置が接続されたか否かを検出する。接続検出部１１２はまた、外部装置が接続された場合、例えば、既知のプラグアンドプレイ技術などに基づいて、接続された外部装置（外部表示装置３００、外部入力装置４００、など）の種類や仕様などを判別する。
The
出力制御部１１３は、移動体通信端末１００の出力動作を制御する。通常の使用状態の場合、出力制御部１１３は、表示部１３２に表示出力する動作をおこなうが、本実施形態では、クレードル２００を介して外部表示装置３００が接続された場合には、外部表示装置３００に表示出力する動作をおこなう。外部表示装置３００に表示出力する場合、出力制御部１１３は、表示メモリ部１３５に展開された画像データをキャプチャ（スニッフィング）し、コネクタ部１５０を介して外部表示装置３００に出力する。
The
また、移動体通信端末１００がクレードル２００に載置された場合、出力制御部１１３は、移動体通信端末１００でハンズフリーによる音声入出力が可能となるよう音声入力部１４２と音声出力部１３１を制御する。
When the
すなわち、移動体通信端末１００で実行されているアプリケーションなどの動作で生成された画像データをキャプチャして外部表示装置３００に出力する。ここで、上述したように、移動体通信端末１００の表示部１３２よりも大きな画面サイズの外部表示装置３００が接続されるので、キャプチャした画像データを外部表示装置３００で表示する場合、少なくとも外部表示装置３００の画面サイズよりも小さいウィンドウとして表示されることになる。
That is, the image data generated by the operation of the application or the like being executed on the
入力制御部１１４は、移動体通信端末１００の入力動作を制御する。通常の使用状態の場合、入力制御部１１４は、操作部１４１からの入力信号に応じた入力動作をおこなうが、本実施形態では、クレードル２００を介して外部表示装置３００が接続され、かつ、外部入力装置４００が接続された場合、外部入力装置４００からの入力信号に応じた入力動作をおこなう。
The
制御部１１０によって実現される上記の各機能は、例えば、ＡＰＩ（Application Programming Interface）などのような既知の技術を用いることで、移動体通信端末１００に搭載されているアプリケーションの実行時に必要となるファイル制御、ウィンドウ制御、画像処理、文字制御などを、ＯＳ（Operating System）やミドルウェア、ドライバなどといった移動体通信端末１００に構成されている共有モジュールとの協働によって実現する。
Each of the above functions realized by the
なお、本実施形態にかかる移動体通信端末１００は、例えば、パーソナルコンピュータなどにも搭載可能なＯＳ（例えば、Linux（商標）など）が搭載されているものとする。この場合、移動体通信端末１００においては、外部表示装置３００が接続された際にその画面サイズに合わせた表示とすることで、パーソナルコンピュータなどと同様の表示環境とすることができるアプリケーションと、移動体通信端末１００の表示部１３２の画面サイズに合わせた表示出力となるアプリケーション（例えば、音声通話にかかるアプリケーションや、移動体通信端末１００に固有のアドレス情報を用いた電子メールやＳＭＳ（Short Messaging Service）にかかるアプリケーション、など）が、混在して搭載されているものとする。
Note that the
本実施形態では、制御部１１０によって上記機能構成が論理的に実現されるが、例えば、ＡＳＩＣ（Application Specific Integrated Circuit：特定用途向け集積回路）などの専用回路によって構成することで、これらの機能を物理的な構成によって実現してもよい。
In the present embodiment, the above-described functional configuration is logically realized by the
以上説明した移動体通信端末１００の各構成は、本発明を実現するために必要な構成であり、移動体通信端末としての基本機能に必要なその他の構成や、種々の付加機能に必要な構成などは、必要に応じて備えられているものとする。
Each configuration of the
次に、クレードル２００について説明する。上述したように、クレードル２００は移動体通信端末１００が載置されることで充電等をおこなうものであり、図１に示すような移動体通信端末１００を載置可能な筐体を有するとともに、商用電源用のコードや変圧回路などを備え、移動体通信端末１００への供給に適した電力（商用電源）を取得する。
Next, the
また、移動体通信端末１００が載置される面には、移動体通信端末１００が載置された際のコネクタ部１５０と係合するコネクタが配置される。ここでは、コネクタ部１５０が採用している規格（例えば、MicroUSB（USB3.0）など）と適合するコネクタが配置される。
Further, on the surface on which the
このコネクタは、移動体通信端末１００への給電だけでなく、クレードル２００に接続された外部装置と移動体通信端末１００とのデータ送受をおこなう。この場合、クレードル２００の外面に備えられている、例えば、MicroUSB（USB3.0）などの外部インタフェース規格による接続ポートと、コネクタ部１５０と係合するコネクタとがクレードル２００の内部で接続されている。
This connector not only feeds power to the
これにより、接続ポートに外部装置（外部表示装置３００や外部入力装置４００）が接続されることで、クレードル２００のコネクタと移動体通信端末１００のコネクタ部１５０とを介して、移動体通信端末１００と外部装置とが接続され、画像データや入力信号などが移動体通信端末１００と外部装置との間で送受可能となる。
Thereby, when the external device (the
以上のような構成を有する移動体通信端末１００等による動作を以下に説明する。
The operation of the
移動体通信端末１００によって実行される「出力制御処理」を、図４に示すフローチャートを参照して説明する。この「出力制御処理」は、移動体通信端末１００がクレードル２００に接続されたことを契機に開始される。すなわち、移動体通信端末１００のコネクタ部１５０がクレードル２００のコネクタと接続されたことを接続検出部１１２が検出すると処理が開始される。
The “output control process” executed by the
接続検出部１１２は、クレードル２００との接続を検出すると、その旨を出力制御部１１３と入力制御部１１４に通知する。出力制御部１１３と入力制御部１１４は、接続検出部１１２からの通知に応じて、それぞれ出力部１３０と入力部１４０を制御することでハンズフリーモードに設定する（ステップＳ１０１）。ここでは、例えば、スピーカやマイクロフォンの音声レベルを高めるような設定変更をおこなうことによりハンズフリーモードにする。
When the
この状態でクレードル２００に外部表示装置３００が接続されると、接続検出部１１２によって検出される（ステップＳ１０２：Ｙｅｓ）。この場合、接続検出部１１２は、アプリケーション実行部１１１、出力制御部１１３、入力制御部１１４にその旨を通知する。接続検出部１１２からの通知に応じたアプリケーション実行部１１１、出力制御部１１３、入力制御部１１４の協働により、「外部表示処理」が実行される（ステップＳ２００）。この「外部表示処理」を、図５に示すフローチャートを参照して説明する。
When the
処理が開始されると、アプリケーション実行部１１１により、アプリケーションを実行しているか否かが判別される（ステップＳ２０１）。ここで、アプリケーションを実行している場合（ステップＳ２０１：Ｙｅｓ）、アプリケーション実行部１１１は、当該アプリケーションが、接続された外部表示装置３００の画面サイズに対応しているアプリケーション（以下、「対応アプリ」とする）であるか否かを判別する（ステップＳ２０２）。
When the process is started, the
上述したように、本実施形態にかかる移動体通信端末１００は、パーソナルコンピュータなどでも採用可能なＯＳによって動作しているので、移動体通信端末としての機能にかかるアプリケーション（例えば、移動体通信端末１００に固有のアドレスを用いた通話機能や電子メール機能にかかるアプリケーションなど）の他、パーソナルコンピュータなどでも実行されるようなアプリケーションが混在している。
As described above, since the
このような場合、移動体通信端末としての機能にかかるアプリケーションについては、移動体通信端末１００の表示部１３２の画面サイズに適合した画面表示のみおこなえるものとする。一方、パーソナルコンピュータなどでも実行可能なアプリケーションは、外部表示装置３００の画面サイズ（すなわち、表示部１３２の画面サイズよりも大きい画面サイズ）にも適合できる画面表示をおこなえるものとする。
In such a case, the application related to the function as the mobile communication terminal can only perform screen display that matches the screen size of the
ここで、実行しているアプリケーションが、移動体通信端末としての機能にかかるアプリケーションである場合、アプリケーション実行部１１１は、外部表示装置３００の画面サイズに対応したアプリケーションではない（以下、「非対応アプリ」とする）と判別する（ステップＳ２０２：Ｎｏ）。
Here, when the application being executed is an application related to the function as the mobile communication terminal, the
この場合、移動体通信端末１００においては、上述したようなＡＰＩ技術などにより、表示部１３２の画面サイズに適合している画面を外部表示装置３００で表示するための動作をおこなう。ここではまず、生成された画面の画像データを、移動体通信端末１００が備える表示部１３２で表示させる（以下、「自表示」とする）場合と同様に、自表示用のバッファ領域（以下、「自表示バッファ」とする）に展開する（ステップＳ２０３）。この自表示バッファは、例えば、表示メモリ部１３５内に用意されているものとする。
In this case, the
自表示バッファに展開された画像データは、出力制御部１１３が出力部１３０を制御することにより、表示部１３２（自表示装置）に表示出力される（ステップＳ２０４）。
The image data developed in the self-display buffer is displayed and output on the display unit 132 (self-display device) by the
これと同時に、出力制御部１１３は、自表示バッファに展開された画像データをキャプチャする（ステップＳ２０５）。このような動作は、自表示用のＡＰＩなどによって実現される。本実施形態にかかるＡＰＩの動作例を、図６を参照して説明する。図６は、本実施形態にかかる移動体通信端末１００に実装されているＡＰＩの概念と機能を模式的に示した図である。
At the same time, the
図示するように、移動体通信端末１００では、図３に示した制御部１１０の各機能構成が、制御部１１０を構成しているハードウェア要素や表示メモリ部１３５などを利用した動作をおこなうことにより、自表示ＡＰＩ、ウィンドウ作成部、外部表示ＡＰＩなどが実現されている。
3, in the
自表示ＡＰＩは、非対応アプリなどの表示画面を表示部１３２に表示させる動作や、外部表示装置３００が接続されていない場合に対応アプリの表示画面を表示部１３２に表示させる動作にかかるコマンドの実行などをおこなうＡＰＩであり、例えば、移動体通信端末１００のソフトウェアアーキテクチャを構成するドライバレイヤで動作する。
The self-display API is a command related to an operation for displaying a display screen of a non-compatible application or the like on the
この自表示ＡＰＩには、例えば、表示部１３２に表示する画面を形成するために、自表示バッファ上で描画動作や文字表示をおこなうコマンドや、展開されている画像データを転送させるコールバックコマンドなどのコマンド群が実装されている。
In this self-display API, for example, in order to form a screen to be displayed on the
移動体通信端末１００の表示動作では、自表示ＡＰＩの描画コマンドや文字表示コマンドが用いられることで、表示される画像が自表示バッファに展開される。例えば、文字表示コマンドが用いられると、図６に示すように、自表示バッファに文字パターン（図６における「ＡＢＣ」）が書き込まれる。自表示バッファに展開されたデータは、表示部１３２を駆動するＬＳＩなどのハードウェアに転送される。これにより、自表示バッファに展開された内容が表示部１３２に表示出力される。
In the display operation of the
ここで、自表示バッファに展開されている表示データが非対応アプリにかかるものであり、かつ、移動体通信端末１００に外部表示装置３００が接続されている場合、当該表示データの内容を外部表示装置３００でも表示出力するよう動作する。この場合、自表示ＡＰＩが実行するコールバックコマンドの実行フラグ（コールバック実行フラグ）に基づいて当該動作がおこなわれる。すなわち、外部表示装置３００が接続されている状態でアプリケーション実行部１１１によって実行されているアプリケーションが非対応アプリである場合、コールバック実行フラグのレジスタ値がコールバックの実行を示す値に設定される（フラグがオン）。
Here, when the display data developed in the self-display buffer is related to an incompatible application, and the
コールバック実行フラグがオンとなっている場合、自表示ＡＰＩのコールバックコマンドが実行される。これにより、自表示バッファに展開されている表示データが、ウィンドウ作成部が用いるバッファ領域であるウィンドウバッファに転送される。 When the callback execution flag is on, the callback command of the self-display API is executed. As a result, the display data developed in the self-display buffer is transferred to the window buffer which is a buffer area used by the window creation unit.
ウィンドウ作成部は、非対応アプリの画面表示を外部表示装置３００でおこなう場合に、表示部１３２の表示サイズに相当するウィンドウを作成する機能構成であり、例えば、移動体通信端末１００のソフトウェアアーキテクチャを構成しているミドルウェアレイヤで動作する。
The window creation unit is a functional configuration that creates a window corresponding to the display size of the
このウィンドウ作成部は、記憶部１７０などに予め格納されている既定のウィンドウ画像と、自表示ＡＰＩから転送された表示データとを、例えば、表示メモリ部１３５上に設定されているバッファ領域（ウィンドウバッファ）に展開する。すなわち、自表示バッファに展開されている表示データがウィンドウバッファに転送されることで、ステップＳ２０５（図５）における表示画像のキャプチャが実現される。
The window creation unit displays a predetermined window image stored in advance in the
このキャプチャ動作では、表示データとウィンドウ画像とが合成されるようにウィンドウバッファ上で展開する（ステップＳ２０６）。図６の例では、自表示バッファに書き込まれた文字パターン（「ＡＢＣ」）がウィンドウバッファに転送され、ウィンドウ画像内に当該文字パターンが配置されるようウィンドウバッファ上でデータが展開される。 In this capture operation, the display data and the window image are expanded on the window buffer so as to be combined (step S206). In the example of FIG. 6, the character pattern (“ABC”) written in the self-display buffer is transferred to the window buffer, and the data is expanded on the window buffer so that the character pattern is arranged in the window image.
ここで、ウィンドウバッファに展開されているウィンドウ画像は、表示部１３２の表示画面サイズに対応しているものとする。この場合、ウィンドウバッファの領域サイズは、少なくとも、表示部１３２における１画面分の表示データとウィンドウ画像とを展開できる分が確保されているものとする。また、ウィンドウ画像は、例えば、表示部１３２の周囲で枠状に視認される移動体通信端末１００の筐体部分を模したデザインとしてもよい。この場合、枠内の領域が表示部１３２の表示画面サイズに対応することになる。この枠内領域の座標系を表示部１３２の座標系に対応させることで、自表示バッファに展開されている表示データが、ウィンドウ画像の枠内領域に収まるよう合成される。
Here, it is assumed that the window image developed in the window buffer corresponds to the display screen size of the
このようにしてウィンドウバッファ上に表示データが展開されると、外部表示ＡＰＩにより、展開された表示データが外部表示装置３００に表示出力される（ステップＳ２０７）。
When the display data is expanded on the window buffer in this way, the expanded display data is displayed and output on the
外部表示ＡＰＩは、自表示ＡＰＩと同様に各種コマンド群が実装され、表示メモリ部１３５に用意するバッファ領域（外部表示バッファ）を用いて表示動作をおこなうものであるが、外部表示装置３００での表示動作をおこなうため、外部表示バッファの領域サイズは、外部表示装置３００の画面サイズに対応したものとなっている。また、自表示ＡＰＩと同様、外部表示ＡＰＩは、例えば、移動体通信端末１００のソフトウェアアーキテクチャを構成しているドライバレイヤで動作する。
In the external display API, various command groups are mounted in the same manner as the self-display API, and a display operation is performed using a buffer area (external display buffer) prepared in the
ここで、接続検出部１１２が外部表示装置３００の接続を検出した際に、プラグアンドプレイ技術などによって外部表示装置３００の表示画面サイズを認識し、認識した表示画面サイズに応じて、外部表示バッファの領域サイズが動的に設定されてもよい。
Here, when the
外部表示装置３００に表示出力する場合、ウィンドウバッファ上でウィンドウ画像と表示データを合成したことを契機に、ウィンドウ作成部が外部表示ＡＰＩに実装されているコマンド群からパターン転送コマンドを呼びだす。パターン転送コマンドの実行により、ウィンドウバッファに展開されている表示データが、外部表示バッファに転送される。
In the case of display output on the
上述したように、ウィンドウ画像の領域サイズは表示部１３２の画面サイズに対応し、外部表示バッファの領域サイズが外部表示装置３００の表示画面サイズに対応しているので、外部表示バッファでは、表示部１３２よりも大きな表示画面内に表示部１３２の画面サイズに相当するウィンドウ画像が表示された状態のメモリパターンが形成される。
As described above, the area size of the window image corresponds to the screen size of the
外部表示ＡＰＩは、外部表示バッファに形成したメモリパターンを、コネクタ部１５０やクレードル２００を介して外部表示装置３００に転送する。これにより、非対応アプリの表示画面が、図７（ａ）に示すように、表示部１３２の表示サイズに相当する大きさで外部表示装置３００の表示画面上に表示される（ステップＳ２０７、図５）。
The external display API transfers the memory pattern formed in the external display buffer to the
一方、対応アプリなどのような、外部表示装置３００の表示画面サイズに対応するアプリケーションが実行された場合（ステップＳ２０２：Ｙｅｓ）、外部表示ＡＰＩにより外部表示バッファに表示データが展開され（ステップＳ２０８）、外部表示装置３００に表示出力される（ステップＳ２０７）。この場合は、図７（ｂ）に示すように、外部表示装置３００の表示画面サイズに合った表示がおこなわれる。
On the other hand, when an application corresponding to the display screen size of the
そして、当該アプリケーションが終了しなければ（ステップＳ２０９：Ｎｏ）、ステップＳ２０１以降の処理をおこなうことで、当該実行中のアプリケーションについての表示動作が継続される。 If the application does not end (step S209: No), the display operation for the application being executed is continued by performing the processing after step S201.
ここで、現在実行中のアプリケーションとは別のアプリケーションが実行された場合（ステップＳ２０１：Ｙｅｓ）、当該アプリケーションについてもステップＳ２０２以降の処理がおこなわれることになる。この場合において、例えば、対応アプリの実行中に非対応アプリが実行されると、図８（ａ）に示すように、ＯＳのデスクトップ画面の前面に非対応アプリケーションのウィンドウ画面が表示される。 Here, when an application different from the application currently being executed is executed (step S201: Yes), the processing from step S202 onward is also performed for the application. In this case, for example, when a non-compatible application is executed during the execution of the compatible application, a window screen of the non-compatible application is displayed on the front surface of the OS desktop screen as shown in FIG.
この動作により、移動体通信端末１００に外部表示装置３００を接続し、対応アプリを利用している最中に、例えば、移動体通信端末１００のアドレス情報を用いる音声通話や電子メールの着信が発生した場合、当該非対応アプリの画面がウィンドウ画面として外部表示装置３００の表示画面上に表示されることになる。すなわち、ユーザの注意を引く必要のある着信などが生じた場合に、該当するアプリケーションの画面が最前面にポップアップ表示されるので、ユーザの迅速な応答を補助することができる。
By this operation, for example, a voice call or an incoming e-mail using the address information of the
このような動作は、上述したようなＡＰＩを利用することで実現できる他、例えば、イベントシンクなどを用いることでも実現することができる。この場合、着信などの動作を制御するミドルウェアによって着信データの判別をおこない、判別内容に応じたイベント（例えば、電子メール受信イベント）を、ＯＳやアプリケーションフレームワークのイベントキューメモリにセットする。そして、イベントシンクと呼ばれるミドルウェアタスクがイベントキューメモリの中身を解釈し、対応するアプリケーションを起動させる。このとき、本来のイベントシンクによるイベントキューの参照に先立って、追加イベントシンクのタスクがイベントキューを探索するように動作させる。 Such an operation can be realized by using the API as described above, and can also be realized by using, for example, an event sink. In this case, the incoming data is discriminated by middleware that controls operations such as incoming calls, and an event (for example, an e-mail reception event) corresponding to the discriminated content is set in the event queue memory of the OS or application framework. A middleware task called an event sink interprets the contents of the event queue memory and activates the corresponding application. At this time, prior to referring to the event queue by the original event sink, the task of the additional event sink is operated so as to search the event queue.
この追加イベントシンクは、例えば、アプリケーションの動作（例えば、電子メールの受信）と、ウィンドウを作成して外部表示装置３００に表示させる動作とが予め対応づけられたものであり、記憶部１７０に格納されている。この追加イベントシンクが参照されることで、起動したアプリケーションの画面を示す画像データが自表示バッファからウィンドウバッファ、外部表示バッファへと順次転送され、当該アプリケーションのウィンドウ画面を外部表示装置３００の表示画面上に表示させることができる。
This additional event sink is, for example, associated in advance with an operation of an application (for example, reception of an e-mail) and an operation of creating a window and displaying the window on the
このように、例えば、音声通話の着信や電子メールの受信などのようなイベントの発生に応じて該当する画面を表示させる場合、対象となるイベントやアプリケーションを予め登録しておき、移動体通信端末１００に外部装置が接続されている際に、登録されているイベントやアプリケーションについての表示動作が発生したら、当該画面を最前面に表示させることで、ポップアップ表示とすることができる。 Thus, for example, when displaying a corresponding screen in response to the occurrence of an event such as an incoming voice call or an e-mail, the target event or application is registered in advance, and the mobile communication terminal When a display operation for a registered event or application occurs when an external device is connected to 100, a pop-up display can be obtained by displaying the screen in the foreground.
ここで、最前面に表示させる画面のイベントやアプリケーションは、移動体通信端末１００のユーザによって任意に設定できるようにすることが望ましい。このような設定内容を示す情報は、例えば、記憶部１７０に格納されているものとし、上述した「外部表示処理」（図５）において随時参照されるようにする。そして、参照された設定に応じて、外部表示装置３００に表示させるウィンドウ画面の表示レイヤを制御することで、所望するイベントやアプリケーションの画面が最前面にポップアップ表示される。
Here, it is desirable that the event or application on the screen displayed on the forefront can be arbitrarily set by the user of the
また、複数の非対応アプリが実行された場合には、例えば、図８（ｂ）に示すように、非対応アプリの実行数に応じたウィンドウ画面が、外部表示装置３００の表示画面上に表示されることになる。この場合のＡＰＩの構成例を図９に示す。図示するように、ウィンドウ作成部をオブジェクト指向プログラミングでクラス実装するとともに、自表示バッファの領域が複数用意された構成とすることで、複数のウィンドウ画面を動的に生成させることができる。
In addition, when a plurality of non-compatible apps are executed, for example, as shown in FIG. 8B, a window screen corresponding to the number of non-compatible apps executed is displayed on the display screen of the
この動作の詳細を、図１０を参照して説明する。ここでは、一例として、６つのウィンドウ画面を同時に表示できる場合の構成を説明する。この場合、表示可能な画面数分（ここでは「６」）の自表示バッファが用意され、これらの自表示バッファのそれぞれを指定するオブジェクトポインタアレイ（ウィンドウオブジェクトアドレスポインタアレイ）が、自表示ＡＰＩのレジスタに実装（以下、「ポインタレジスタ」とする）されている（図９参照）。 Details of this operation will be described with reference to FIG. Here, as an example, a configuration in which six window screens can be displayed simultaneously will be described. In this case, self-display buffers corresponding to the number of displayable screens (here, “6”) are prepared, and an object pointer array (window object address pointer array) for designating each of these self-display buffers is the self-display API. It is mounted on a register (hereinafter referred to as “pointer register”) (see FIG. 9).
ここで、外部表示装置３００が接続されていない場合においては、最前面に表示するアプリケーション以外は背面のレイヤに描画されるようになる。すなわち、複数のアプリケーションが実行されている場合でも、表示部１３２に表示出力できるのは１つのアプリケーションに限られている。
Here, when the
一方、外部表示装置３００が接続された状態では、非対応アプリが起動される際、描画オブジェクトのレイヤに応じたポインタレジスタにオブジェクトのアドレスを格納する。この場合、自表示ＡＰＩは、コマンド実行後にポインタレジスタを調べ、アドレスが登録されている（ＮＵＬＬではない）状態であれば、当該ポインタが指定している自表示バッファのコールバック処理をおこなうことで、表示データをウィンドウ作成部に転送する。
On the other hand, when the
図１０は、このような動作にかかるポインタレジスタの詳細を示しているが、図１０の例では、ポインタレジスタの１番〜３番にオブジェクトアドレスが登録され、４〜６番についてはＮＵＬＬとなった状態を示している。この場合、１番のポインタレジスタに対応する自表示バッファ１に描画されたデータ（図１０の例では、文字パターン「ＡＢＣ」）と、２番のポインタレジスタに対応する自表示バッファ２に描画されたデータ（図１０の例では、文字パターン「ＤＥＦ」）と、３番のポインタレジスタに対応する自表示バッファ３に描画されたデータ（図１０の例では、文字パターン「ＧＨＩ」）がコールバック処理によりウィンドウ作成部にバッファ転送され、ウィンドウ画像と合成後、外部表示ＡＰＩの外部表示バッファに転送される。この結果、外部表示装置３００の表示画面上に、図８（ｂ）に示すように、複数の非対応アプリの画面を示すウィンドウ画面が同時に表示される。
FIG. 10 shows details of the pointer register related to such an operation. In the example of FIG. 10, the object address is registered in the first to third pointer registers, and the fourth to sixth are NULL. The state is shown. In this case, data drawn in the self-
図５の「外部表示処理」では、このような動作がアプリケーションの実行に応じて繰り返しおこなわれ、実行を終了したアプリケーションについては、当該アプリケーションの表示動作を順次終了させる（ステップＳ２０９：Ｙｅｓ、ステップＳ２１０）。 In the “external display process” of FIG. 5, such an operation is repeatedly performed in accordance with the execution of the application, and for the application that has finished executing, the display operation of the application is sequentially ended (step S209: Yes, step S210). ).
以上の処理は、外部表示装置３００の接続が解除されるまで繰り返しおこなわれ（ステップＳ２１１：Ｎｏ）、接続検出部１１２により外部表示装置３００の接続解除が検出されると（ステップＳ２１１：Ｙｅｓ）、本処理を終了し「出力制御処理」（図４）のフローに戻る。
The above processing is repeated until the connection of the
ここで、接続検出部１１２の検出動作によりクレードル２００との接続が解除されるまでは（ステップＳ１０３：Ｎｏ、図４）、移動体通信端末１００のハンズフリーモードが維持される。このとき、外部表示装置３００の接続が再度検出されれば（ステップＳ１０２：Ｙｅｓ）、接続された外部表示装置３００に応じた「外部表示処理」が実行されることになる（ステップＳ２００、図５）。
Here, until the connection with the
そして、移動体通信端末１００とクレードル２００との接続が解除されたことを検出すると（ステップＳ１０３：Ｙｅｓ）、接続検出部１１２は、その旨を出力制御部１１３と入力制御部１１４に通知する。出力制御部１１３と入力制御部１１４は、接続検出部１１２からの通知に応じて、それぞれ出力部１３０と入力部１４０を制御することでハンズフリーモードの設定を解除し（ステップＳ１０４）、処理を終了する。
When it is detected that the connection between the
なお、図９に示したような、複数画面分の自表示バッファを用意できる場合、外部表示装置３００に表示させる際の表示レイヤを、例えば、自表示バッファの番号などによって規定することもできる。例えば、１〜ｎの自表示バッファが用意されている場合に、１番目の自表示バッファをレイヤ１（最前面）に対応づけておき、ポップアップ表示させるよう予め指定されたイベントやアプリケーションについての画面を自表示バッファに展開させる際には、１番目の自表示バッファを用いるようにする。これにより、指定されたイベントやアプリケーションの画面が最前面に表示されるポップアップ表示とすることができる。
In addition, when a self-display buffer for a plurality of screens as shown in FIG. 9 can be prepared, a display layer for display on the
以上説明したように、本発明を上記実施形態の如く適用することにより、表示手段を備えている装置に外部表示装置を接続した際の利便性の向上を、低コストで実現することができる。すなわち、ＡＰＩやイベントシンクなどを利用することで、外部表示装置に対応していないアプリケーションが存在していても適切に表示することができる。つまり、すべてのアプリケーションを外部表示装置に対応したものにしなくてもよいため、開発・製造時のコスト増を回避することができるとともに、利便性の向上を図ることができる。 As described above, by applying the present invention as in the above-described embodiment, it is possible to improve convenience when an external display device is connected to a device including a display unit at a low cost. That is, by using an API, an event sink, or the like, even if there is an application that does not support an external display device, it can be displayed appropriately. That is, since it is not necessary to make all the applications compatible with the external display device, it is possible to avoid an increase in cost during development and manufacturing and to improve convenience.
また、外部装置を接続している際に特定のイベントやアプリケーションについての画面をポップアップ表示させることができるので、移動体通信端末１００をパーソナルコンピュータとして使用している際にも、音声通話の着信や電子メールの受信を知ることができる。さらに、自動的にハンズフリーモードへ移行することで、音声通話の着信などが発生しても、外部表示装置３００や外部入力装置４００を接続したまま音声通話をおこなうことができる。
In addition, since a screen for a specific event or application can be popped up when an external device is connected, even when the
なお、上記実施形態では、接続された外部装置（外部表示装置３００）での表示動作について説明したが、外部入力装置４００が接続されている場合、例えば、入力動作にかかるＡＰＩと、上述した自表示ＡＰＩや外部表示ＡＰＩが協働することで、外部入力装置４００によって入力された文字列などが自表示バッファ上に描画されることで、外部表示装置３００に表示されている非対応アプリのウィンドウ画面内に反映させることができる。
In the above embodiment, the display operation on the connected external device (external display device 300) has been described. However, when the
ここで、操作部１４１を構成するキーパットと外部入力装置４００とで、例えば、文字入力方式が異なる場合、外部入力装置４００が接続されたことを契機に、外部入力装置４００に対応したＦＥＰ（Front End Processor）などをアプリケーション実行部１１１が実行することで、上述したような表示画面に入力内容を反映させる動作を実現することができる。この場合、外部入力装置４００からの入力に応じた文字列などが自表示バッファ上で描画され、この画像データが外部表示バッファに転送されることで、外部入力装置４００を使った入力が反映された画面が外部表示装置３００に表示される。
Here, for example, when the character input method is different between the keypad constituting the operation unit 141 and the
また、上記実施形態では、外部入力装置４００として文字入力のためのキーボードが接続された場合を例示したが、例えば、マウスなどのポインティングデバイスが外部入力装置４００として接続されてもよい。この場合、キーボードとポインティングデバイスの双方が外部入力装置４００として接続されてもよいが、例えば、ポインティングデバイスのみが接続された場合、図１１に示すように、当該ポインティングデバイス（外部入力装置４００）の操作に対応したソフトウェアキーを外部表示装置３００に表示するように動作してもよい。
In the above embodiment, a case where a keyboard for inputting characters is connected as the
上記実施形態は一例であり、本発明の適用範囲はこれに限られない。すなわち、種々の応用が可能であり、あらゆる実施の形態が本発明の範囲に含まれる。 The said embodiment is an example and the application range of this invention is not restricted to this. That is, various applications are possible, and all embodiments are included in the scope of the present invention.
例えば、上記実施形態では、外部表示装置３００や外部入力装置４００がクレードル２００を介して移動体通信端末１００に接続されるものとしたが、移動体通信端末１００に直接接続される構成としてもよい。この場合、移動体通信端末１００に外部表示装置３００や外部入力装置４００が接続されたことを契機にハンズフリーモードに設定するよう動作してもよい。ハンズフリーモードへの移行は、上述した例に限られず、例えば、移動体通信端末１００の動作（例えば、音声通話の着信）と予め対応づけておくことで、該当する動作が発生した場合にハンズフリーモードとなるよう動作してもよい。
For example, in the above embodiment, the
なお、クレードル２００との接続や、外部装置（外部表示装置３００や外部入力装置４００）が接続された際に実施される動作は、ハンズフリーモードへの移行に限られるものではない。例えば、着信音の鳴動や、着信音の代替となるバイブレータ機能をオフにするよう動作してもよい。
Note that the operation performed when connected to the
例えば、上記実施形態では、本発明にかかる端末装置を移動体通信端末によって実現した場合を例示したが、表示装置を有するとともに、外部表示装置などの外部装置を接続可能なものであれば、移動体通信端末に限られず、種々の端末装置に本発明を適用することができる。 For example, in the above-described embodiment, the case where the terminal device according to the present invention is realized by a mobile communication terminal is illustrated. However, if the device has a display device and can connect an external device such as an external display device, the mobile device The present invention is not limited to a body communication terminal and can be applied to various terminal devices.
また、本発明にかかる構成を予め備えた端末装置だけでなく、既存の端末装置にプログラムを適用することで、本発明にかかる端末装置として機能させることができる。すなわち、上記実施形態で例示した制御部１１０が実行するプログラムと同様のプログラムを既存の端末装置に適用し、当該端末装置のコンピュータがプログラムを実行することで、上記制御部１１０と同様の機能が実現され、本発明にかかる端末装置として機能させることができる。
Moreover, it can be made to function as a terminal device concerning this invention by applying a program not only to the terminal device previously provided with the structure concerning this invention but the existing terminal device. That is, a program similar to the program executed by the
このようなプログラムの適用方法は任意であり、例えば、ＣＤ−ＲＯＭやメモリカードなどの記憶媒体に格納して適用できる他、例えば、インターネットなどの通信媒体を介して適用することもできる。 The application method of such a program is arbitrary. For example, the program can be applied by being stored in a storage medium such as a CD-ROM or a memory card, or can be applied via a communication medium such as the Internet.
１００…移動体通信端末、１１０…制御部、１１１…アプリケーション実行部、１１２…接続検出部、１１３…出力制御部、１１４…入力制御部、１２０…通信制御部、１２１…音声通信部、１２２…データ通信部、１２３…アンテナ部、１３０…出力部、１３１…音声出力部、１３２…表示部、１３５…表示メモリ部、１４０…入力部、１４１…操作部、１４２…音声入力部、１５０…コネクタ部、１６０…電源部、１７０…記憶部、２００…クレードル、３００…外部表示装置、４００…外部入力装置
DESCRIPTION OF
Claims (8)
前記表示手段の表示サイズに対応する第１のメモリ領域に前記表示手段で出力する前記画像データを展開して前記表示手段への表示出力をおこなう第１の表示制御手段と、
外部装置を接続する接続手段と、
前記接続手段に接続された外部装置の種類を判別する接続判別手段と、
前記接続判別手段によって外部表示装置が接続されたと判別された場合に、前記表示手段への表示出力が該接続された外部表示装置に対応しているか否かを判別し、対応していない場合、前記第１のメモリ領域に展開されている前記画像データを、前記外部表示装置の表示サイズに対応する第２のメモリ領域に転送して展開する第２の表示制御手段と、
前記第２のメモリ領域に展開された前記画像データを、前記接続手段に接続された前記外部表示装置に出力する外部表示手段と、
を備えることを特徴とする端末装置。 In a terminal device having display means for performing display output based on generated image data,
First display control means for expanding the image data output by the display means in a first memory area corresponding to the display size of the display means and performing display output to the display means;
A connection means for connecting an external device;
Connection determination means for determining the type of external device connected to the connection means;
When it is determined that the external display device is connected by the connection determining means, it is determined whether or not the display output to the display means corresponds to the connected external display device. Second display control means for transferring and expanding the image data expanded in the first memory area to a second memory area corresponding to a display size of the external display device;
External display means for outputting the image data expanded in the second memory area to the external display device connected to the connection means;
A terminal device comprising:
ことを特徴とする請求項１に記載の端末装置。 The second display control means stores image data developed in the first memory area by an API (Application Programming Interface) between the first display control means and the second display control means. Transferring to the second memory area;
The terminal device according to claim 1.
ことを特徴とする請求項１に記載の端末装置。 The second display control means transfers the image data expanded in the first memory area to the second memory area by an additional event sink for an event sink associated with execution of an application in the terminal device. ,
The terminal device according to claim 1.
前記外部表示手段は、前記第２のメモリ領域に転送された前記設定情報が示すアプリケーションについての画像データを、当該画像データが示す画面が前記外部表示装置の表示画面における最前面に表示されるよう、当該画像データを該外部表示装置に出力する、
ことを特徴とする請求項１乃至３のいずれか１項に記載の端末装置。 A storage unit for storing setting information indicating which application is designated;
The external display means displays the image data of the application indicated by the setting information transferred to the second memory area, and the screen indicated by the image data is displayed on the forefront of the display screen of the external display device. Outputting the image data to the external display device;
The terminal device according to claim 1, wherein the terminal device is a terminal device.
前記第２の表示制御手段は、前記複数の第１のメモリ領域に展開されている画像データを、前記第２のメモリ領域に転送する、
ことを特徴とする請求項１乃至４のいずれか１項に記載の端末装置。 The first display control means expands image data for each application being executed in the plurality of first memory areas corresponding to the number of applications being executed,
The second display control means transfers the image data expanded in the plurality of first memory areas to the second memory area;
The terminal device according to claim 1, wherein the terminal device is a terminal device.
ことを特徴とする請求項１乃至５のいずれか１項に記載の端末装置。 When the connection determination unit determines that an external input device is connected to the connection unit, the first display control unit expands image data indicating an input from the external input device in the first memory area. To
The terminal device according to claim 1, wherein the terminal device is a device.
前記接続判別手段により前記外部装置が接続されたことが判別された場合に、前記音声通話機能にかかる音声入出力をハンズフリーモードに切り替える音声制御手段をさらに備える、
ことを特徴とする請求項１乃至６のいずれか１項に記載の端末装置。 The terminal device is a terminal device including a voice call function,
Further comprising voice control means for switching voice input / output related to the voice call function to a hands-free mode when the connection determination means determines that the external device is connected;
The terminal device according to claim 1, wherein:
前記表示手段の表示サイズに対応する第１のメモリ領域に前記表示手段で出力する前記画像データを展開して前記表示手段への表示出力をおこなう機能と、
前記接続手段に接続された外部装置の種類を判別する機能と、
外部表示装置が接続されたと判別された場合に、前記表示手段への表示出力が該接続された外部表示装置に対応しているか否かを判別し、対応していない場合、前記第１のメモリ領域に展開されている前記画像データを、前記外部表示装置の表示サイズに対応する第２のメモリ領域に転送して展開する機能と、
前記第２のメモリ領域に展開された前記画像データを、前記接続手段に接続された前記外部表示装置に出力する機能と、
を実現させることを特徴とするプログラム。 A computer that controls a terminal device including a display unit that performs display output based on the generated image data and a connection unit that connects an external device,
A function of developing the image data output by the display unit in a first memory area corresponding to a display size of the display unit and performing display output to the display unit;
A function of determining the type of external device connected to the connection means;
When it is determined that an external display device is connected, it is determined whether or not the display output to the display means corresponds to the connected external display device. A function of transferring and expanding the image data expanded in a region to a second memory region corresponding to the display size of the external display device;
A function of outputting the image data expanded in the second memory area to the external display device connected to the connection means;
A program characterized by realizing.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009186881A JP5201599B2 (en) | 2009-08-11 | 2009-08-11 | Terminal device and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009186881A JP5201599B2 (en) | 2009-08-11 | 2009-08-11 | Terminal device and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2011041026A true JP2011041026A (en) | 2011-02-24 |
| JP5201599B2 JP5201599B2 (en) | 2013-06-05 |
Family
ID=43768334
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009186881A Expired - Fee Related JP5201599B2 (en) | 2009-08-11 | 2009-08-11 | Terminal device and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5201599B2 (en) |
Cited By (160)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012242958A (en) * | 2011-05-17 | 2012-12-10 | Nec Personal Computers Ltd | Information processing device, control method for information processing device, and control program |
| JP2012242957A (en) * | 2011-05-17 | 2012-12-10 | Nec Personal Computers Ltd | Information processing device, control method for information processing device, and control program |
| JP2015501022A (en) * | 2011-09-30 | 2015-01-08 | アップル インコーポレイテッド | Automatic user interface adaptation for hands-free interaction |
| JPWO2013069221A1 (en) * | 2011-11-08 | 2015-04-02 | パナソニックＩｐマネジメント株式会社 | Information display processing device |
| US9412392B2 (en) | 2008-10-02 | 2016-08-09 | Apple Inc. | Electronic devices with voice command and contextual data processing capabilities |
| US9548050B2 (en) | 2010-01-18 | 2017-01-17 | Apple Inc. | Intelligent automated assistant |
| US9582608B2 (en) | 2013-06-07 | 2017-02-28 | Apple Inc. | Unified ranking with entropy-weighted information for phrase-based semantic auto-completion |
| US9620104B2 (en) | 2013-06-07 | 2017-04-11 | Apple Inc. | System and method for user-specified pronunciation of words for speech synthesis and recognition |
| US9626955B2 (en) | 2008-04-05 | 2017-04-18 | Apple Inc. | Intelligent text-to-speech conversion |
| US9633674B2 (en) | 2013-06-07 | 2017-04-25 | Apple Inc. | System and method for detecting errors in interactions with a voice-based digital assistant |
| US9633660B2 (en) | 2010-02-25 | 2017-04-25 | Apple Inc. | User profiling for voice input processing |
| US9646614B2 (en) | 2000-03-16 | 2017-05-09 | Apple Inc. | Fast, language-independent method for user authentication by voice |
| US9646609B2 (en) | 2014-09-30 | 2017-05-09 | Apple Inc. | Caching apparatus for serving phonetic pronunciations |
| US9668121B2 (en) | 2014-09-30 | 2017-05-30 | Apple Inc. | Social reminders |
| US9668024B2 (en) | 2014-06-30 | 2017-05-30 | Apple Inc. | Intelligent automated assistant for TV user interactions |
| US9697820B2 (en) | 2015-09-24 | 2017-07-04 | Apple Inc. | Unit-selection text-to-speech synthesis using concatenation-sensitive neural networks |
| US9721566B2 (en) | 2015-03-08 | 2017-08-01 | Apple Inc. | Competing devices responding to voice triggers |
| US9798393B2 (en) | 2011-08-29 | 2017-10-24 | Apple Inc. | Text correction processing |
| US9818400B2 (en) | 2014-09-11 | 2017-11-14 | Apple Inc. | Method and apparatus for discovering trending terms in speech requests |
| US9842105B2 (en) | 2015-04-16 | 2017-12-12 | Apple Inc. | Parsimonious continuous-space phrase representations for natural language processing |
| US9842101B2 (en) | 2014-05-30 | 2017-12-12 | Apple Inc. | Predictive conversion of language input |
| US9865280B2 (en) | 2015-03-06 | 2018-01-09 | Apple Inc. | Structured dictation using intelligent automated assistants |
| US9886432B2 (en) | 2014-09-30 | 2018-02-06 | Apple Inc. | Parsimonious handling of word inflection via categorical stem + suffix N-gram language models |
| US9886953B2 (en) | 2015-03-08 | 2018-02-06 | Apple Inc. | Virtual assistant activation |
| US9899019B2 (en) | 2015-03-18 | 2018-02-20 | Apple Inc. | Systems and methods for structured stem and suffix language models |
| US9934775B2 (en) | 2016-05-26 | 2018-04-03 | Apple Inc. | Unit-selection text-to-speech synthesis based on predicted concatenation parameters |
| US9953088B2 (en) | 2012-05-14 | 2018-04-24 | Apple Inc. | Crowd sourcing information to fulfill user requests |
| US9966068B2 (en) | 2013-06-08 | 2018-05-08 | Apple Inc. | Interpreting and acting upon commands that involve sharing information with remote devices |
| US9972304B2 (en) | 2016-06-03 | 2018-05-15 | Apple Inc. | Privacy preserving distributed evaluation framework for embedded personalized systems |
| US9971774B2 (en) | 2012-09-19 | 2018-05-15 | Apple Inc. | Voice-based media searching |
| US10043516B2 (en) | 2016-09-23 | 2018-08-07 | Apple Inc. | Intelligent automated assistant |
| US10049668B2 (en) | 2015-12-02 | 2018-08-14 | Apple Inc. | Applying neural network language models to weighted finite state transducers for automatic speech recognition |
| US10049663B2 (en) | 2016-06-08 | 2018-08-14 | Apple, Inc. | Intelligent automated assistant for media exploration |
| US10067938B2 (en) | 2016-06-10 | 2018-09-04 | Apple Inc. | Multilingual word prediction |
| US10074360B2 (en) | 2014-09-30 | 2018-09-11 | Apple Inc. | Providing an indication of the suitability of speech recognition |
| US10079014B2 (en) | 2012-06-08 | 2018-09-18 | Apple Inc. | Name recognition system |
| US10083690B2 (en) | 2014-05-30 | 2018-09-25 | Apple Inc. | Better resolution when referencing to concepts |
| US10083688B2 (en) | 2015-05-27 | 2018-09-25 | Apple Inc. | Device voice control for selecting a displayed affordance |
| US10089072B2 (en) | 2016-06-11 | 2018-10-02 | Apple Inc. | Intelligent device arbitration and control |
| US10101822B2 (en) | 2015-06-05 | 2018-10-16 | Apple Inc. | Language input correction |
| US10102359B2 (en) | 2011-03-21 | 2018-10-16 | Apple Inc. | Device access using voice authentication |
| US10108612B2 (en) | 2008-07-31 | 2018-10-23 | Apple Inc. | Mobile device having human language translation capability with positional feedback |
| US10127911B2 (en) | 2014-09-30 | 2018-11-13 | Apple Inc. | Speaker identification and unsupervised speaker adaptation techniques |
| US10127220B2 (en) | 2015-06-04 | 2018-11-13 | Apple Inc. | Language identification from short strings |
| US10169329B2 (en) | 2014-05-30 | 2019-01-01 | Apple Inc. | Exemplar-based natural language processing |
| US10176167B2 (en) | 2013-06-09 | 2019-01-08 | Apple Inc. | System and method for inferring user intent from speech inputs |
| US10186254B2 (en) | 2015-06-07 | 2019-01-22 | Apple Inc. | Context-based endpoint detection |
| US10185542B2 (en) | 2013-06-09 | 2019-01-22 | Apple Inc. | Device, method, and graphical user interface for enabling conversation persistence across two or more instances of a digital assistant |
| US10192552B2 (en) | 2016-06-10 | 2019-01-29 | Apple Inc. | Digital assistant providing whispered speech |
| US10223066B2 (en) | 2015-12-23 | 2019-03-05 | Apple Inc. | Proactive assistance based on dialog communication between devices |
| US10249300B2 (en) | 2016-06-06 | 2019-04-02 | Apple Inc. | Intelligent list reading |
| US10255907B2 (en) | 2015-06-07 | 2019-04-09 | Apple Inc. | Automatic accent detection using acoustic models |
| US10269345B2 (en) | 2016-06-11 | 2019-04-23 | Apple Inc. | Intelligent task discovery |
| US10283110B2 (en) | 2009-07-02 | 2019-05-07 | Apple Inc. | Methods and apparatuses for automatic speech recognition |
| US10297253B2 (en) | 2016-06-11 | 2019-05-21 | Apple Inc. | Application integration with a digital assistant |
| US10303715B2 (en) | 2017-05-16 | 2019-05-28 | Apple Inc. | Intelligent automated assistant for media exploration |
| US10318871B2 (en) | 2005-09-08 | 2019-06-11 | Apple Inc. | Method and apparatus for building an intelligent automated assistant |
| US10332518B2 (en) | 2017-05-09 | 2019-06-25 | Apple Inc. | User interface for correcting recognition errors |
| US10354011B2 (en) | 2016-06-09 | 2019-07-16 | Apple Inc. | Intelligent automated assistant in a home environment |
| US10356243B2 (en) | 2015-06-05 | 2019-07-16 | Apple Inc. | Virtual assistant aided communication with 3rd party service in a communication session |
| US10366158B2 (en) | 2015-09-29 | 2019-07-30 | Apple Inc. | Efficient word encoding for recurrent neural network language models |
| US10381016B2 (en) | 2008-01-03 | 2019-08-13 | Apple Inc. | Methods and apparatus for altering audio output signals |
| US10395654B2 (en) | 2017-05-11 | 2019-08-27 | Apple Inc. | Text normalization based on a data-driven learning network |
| US10403283B1 (en) | 2018-06-01 | 2019-09-03 | Apple Inc. | Voice interaction at a primary device to access call functionality of a companion device |
| US10403278B2 (en) | 2017-05-16 | 2019-09-03 | Apple Inc. | Methods and systems for phonetic matching in digital assistant services |
| US10410637B2 (en) | 2017-05-12 | 2019-09-10 | Apple Inc. | User-specific acoustic models |
| US10417266B2 (en) | 2017-05-09 | 2019-09-17 | Apple Inc. | Context-aware ranking of intelligent response suggestions |
| US10446143B2 (en) | 2016-03-14 | 2019-10-15 | Apple Inc. | Identification of voice inputs providing credentials |
| US10445429B2 (en) | 2017-09-21 | 2019-10-15 | Apple Inc. | Natural language understanding using vocabularies with compressed serialized tries |
| US10474753B2 (en) | 2016-09-07 | 2019-11-12 | Apple Inc. | Language identification using recurrent neural networks |
| US10482874B2 (en) | 2017-05-15 | 2019-11-19 | Apple Inc. | Hierarchical belief states for digital assistants |
| US10490187B2 (en) | 2016-06-10 | 2019-11-26 | Apple Inc. | Digital assistant providing automated status report |
| US10496753B2 (en) | 2010-01-18 | 2019-12-03 | Apple Inc. | Automatically adapting user interfaces for hands-free interaction |
| US10496705B1 (en) | 2018-06-03 | 2019-12-03 | Apple Inc. | Accelerated task performance |
| US10497365B2 (en) | 2014-05-30 | 2019-12-03 | Apple Inc. | Multi-command single utterance input method |
| US10509862B2 (en) | 2016-06-10 | 2019-12-17 | Apple Inc. | Dynamic phrase expansion of language input |
| US10521466B2 (en) | 2016-06-11 | 2019-12-31 | Apple Inc. | Data driven natural language event detection and classification |
| US10553209B2 (en) | 2010-01-18 | 2020-02-04 | Apple Inc. | Systems and methods for hands-free notification summaries |
| US10567477B2 (en) | 2015-03-08 | 2020-02-18 | Apple Inc. | Virtual assistant continuity |
| US10593346B2 (en) | 2016-12-22 | 2020-03-17 | Apple Inc. | Rank-reduced token representation for automatic speech recognition |
| US10592604B2 (en) | 2018-03-12 | 2020-03-17 | Apple Inc. | Inverse text normalization for automatic speech recognition |
| US10636424B2 (en) | 2017-11-30 | 2020-04-28 | Apple Inc. | Multi-turn canned dialog |
| US10657328B2 (en) | 2017-06-02 | 2020-05-19 | Apple Inc. | Multi-task recurrent neural network architecture for efficient morphology handling in neural language modeling |
| US10671428B2 (en) | 2015-09-08 | 2020-06-02 | Apple Inc. | Distributed personal assistant |
| US10679605B2 (en) | 2010-01-18 | 2020-06-09 | Apple Inc. | Hands-free list-reading by intelligent automated assistant |
| US10684703B2 (en) | 2018-06-01 | 2020-06-16 | Apple Inc. | Attention aware virtual assistant dismissal |
| US10691473B2 (en) | 2015-11-06 | 2020-06-23 | Apple Inc. | Intelligent automated assistant in a messaging environment |
| US10699717B2 (en) | 2014-05-30 | 2020-06-30 | Apple Inc. | Intelligent assistant for home automation |
| US10705794B2 (en) | 2010-01-18 | 2020-07-07 | Apple Inc. | Automatically adapting user interfaces for hands-free interaction |
| US10714117B2 (en) | 2013-02-07 | 2020-07-14 | Apple Inc. | Voice trigger for a digital assistant |
| US10726832B2 (en) | 2017-05-11 | 2020-07-28 | Apple Inc. | Maintaining privacy of personal information |
| US10733982B2 (en) | 2018-01-08 | 2020-08-04 | Apple Inc. | Multi-directional dialog |
| US10733375B2 (en) | 2018-01-31 | 2020-08-04 | Apple Inc. | Knowledge-based framework for improving natural language understanding |
| US10733993B2 (en) | 2016-06-10 | 2020-08-04 | Apple Inc. | Intelligent digital assistant in a multi-tasking environment |
| US10741185B2 (en) | 2010-01-18 | 2020-08-11 | Apple Inc. | Intelligent automated assistant |
| US10747498B2 (en) | 2015-09-08 | 2020-08-18 | Apple Inc. | Zero latency digital assistant |
| US10748546B2 (en) | 2017-05-16 | 2020-08-18 | Apple Inc. | Digital assistant services based on device capabilities |
| US10755051B2 (en) | 2017-09-29 | 2020-08-25 | Apple Inc. | Rule-based natural language processing |
| US10755703B2 (en) | 2017-05-11 | 2020-08-25 | Apple Inc. | Offline personal assistant |
| US10789959B2 (en) | 2018-03-02 | 2020-09-29 | Apple Inc. | Training speaker recognition models for digital assistants |
| US10791176B2 (en) | 2017-05-12 | 2020-09-29 | Apple Inc. | Synchronization and task delegation of a digital assistant |
| US10789041B2 (en) | 2014-09-12 | 2020-09-29 | Apple Inc. | Dynamic thresholds for always listening speech trigger |
| US10789945B2 (en) | 2017-05-12 | 2020-09-29 | Apple Inc. | Low-latency intelligent automated assistant |
| US10795541B2 (en) | 2009-06-05 | 2020-10-06 | Apple Inc. | Intelligent organization of tasks items |
| US10810274B2 (en) | 2017-05-15 | 2020-10-20 | Apple Inc. | Optimizing dialogue policy decisions for digital assistants using implicit feedback |
| US10818288B2 (en) | 2018-03-26 | 2020-10-27 | Apple Inc. | Natural assistant interaction |
| US10839159B2 (en) | 2018-09-28 | 2020-11-17 | Apple Inc. | Named entity normalization in a spoken dialog system |
| US10892996B2 (en) | 2018-06-01 | 2021-01-12 | Apple Inc. | Variable latency device coordination |
| US10909331B2 (en) | 2018-03-30 | 2021-02-02 | Apple Inc. | Implicit identification of translation payload with neural machine translation |
| US10928918B2 (en) | 2018-05-07 | 2021-02-23 | Apple Inc. | Raise to speak |
| US10984780B2 (en) | 2018-05-21 | 2021-04-20 | Apple Inc. | Global semantic word embeddings using bi-directional recurrent neural networks |
| US11010127B2 (en) | 2015-06-29 | 2021-05-18 | Apple Inc. | Virtual assistant for media playback |
| US11010561B2 (en) | 2018-09-27 | 2021-05-18 | Apple Inc. | Sentiment prediction from textual data |
| US11010550B2 (en) | 2015-09-29 | 2021-05-18 | Apple Inc. | Unified language modeling framework for word prediction, auto-completion and auto-correction |
| US11023513B2 (en) | 2007-12-20 | 2021-06-01 | Apple Inc. | Method and apparatus for searching using an active ontology |
| US11025565B2 (en) | 2015-06-07 | 2021-06-01 | Apple Inc. | Personalized prediction of responses for instant messaging |
| US11069336B2 (en) | 2012-03-02 | 2021-07-20 | Apple Inc. | Systems and methods for name pronunciation |
| US11070949B2 (en) | 2015-05-27 | 2021-07-20 | Apple Inc. | Systems and methods for proactively identifying and surfacing relevant content on an electronic device with a touch-sensitive display |
| US11080012B2 (en) | 2009-06-05 | 2021-08-03 | Apple Inc. | Interface for a virtual digital assistant |
| US11120372B2 (en) | 2011-06-03 | 2021-09-14 | Apple Inc. | Performing actions associated with task items that represent tasks to perform |
| US11127367B2 (en) | 2017-05-31 | 2021-09-21 | Socionext Inc. | Relay device |
| US11133008B2 (en) | 2014-05-30 | 2021-09-28 | Apple Inc. | Reducing the need for manual start/end-pointing and trigger phrases |
| US11140099B2 (en) | 2019-05-21 | 2021-10-05 | Apple Inc. | Providing message response suggestions |
| US11145294B2 (en) | 2018-05-07 | 2021-10-12 | Apple Inc. | Intelligent automated assistant for delivering content from user experiences |
| US11170166B2 (en) | 2018-09-28 | 2021-11-09 | Apple Inc. | Neural typographical error modeling via generative adversarial networks |
| US11204787B2 (en) | 2017-01-09 | 2021-12-21 | Apple Inc. | Application integration with a digital assistant |
| US11217251B2 (en) | 2019-05-06 | 2022-01-04 | Apple Inc. | Spoken notifications |
| US11227589B2 (en) | 2016-06-06 | 2022-01-18 | Apple Inc. | Intelligent list reading |
| JP2022016302A (en) * | 2020-07-08 | 2022-01-21 | 鴻富錦精密電子（天津）有限公司 | Input device |
| US11231904B2 (en) | 2015-03-06 | 2022-01-25 | Apple Inc. | Reducing response latency of intelligent automated assistants |
| US11237797B2 (en) | 2019-05-31 | 2022-02-01 | Apple Inc. | User activity shortcut suggestions |
| US11269678B2 (en) | 2012-05-15 | 2022-03-08 | Apple Inc. | Systems and methods for integrating third party services with a digital assistant |
| US11281993B2 (en) | 2016-12-05 | 2022-03-22 | Apple Inc. | Model and ensemble compression for metric learning |
| US11289073B2 (en) | 2019-05-31 | 2022-03-29 | Apple Inc. | Device text to speech |
| US11301477B2 (en) | 2017-05-12 | 2022-04-12 | Apple Inc. | Feedback analysis of a digital assistant |
| US11307752B2 (en) | 2019-05-06 | 2022-04-19 | Apple Inc. | User configurable task triggers |
| US11314370B2 (en) | 2013-12-06 | 2022-04-26 | Apple Inc. | Method for extracting salient dialog usage from live data |
| US11350253B2 (en) | 2011-06-03 | 2022-05-31 | Apple Inc. | Active transport based notifications |
| US11348573B2 (en) | 2019-03-18 | 2022-05-31 | Apple Inc. | Multimodality in digital assistant systems |
| US11360641B2 (en) | 2019-06-01 | 2022-06-14 | Apple Inc. | Increasing the relevance of new available information |
| US11386266B2 (en) | 2018-06-01 | 2022-07-12 | Apple Inc. | Text correction |
| US11388291B2 (en) | 2013-03-14 | 2022-07-12 | Apple Inc. | System and method for processing voicemail |
| US11423908B2 (en) | 2019-05-06 | 2022-08-23 | Apple Inc. | Interpreting spoken requests |
| US11462215B2 (en) | 2018-09-28 | 2022-10-04 | Apple Inc. | Multi-modal inputs for voice commands |
| US11468282B2 (en) | 2015-05-15 | 2022-10-11 | Apple Inc. | Virtual assistant in a communication session |
| US11475898B2 (en) | 2018-10-26 | 2022-10-18 | Apple Inc. | Low-latency multi-speaker speech recognition |
| US11475884B2 (en) | 2019-05-06 | 2022-10-18 | Apple Inc. | Reducing digital assistant latency when a language is incorrectly determined |
| US11488406B2 (en) | 2019-09-25 | 2022-11-01 | Apple Inc. | Text detection using global geometry estimators |
| US11496600B2 (en) | 2019-05-31 | 2022-11-08 | Apple Inc. | Remote execution of machine-learned models |
| US11495218B2 (en) | 2018-06-01 | 2022-11-08 | Apple Inc. | Virtual assistant operation in multi-device environments |
| US11532306B2 (en) | 2017-05-16 | 2022-12-20 | Apple Inc. | Detecting a trigger of a digital assistant |
| US11587559B2 (en) | 2015-09-30 | 2023-02-21 | Apple Inc. | Intelligent device identification |
| US11638059B2 (en) | 2019-01-04 | 2023-04-25 | Apple Inc. | Content playback on multiple devices |
| US11657813B2 (en) | 2019-05-31 | 2023-05-23 | Apple Inc. | Voice identification in digital assistant systems |
| US11671920B2 (en) | 2007-04-03 | 2023-06-06 | Apple Inc. | Method and system for operating a multifunction portable electronic device using voice-activation |
| US11765209B2 (en) | 2020-05-11 | 2023-09-19 | Apple Inc. | Digital assistant hardware abstraction |
| US11798547B2 (en) | 2013-03-15 | 2023-10-24 | Apple Inc. | Voice activated device for use with a voice-based digital assistant |
| US11809483B2 (en) | 2015-09-08 | 2023-11-07 | Apple Inc. | Intelligent automated assistant for media search and playback |
| US11853536B2 (en) | 2015-09-08 | 2023-12-26 | Apple Inc. | Intelligent automated assistant in a media environment |
| US11886805B2 (en) | 2015-11-09 | 2024-01-30 | Apple Inc. | Unconventional virtual assistant interactions |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20220067325A (en) * | 2020-11-17 | 2022-05-24 | 삼성전자주식회사 | Extensible display control method and electronic device supporting the same |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004282380A (en) * | 2003-03-14 | 2004-10-07 | Sumitomo Electric Ind Ltd | Display system, displaying device, video signal switching device, and hands-free telephone system |
| JP2005025335A (en) * | 2003-06-30 | 2005-01-27 | Canon Inc | Information display unit and its control method, and program and storage medium |
| JP2006295965A (en) * | 2006-06-05 | 2006-10-26 | Masahiro Izutsu | Mobile information communication apparatus, program for mobile information communication apparatus, connection unit for mobile information communication apparatus and external input/output unit for mobile information communication apparatus |
| JP2008310583A (en) * | 2007-06-14 | 2008-12-25 | Panasonic Corp | Portable terminal and information terminal device |
-
2009
- 2009-08-11 JP JP2009186881A patent/JP5201599B2/en not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004282380A (en) * | 2003-03-14 | 2004-10-07 | Sumitomo Electric Ind Ltd | Display system, displaying device, video signal switching device, and hands-free telephone system |
| JP2005025335A (en) * | 2003-06-30 | 2005-01-27 | Canon Inc | Information display unit and its control method, and program and storage medium |
| JP2006295965A (en) * | 2006-06-05 | 2006-10-26 | Masahiro Izutsu | Mobile information communication apparatus, program for mobile information communication apparatus, connection unit for mobile information communication apparatus and external input/output unit for mobile information communication apparatus |
| JP2008310583A (en) * | 2007-06-14 | 2008-12-25 | Panasonic Corp | Portable terminal and information terminal device |
Cited By (243)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9646614B2 (en) | 2000-03-16 | 2017-05-09 | Apple Inc. | Fast, language-independent method for user authentication by voice |
| US10318871B2 (en) | 2005-09-08 | 2019-06-11 | Apple Inc. | Method and apparatus for building an intelligent automated assistant |
| US11928604B2 (en) | 2005-09-08 | 2024-03-12 | Apple Inc. | Method and apparatus for building an intelligent automated assistant |
| US11671920B2 (en) | 2007-04-03 | 2023-06-06 | Apple Inc. | Method and system for operating a multifunction portable electronic device using voice-activation |
| US11023513B2 (en) | 2007-12-20 | 2021-06-01 | Apple Inc. | Method and apparatus for searching using an active ontology |
| US10381016B2 (en) | 2008-01-03 | 2019-08-13 | Apple Inc. | Methods and apparatus for altering audio output signals |
| US9626955B2 (en) | 2008-04-05 | 2017-04-18 | Apple Inc. | Intelligent text-to-speech conversion |
| US9865248B2 (en) | 2008-04-05 | 2018-01-09 | Apple Inc. | Intelligent text-to-speech conversion |
| US10108612B2 (en) | 2008-07-31 | 2018-10-23 | Apple Inc. | Mobile device having human language translation capability with positional feedback |
| US9412392B2 (en) | 2008-10-02 | 2016-08-09 | Apple Inc. | Electronic devices with voice command and contextual data processing capabilities |
| US10643611B2 (en) | 2008-10-02 | 2020-05-05 | Apple Inc. | Electronic devices with voice command and contextual data processing capabilities |
| US11348582B2 (en) | 2008-10-02 | 2022-05-31 | Apple Inc. | Electronic devices with voice command and contextual data processing capabilities |
| US11080012B2 (en) | 2009-06-05 | 2021-08-03 | Apple Inc. | Interface for a virtual digital assistant |
| US10795541B2 (en) | 2009-06-05 | 2020-10-06 | Apple Inc. | Intelligent organization of tasks items |
| US10283110B2 (en) | 2009-07-02 | 2019-05-07 | Apple Inc. | Methods and apparatuses for automatic speech recognition |
| US9548050B2 (en) | 2010-01-18 | 2017-01-17 | Apple Inc. | Intelligent automated assistant |
| US10679605B2 (en) | 2010-01-18 | 2020-06-09 | Apple Inc. | Hands-free list-reading by intelligent automated assistant |
| US10705794B2 (en) | 2010-01-18 | 2020-07-07 | Apple Inc. | Automatically adapting user interfaces for hands-free interaction |
| US10553209B2 (en) | 2010-01-18 | 2020-02-04 | Apple Inc. | Systems and methods for hands-free notification summaries |
| US10496753B2 (en) | 2010-01-18 | 2019-12-03 | Apple Inc. | Automatically adapting user interfaces for hands-free interaction |
| US10741185B2 (en) | 2010-01-18 | 2020-08-11 | Apple Inc. | Intelligent automated assistant |
| US10706841B2 (en) | 2010-01-18 | 2020-07-07 | Apple Inc. | Task flow identification based on user intent |
| US11423886B2 (en) | 2010-01-18 | 2022-08-23 | Apple Inc. | Task flow identification based on user intent |
| US10049675B2 (en) | 2010-02-25 | 2018-08-14 | Apple Inc. | User profiling for voice input processing |
| US10692504B2 (en) | 2010-02-25 | 2020-06-23 | Apple Inc. | User profiling for voice input processing |
| US9633660B2 (en) | 2010-02-25 | 2017-04-25 | Apple Inc. | User profiling for voice input processing |
| US10102359B2 (en) | 2011-03-21 | 2018-10-16 | Apple Inc. | Device access using voice authentication |
| US10417405B2 (en) | 2011-03-21 | 2019-09-17 | Apple Inc. | Device access using voice authentication |
| JP2012242958A (en) * | 2011-05-17 | 2012-12-10 | Nec Personal Computers Ltd | Information processing device, control method for information processing device, and control program |
| JP2012242957A (en) * | 2011-05-17 | 2012-12-10 | Nec Personal Computers Ltd | Information processing device, control method for information processing device, and control program |
| US11350253B2 (en) | 2011-06-03 | 2022-05-31 | Apple Inc. | Active transport based notifications |
| US11120372B2 (en) | 2011-06-03 | 2021-09-14 | Apple Inc. | Performing actions associated with task items that represent tasks to perform |
| US9798393B2 (en) | 2011-08-29 | 2017-10-24 | Apple Inc. | Text correction processing |
| JP2015501022A (en) * | 2011-09-30 | 2015-01-08 | アップル インコーポレイテッド | Automatic user interface adaptation for hands-free interaction |
| JPWO2013069221A1 (en) * | 2011-11-08 | 2015-04-02 | パナソニックＩｐマネジメント株式会社 | Information display processing device |
| JP2016035772A (en) * | 2011-11-08 | 2016-03-17 | パナソニックＩｐマネジメント株式会社 | Information display processor |
| US11069336B2 (en) | 2012-03-02 | 2021-07-20 | Apple Inc. | Systems and methods for name pronunciation |
| US9953088B2 (en) | 2012-05-14 | 2018-04-24 | Apple Inc. | Crowd sourcing information to fulfill user requests |
| US11269678B2 (en) | 2012-05-15 | 2022-03-08 | Apple Inc. | Systems and methods for integrating third party services with a digital assistant |
| US11321116B2 (en) | 2012-05-15 | 2022-05-03 | Apple Inc. | Systems and methods for integrating third party services with a digital assistant |
| US10079014B2 (en) | 2012-06-08 | 2018-09-18 | Apple Inc. | Name recognition system |
| US9971774B2 (en) | 2012-09-19 | 2018-05-15 | Apple Inc. | Voice-based media searching |
| US10714117B2 (en) | 2013-02-07 | 2020-07-14 | Apple Inc. | Voice trigger for a digital assistant |
| US10978090B2 (en) | 2013-02-07 | 2021-04-13 | Apple Inc. | Voice trigger for a digital assistant |
| US11636869B2 (en) | 2013-02-07 | 2023-04-25 | Apple Inc. | Voice trigger for a digital assistant |
| US11388291B2 (en) | 2013-03-14 | 2022-07-12 | Apple Inc. | System and method for processing voicemail |
| US11798547B2 (en) | 2013-03-15 | 2023-10-24 | Apple Inc. | Voice activated device for use with a voice-based digital assistant |
| US9620104B2 (en) | 2013-06-07 | 2017-04-11 | Apple Inc. | System and method for user-specified pronunciation of words for speech synthesis and recognition |
| US9633674B2 (en) | 2013-06-07 | 2017-04-25 | Apple Inc. | System and method for detecting errors in interactions with a voice-based digital assistant |
| US9966060B2 (en) | 2013-06-07 | 2018-05-08 | Apple Inc. | System and method for user-specified pronunciation of words for speech synthesis and recognition |
| US9582608B2 (en) | 2013-06-07 | 2017-02-28 | Apple Inc. | Unified ranking with entropy-weighted information for phrase-based semantic auto-completion |
| US9966068B2 (en) | 2013-06-08 | 2018-05-08 | Apple Inc. | Interpreting and acting upon commands that involve sharing information with remote devices |
| US10657961B2 (en) | 2013-06-08 | 2020-05-19 | Apple Inc. | Interpreting and acting upon commands that involve sharing information with remote devices |
| US10769385B2 (en) | 2013-06-09 | 2020-09-08 | Apple Inc. | System and method for inferring user intent from speech inputs |
| US10176167B2 (en) | 2013-06-09 | 2019-01-08 | Apple Inc. | System and method for inferring user intent from speech inputs |
| US11048473B2 (en) | 2013-06-09 | 2021-06-29 | Apple Inc. | Device, method, and graphical user interface for enabling conversation persistence across two or more instances of a digital assistant |
| US11727219B2 (en) | 2013-06-09 | 2023-08-15 | Apple Inc. | System and method for inferring user intent from speech inputs |
| US10185542B2 (en) | 2013-06-09 | 2019-01-22 | Apple Inc. | Device, method, and graphical user interface for enabling conversation persistence across two or more instances of a digital assistant |
| US11314370B2 (en) | 2013-12-06 | 2022-04-26 | Apple Inc. | Method for extracting salient dialog usage from live data |
| US10699717B2 (en) | 2014-05-30 | 2020-06-30 | Apple Inc. | Intelligent assistant for home automation |
| US10714095B2 (en) | 2014-05-30 | 2020-07-14 | Apple Inc. | Intelligent assistant for home automation |
| US10878809B2 (en) | 2014-05-30 | 2020-12-29 | Apple Inc. | Multi-command single utterance input method |
| US10417344B2 (en) | 2014-05-30 | 2019-09-17 | Apple Inc. | Exemplar-based natural language processing |
| US10169329B2 (en) | 2014-05-30 | 2019-01-01 | Apple Inc. | Exemplar-based natural language processing |
| US11670289B2 (en) | 2014-05-30 | 2023-06-06 | Apple Inc. | Multi-command single utterance input method |
| US11810562B2 (en) | 2014-05-30 | 2023-11-07 | Apple Inc. | Reducing the need for manual start/end-pointing and trigger phrases |
| US11699448B2 (en) | 2014-05-30 | 2023-07-11 | Apple Inc. | Intelligent assistant for home automation |
| US10657966B2 (en) | 2014-05-30 | 2020-05-19 | Apple Inc. | Better resolution when referencing to concepts |
| US11133008B2 (en) | 2014-05-30 | 2021-09-28 | Apple Inc. | Reducing the need for manual start/end-pointing and trigger phrases |
| US9842101B2 (en) | 2014-05-30 | 2017-12-12 | Apple Inc. | Predictive conversion of language input |
| US10083690B2 (en) | 2014-05-30 | 2018-09-25 | Apple Inc. | Better resolution when referencing to concepts |
| US11257504B2 (en) | 2014-05-30 | 2022-02-22 | Apple Inc. | Intelligent assistant for home automation |
| US10497365B2 (en) | 2014-05-30 | 2019-12-03 | Apple Inc. | Multi-command single utterance input method |
| US9668024B2 (en) | 2014-06-30 | 2017-05-30 | Apple Inc. | Intelligent automated assistant for TV user interactions |
| US11516537B2 (en) | 2014-06-30 | 2022-11-29 | Apple Inc. | Intelligent automated assistant for TV user interactions |
| US10904611B2 (en) | 2014-06-30 | 2021-01-26 | Apple Inc. | Intelligent automated assistant for TV user interactions |
| US9818400B2 (en) | 2014-09-11 | 2017-11-14 | Apple Inc. | Method and apparatus for discovering trending terms in speech requests |
| US10431204B2 (en) | 2014-09-11 | 2019-10-01 | Apple Inc. | Method and apparatus for discovering trending terms in speech requests |
| US10789041B2 (en) | 2014-09-12 | 2020-09-29 | Apple Inc. | Dynamic thresholds for always listening speech trigger |
| US9986419B2 (en) | 2014-09-30 | 2018-05-29 | Apple Inc. | Social reminders |
| US9646609B2 (en) | 2014-09-30 | 2017-05-09 | Apple Inc. | Caching apparatus for serving phonetic pronunciations |
| US10453443B2 (en) | 2014-09-30 | 2019-10-22 | Apple Inc. | Providing an indication of the suitability of speech recognition |
| US9886432B2 (en) | 2014-09-30 | 2018-02-06 | Apple Inc. | Parsimonious handling of word inflection via categorical stem + suffix N-gram language models |
| US10074360B2 (en) | 2014-09-30 | 2018-09-11 | Apple Inc. | Providing an indication of the suitability of speech recognition |
| US9668121B2 (en) | 2014-09-30 | 2017-05-30 | Apple Inc. | Social reminders |
| US10438595B2 (en) | 2014-09-30 | 2019-10-08 | Apple Inc. | Speaker identification and unsupervised speaker adaptation techniques |
| US10127911B2 (en) | 2014-09-30 | 2018-11-13 | Apple Inc. | Speaker identification and unsupervised speaker adaptation techniques |
| US10390213B2 (en) | 2014-09-30 | 2019-08-20 | Apple Inc. | Social reminders |
| US9865280B2 (en) | 2015-03-06 | 2018-01-09 | Apple Inc. | Structured dictation using intelligent automated assistants |
| US11231904B2 (en) | 2015-03-06 | 2022-01-25 | Apple Inc. | Reducing response latency of intelligent automated assistants |
| US10930282B2 (en) | 2015-03-08 | 2021-02-23 | Apple Inc. | Competing devices responding to voice triggers |
| US10529332B2 (en) | 2015-03-08 | 2020-01-07 | Apple Inc. | Virtual assistant activation |
| US10567477B2 (en) | 2015-03-08 | 2020-02-18 | Apple Inc. | Virtual assistant continuity |
| US11842734B2 (en) | 2015-03-08 | 2023-12-12 | Apple Inc. | Virtual assistant activation |
| US10311871B2 (en) | 2015-03-08 | 2019-06-04 | Apple Inc. | Competing devices responding to voice triggers |
| US9721566B2 (en) | 2015-03-08 | 2017-08-01 | Apple Inc. | Competing devices responding to voice triggers |
| US11087759B2 (en) | 2015-03-08 | 2021-08-10 | Apple Inc. | Virtual assistant activation |
| US9886953B2 (en) | 2015-03-08 | 2018-02-06 | Apple Inc. | Virtual assistant activation |
| US9899019B2 (en) | 2015-03-18 | 2018-02-20 | Apple Inc. | Systems and methods for structured stem and suffix language models |
| US9842105B2 (en) | 2015-04-16 | 2017-12-12 | Apple Inc. | Parsimonious continuous-space phrase representations for natural language processing |
| US11468282B2 (en) | 2015-05-15 | 2022-10-11 | Apple Inc. | Virtual assistant in a communication session |
| US11127397B2 (en) | 2015-05-27 | 2021-09-21 | Apple Inc. | Device voice control |
| US10083688B2 (en) | 2015-05-27 | 2018-09-25 | Apple Inc. | Device voice control for selecting a displayed affordance |
| US11070949B2 (en) | 2015-05-27 | 2021-07-20 | Apple Inc. | Systems and methods for proactively identifying and surfacing relevant content on an electronic device with a touch-sensitive display |
| US10127220B2 (en) | 2015-06-04 | 2018-11-13 | Apple Inc. | Language identification from short strings |
| US10681212B2 (en) | 2015-06-05 | 2020-06-09 | Apple Inc. | Virtual assistant aided communication with 3rd party service in a communication session |
| US10356243B2 (en) | 2015-06-05 | 2019-07-16 | Apple Inc. | Virtual assistant aided communication with 3rd party service in a communication session |
| US10101822B2 (en) | 2015-06-05 | 2018-10-16 | Apple Inc. | Language input correction |
| US10255907B2 (en) | 2015-06-07 | 2019-04-09 | Apple Inc. | Automatic accent detection using acoustic models |
| US10186254B2 (en) | 2015-06-07 | 2019-01-22 | Apple Inc. | Context-based endpoint detection |
| US11025565B2 (en) | 2015-06-07 | 2021-06-01 | Apple Inc. | Personalized prediction of responses for instant messaging |
| US11947873B2 (en) | 2015-06-29 | 2024-04-02 | Apple Inc. | Virtual assistant for media playback |
| US11010127B2 (en) | 2015-06-29 | 2021-05-18 | Apple Inc. | Virtual assistant for media playback |
| US10747498B2 (en) | 2015-09-08 | 2020-08-18 | Apple Inc. | Zero latency digital assistant |
| US11126400B2 (en) | 2015-09-08 | 2021-09-21 | Apple Inc. | Zero latency digital assistant |
| US11500672B2 (en) | 2015-09-08 | 2022-11-15 | Apple Inc. | Distributed personal assistant |
| US11809483B2 (en) | 2015-09-08 | 2023-11-07 | Apple Inc. | Intelligent automated assistant for media search and playback |
| US11853536B2 (en) | 2015-09-08 | 2023-12-26 | Apple Inc. | Intelligent automated assistant in a media environment |
| US11550542B2 (en) | 2015-09-08 | 2023-01-10 | Apple Inc. | Zero latency digital assistant |
| US10671428B2 (en) | 2015-09-08 | 2020-06-02 | Apple Inc. | Distributed personal assistant |
| US9697820B2 (en) | 2015-09-24 | 2017-07-04 | Apple Inc. | Unit-selection text-to-speech synthesis using concatenation-sensitive neural networks |
| US11010550B2 (en) | 2015-09-29 | 2021-05-18 | Apple Inc. | Unified language modeling framework for word prediction, auto-completion and auto-correction |
| US10366158B2 (en) | 2015-09-29 | 2019-07-30 | Apple Inc. | Efficient word encoding for recurrent neural network language models |
| US11587559B2 (en) | 2015-09-30 | 2023-02-21 | Apple Inc. | Intelligent device identification |
| US10691473B2 (en) | 2015-11-06 | 2020-06-23 | Apple Inc. | Intelligent automated assistant in a messaging environment |
| US11526368B2 (en) | 2015-11-06 | 2022-12-13 | Apple Inc. | Intelligent automated assistant in a messaging environment |
| US11886805B2 (en) | 2015-11-09 | 2024-01-30 | Apple Inc. | Unconventional virtual assistant interactions |
| US10354652B2 (en) | 2015-12-02 | 2019-07-16 | Apple Inc. | Applying neural network language models to weighted finite state transducers for automatic speech recognition |
| US10049668B2 (en) | 2015-12-02 | 2018-08-14 | Apple Inc. | Applying neural network language models to weighted finite state transducers for automatic speech recognition |
| US10942703B2 (en) | 2015-12-23 | 2021-03-09 | Apple Inc. | Proactive assistance based on dialog communication between devices |
| US10223066B2 (en) | 2015-12-23 | 2019-03-05 | Apple Inc. | Proactive assistance based on dialog communication between devices |
| US10446143B2 (en) | 2016-03-14 | 2019-10-15 | Apple Inc. | Identification of voice inputs providing credentials |
| US9934775B2 (en) | 2016-05-26 | 2018-04-03 | Apple Inc. | Unit-selection text-to-speech synthesis based on predicted concatenation parameters |
| US9972304B2 (en) | 2016-06-03 | 2018-05-15 | Apple Inc. | Privacy preserving distributed evaluation framework for embedded personalized systems |
| US10249300B2 (en) | 2016-06-06 | 2019-04-02 | Apple Inc. | Intelligent list reading |
| US11227589B2 (en) | 2016-06-06 | 2022-01-18 | Apple Inc. | Intelligent list reading |
| US10049663B2 (en) | 2016-06-08 | 2018-08-14 | Apple, Inc. | Intelligent automated assistant for media exploration |
| US11069347B2 (en) | 2016-06-08 | 2021-07-20 | Apple Inc. | Intelligent automated assistant for media exploration |
| US10354011B2 (en) | 2016-06-09 | 2019-07-16 | Apple Inc. | Intelligent automated assistant in a home environment |
| US10490187B2 (en) | 2016-06-10 | 2019-11-26 | Apple Inc. | Digital assistant providing automated status report |
| US10733993B2 (en) | 2016-06-10 | 2020-08-04 | Apple Inc. | Intelligent digital assistant in a multi-tasking environment |
| US10192552B2 (en) | 2016-06-10 | 2019-01-29 | Apple Inc. | Digital assistant providing whispered speech |
| US11037565B2 (en) | 2016-06-10 | 2021-06-15 | Apple Inc. | Intelligent digital assistant in a multi-tasking environment |
| US11657820B2 (en) | 2016-06-10 | 2023-05-23 | Apple Inc. | Intelligent digital assistant in a multi-tasking environment |
| US10509862B2 (en) | 2016-06-10 | 2019-12-17 | Apple Inc. | Dynamic phrase expansion of language input |
| US10067938B2 (en) | 2016-06-10 | 2018-09-04 | Apple Inc. | Multilingual word prediction |
| US10297253B2 (en) | 2016-06-11 | 2019-05-21 | Apple Inc. | Application integration with a digital assistant |
| US10521466B2 (en) | 2016-06-11 | 2019-12-31 | Apple Inc. | Data driven natural language event detection and classification |
| US10089072B2 (en) | 2016-06-11 | 2018-10-02 | Apple Inc. | Intelligent device arbitration and control |
| US11809783B2 (en) | 2016-06-11 | 2023-11-07 | Apple Inc. | Intelligent device arbitration and control |
| US10269345B2 (en) | 2016-06-11 | 2019-04-23 | Apple Inc. | Intelligent task discovery |
| US10942702B2 (en) | 2016-06-11 | 2021-03-09 | Apple Inc. | Intelligent device arbitration and control |
| US10580409B2 (en) | 2016-06-11 | 2020-03-03 | Apple Inc. | Application integration with a digital assistant |
| US11152002B2 (en) | 2016-06-11 | 2021-10-19 | Apple Inc. | Application integration with a digital assistant |
| US11749275B2 (en) | 2016-06-11 | 2023-09-05 | Apple Inc. | Application integration with a digital assistant |
| US10474753B2 (en) | 2016-09-07 | 2019-11-12 | Apple Inc. | Language identification using recurrent neural networks |
| US10553215B2 (en) | 2016-09-23 | 2020-02-04 | Apple Inc. | Intelligent automated assistant |
| US10043516B2 (en) | 2016-09-23 | 2018-08-07 | Apple Inc. | Intelligent automated assistant |
| US11281993B2 (en) | 2016-12-05 | 2022-03-22 | Apple Inc. | Model and ensemble compression for metric learning |
| US10593346B2 (en) | 2016-12-22 | 2020-03-17 | Apple Inc. | Rank-reduced token representation for automatic speech recognition |
| US11656884B2 (en) | 2017-01-09 | 2023-05-23 | Apple Inc. | Application integration with a digital assistant |
| US11204787B2 (en) | 2017-01-09 | 2021-12-21 | Apple Inc. | Application integration with a digital assistant |
| US10741181B2 (en) | 2017-05-09 | 2020-08-11 | Apple Inc. | User interface for correcting recognition errors |
| US10332518B2 (en) | 2017-05-09 | 2019-06-25 | Apple Inc. | User interface for correcting recognition errors |
| US10417266B2 (en) | 2017-05-09 | 2019-09-17 | Apple Inc. | Context-aware ranking of intelligent response suggestions |
| US10755703B2 (en) | 2017-05-11 | 2020-08-25 | Apple Inc. | Offline personal assistant |
| US10847142B2 (en) | 2017-05-11 | 2020-11-24 | Apple Inc. | Maintaining privacy of personal information |
| US10726832B2 (en) | 2017-05-11 | 2020-07-28 | Apple Inc. | Maintaining privacy of personal information |
| US10395654B2 (en) | 2017-05-11 | 2019-08-27 | Apple Inc. | Text normalization based on a data-driven learning network |
| US11599331B2 (en) | 2017-05-11 | 2023-03-07 | Apple Inc. | Maintaining privacy of personal information |
| US11301477B2 (en) | 2017-05-12 | 2022-04-12 | Apple Inc. | Feedback analysis of a digital assistant |
| US10789945B2 (en) | 2017-05-12 | 2020-09-29 | Apple Inc. | Low-latency intelligent automated assistant |
| US11380310B2 (en) | 2017-05-12 | 2022-07-05 | Apple Inc. | Low-latency intelligent automated assistant |
| US11405466B2 (en) | 2017-05-12 | 2022-08-02 | Apple Inc. | Synchronization and task delegation of a digital assistant |
| US11580990B2 (en) | 2017-05-12 | 2023-02-14 | Apple Inc. | User-specific acoustic models |
| US10410637B2 (en) | 2017-05-12 | 2019-09-10 | Apple Inc. | User-specific acoustic models |
| US10791176B2 (en) | 2017-05-12 | 2020-09-29 | Apple Inc. | Synchronization and task delegation of a digital assistant |
| US10810274B2 (en) | 2017-05-15 | 2020-10-20 | Apple Inc. | Optimizing dialogue policy decisions for digital assistants using implicit feedback |
| US10482874B2 (en) | 2017-05-15 | 2019-11-19 | Apple Inc. | Hierarchical belief states for digital assistants |
| US10748546B2 (en) | 2017-05-16 | 2020-08-18 | Apple Inc. | Digital assistant services based on device capabilities |
| US11675829B2 (en) | 2017-05-16 | 2023-06-13 | Apple Inc. | Intelligent automated assistant for media exploration |
| US10403278B2 (en) | 2017-05-16 | 2019-09-03 | Apple Inc. | Methods and systems for phonetic matching in digital assistant services |
| US10303715B2 (en) | 2017-05-16 | 2019-05-28 | Apple Inc. | Intelligent automated assistant for media exploration |
| US11217255B2 (en) | 2017-05-16 | 2022-01-04 | Apple Inc. | Far-field extension for digital assistant services |
| US11532306B2 (en) | 2017-05-16 | 2022-12-20 | Apple Inc. | Detecting a trigger of a digital assistant |
| US10909171B2 (en) | 2017-05-16 | 2021-02-02 | Apple Inc. | Intelligent automated assistant for media exploration |
| US11127367B2 (en) | 2017-05-31 | 2021-09-21 | Socionext Inc. | Relay device |
| US10657328B2 (en) | 2017-06-02 | 2020-05-19 | Apple Inc. | Multi-task recurrent neural network architecture for efficient morphology handling in neural language modeling |
| US10445429B2 (en) | 2017-09-21 | 2019-10-15 | Apple Inc. | Natural language understanding using vocabularies with compressed serialized tries |
| US10755051B2 (en) | 2017-09-29 | 2020-08-25 | Apple Inc. | Rule-based natural language processing |
| US10636424B2 (en) | 2017-11-30 | 2020-04-28 | Apple Inc. | Multi-turn canned dialog |
| US10733982B2 (en) | 2018-01-08 | 2020-08-04 | Apple Inc. | Multi-directional dialog |
| US10733375B2 (en) | 2018-01-31 | 2020-08-04 | Apple Inc. | Knowledge-based framework for improving natural language understanding |
| US10789959B2 (en) | 2018-03-02 | 2020-09-29 | Apple Inc. | Training speaker recognition models for digital assistants |
| US10592604B2 (en) | 2018-03-12 | 2020-03-17 | Apple Inc. | Inverse text normalization for automatic speech recognition |
| US10818288B2 (en) | 2018-03-26 | 2020-10-27 | Apple Inc. | Natural assistant interaction |
| US11710482B2 (en) | 2018-03-26 | 2023-07-25 | Apple Inc. | Natural assistant interaction |
| US10909331B2 (en) | 2018-03-30 | 2021-02-02 | Apple Inc. | Implicit identification of translation payload with neural machine translation |
| US10928918B2 (en) | 2018-05-07 | 2021-02-23 | Apple Inc. | Raise to speak |
| US11169616B2 (en) | 2018-05-07 | 2021-11-09 | Apple Inc. | Raise to speak |
| US11900923B2 (en) | 2018-05-07 | 2024-02-13 | Apple Inc. | Intelligent automated assistant for delivering content from user experiences |
| US11487364B2 (en) | 2018-05-07 | 2022-11-01 | Apple Inc. | Raise to speak |
| US11854539B2 (en) | 2018-05-07 | 2023-12-26 | Apple Inc. | Intelligent automated assistant for delivering content from user experiences |
| US11145294B2 (en) | 2018-05-07 | 2021-10-12 | Apple Inc. | Intelligent automated assistant for delivering content from user experiences |
| US10984780B2 (en) | 2018-05-21 | 2021-04-20 | Apple Inc. | Global semantic word embeddings using bi-directional recurrent neural networks |
| US10403283B1 (en) | 2018-06-01 | 2019-09-03 | Apple Inc. | Voice interaction at a primary device to access call functionality of a companion device |
| US10684703B2 (en) | 2018-06-01 | 2020-06-16 | Apple Inc. | Attention aware virtual assistant dismissal |
| US11495218B2 (en) | 2018-06-01 | 2022-11-08 | Apple Inc. | Virtual assistant operation in multi-device environments |
| US10892996B2 (en) | 2018-06-01 | 2021-01-12 | Apple Inc. | Variable latency device coordination |
| US10984798B2 (en) | 2018-06-01 | 2021-04-20 | Apple Inc. | Voice interaction at a primary device to access call functionality of a companion device |
| US10720160B2 (en) | 2018-06-01 | 2020-07-21 | Apple Inc. | Voice interaction at a primary device to access call functionality of a companion device |
| US11431642B2 (en) | 2018-06-01 | 2022-08-30 | Apple Inc. | Variable latency device coordination |
| US11009970B2 (en) | 2018-06-01 | 2021-05-18 | Apple Inc. | Attention aware virtual assistant dismissal |
| US11386266B2 (en) | 2018-06-01 | 2022-07-12 | Apple Inc. | Text correction |
| US11360577B2 (en) | 2018-06-01 | 2022-06-14 | Apple Inc. | Attention aware virtual assistant dismissal |
| US10504518B1 (en) | 2018-06-03 | 2019-12-10 | Apple Inc. | Accelerated task performance |
| US10496705B1 (en) | 2018-06-03 | 2019-12-03 | Apple Inc. | Accelerated task performance |
| US10944859B2 (en) | 2018-06-03 | 2021-03-09 | Apple Inc. | Accelerated task performance |
| US11010561B2 (en) | 2018-09-27 | 2021-05-18 | Apple Inc. | Sentiment prediction from textual data |
| US11170166B2 (en) | 2018-09-28 | 2021-11-09 | Apple Inc. | Neural typographical error modeling via generative adversarial networks |
| US10839159B2 (en) | 2018-09-28 | 2020-11-17 | Apple Inc. | Named entity normalization in a spoken dialog system |
| US11462215B2 (en) | 2018-09-28 | 2022-10-04 | Apple Inc. | Multi-modal inputs for voice commands |
| US11475898B2 (en) | 2018-10-26 | 2022-10-18 | Apple Inc. | Low-latency multi-speaker speech recognition |
| US11638059B2 (en) | 2019-01-04 | 2023-04-25 | Apple Inc. | Content playback on multiple devices |
| US11348573B2 (en) | 2019-03-18 | 2022-05-31 | Apple Inc. | Multimodality in digital assistant systems |
| US11705130B2 (en) | 2019-05-06 | 2023-07-18 | Apple Inc. | Spoken notifications |
| US11217251B2 (en) | 2019-05-06 | 2022-01-04 | Apple Inc. | Spoken notifications |
| US11307752B2 (en) | 2019-05-06 | 2022-04-19 | Apple Inc. | User configurable task triggers |
| US11423908B2 (en) | 2019-05-06 | 2022-08-23 | Apple Inc. | Interpreting spoken requests |
| US11475884B2 (en) | 2019-05-06 | 2022-10-18 | Apple Inc. | Reducing digital assistant latency when a language is incorrectly determined |
| US11888791B2 (en) | 2019-05-21 | 2024-01-30 | Apple Inc. | Providing message response suggestions |
| US11140099B2 (en) | 2019-05-21 | 2021-10-05 | Apple Inc. | Providing message response suggestions |
| US11496600B2 (en) | 2019-05-31 | 2022-11-08 | Apple Inc. | Remote execution of machine-learned models |
| US11657813B2 (en) | 2019-05-31 | 2023-05-23 | Apple Inc. | Voice identification in digital assistant systems |
| US11289073B2 (en) | 2019-05-31 | 2022-03-29 | Apple Inc. | Device text to speech |
| US11237797B2 (en) | 2019-05-31 | 2022-02-01 | Apple Inc. | User activity shortcut suggestions |
| US11360739B2 (en) | 2019-05-31 | 2022-06-14 | Apple Inc. | User activity shortcut suggestions |
| US11360641B2 (en) | 2019-06-01 | 2022-06-14 | Apple Inc. | Increasing the relevance of new available information |
| US11488406B2 (en) | 2019-09-25 | 2022-11-01 | Apple Inc. | Text detection using global geometry estimators |
| US11924254B2 (en) | 2020-05-11 | 2024-03-05 | Apple Inc. | Digital assistant hardware abstraction |
| US11765209B2 (en) | 2020-05-11 | 2023-09-19 | Apple Inc. | Digital assistant hardware abstraction |
| JP2022016302A (en) * | 2020-07-08 | 2022-01-21 | 鴻富錦精密電子（天津）有限公司 | Input device |
| CN113986024A (en) * | 2020-07-08 | 2022-01-28 | 鸿富锦精密电子(天津)有限公司 | Input device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5201599B2 (en) | 2013-06-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5201599B2 (en) | Terminal device and program | |
| JP4583344B2 (en) | Mobile phone | |
| EP1762937A1 (en) | Linkage operation method and mobile communication terminal | |
| KR101901720B1 (en) | Method for interworing with dummy device and an electronic device thereof | |
| US8996067B2 (en) | Method of displaying menu screen in mobile communication terminal and the system thereof | |
| WO2021121052A1 (en) | Multi-screen cooperation method and system, and electronic device | |
| WO2020192296A1 (en) | Interface display method and terminal device | |
| JP7411795B2 (en) | How to move icons and electronic devices | |
| EP2698787B1 (en) | Method for providing voice call using text data and electronic device thereof | |
| GB2376155A (en) | Mobile telephone | |
| JP4404878B2 (en) | Mobile phone | |
| US8301185B2 (en) | Coordination method and communication terminal | |
| JP2010033414A (en) | Portable terminal device and program | |
| CN114840280A (en) | Display method and electronic equipment | |
| JPWO2004102932A1 (en) | Mobile communication terminal and application program suspension method | |
| CN113727289A (en) | Electronic equipment and communication method | |
| JP2008536237A (en) | Method, electronic device, and computer program product for data management in an electronic device that responds to user instructions by writing and / or audible sound | |
| EP3499857B1 (en) | Audio data processing method, terminal device, and storage medium | |
| CN111460424B (en) | Interaction method, terminal and computer storage medium for lock screen configuration | |
| US8154551B2 (en) | Coordination operation method and communication terminal | |
| CN106101393B (en) | Startup ringtone playing device and method and mobile terminal | |
| CN110913069A (en) | Call mode switching method and terminal equipment | |
| JP4223352B2 (en) | Mobile communication terminal | |
| JP2005252386A (en) | Information terminal | |
| WO2022052907A1 (en) | Display method and electronic device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120709 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121122 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121204 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121220 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130115 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130205 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5201599 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160222 Year of fee payment: 3 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |