JP2021174206A - 情報処理装置及びプログラム - Google Patents

Abstract

【課題】開閉可能な表示機構を有する情報処理装置の大面積の表示装置によって得られるアプリの使い勝手を損なうことを抑止しつつ、ＡＩアシスタントによる視覚的な情報提供を受けることができるようにする情報処理装置及びプログラムを提供する。【解決手段】情報処理装置１０において、第１の表示装置（主ディスプレイ１４）と、第１の表示装置の表示面積以下の表示面積を有する第２の表示装置（副ディスプレイ１６）と、を有する開閉可能な表示機構と、プロセッサと、を備える。プロセッサは、第１の表示装置の第１のアプリケーションプログラムに割り当てられた表示領域内に第１の画像（ＵＩ画像１５ａ）を表示している間に、ＡＩアシスタントが提供する提供情報がある場合に、提供情報を示す第２の画像（提供情報画像１７ａ）を第２の表示装置に表示するための表示制御を実行する。【選択図】図３

Description

本発明は、情報処理装置及びプログラムに関する。

有機ＥＬ（エレクトロルミネッセンス）や電子ペーパー等を用いたフレキシブルなディスプレイが開発されている。近年、携帯端末に搭載するフレキシブルなディスプレイの構造が提案され（特許文献１−３）、そのような構造を持った携帯端末が販売されている。

フレキシブルなディスプレイを搭載し二つ折りで折り畳み可能なスマートフォンは、閉じた状態では例えば片手に収まる程度の幅を実現しつつも、開いた状態ではタブレット端末に匹敵する大画面の表示が可能である。この種のスマートフォンの中には、閉じた状態でも、開いた状態よりも小面積の画面を表示可能なものがある。例えば、主ディスプレイの大画面を内側にして折り畳む方式のスマートフォンのある機種は、閉じた状態で外側に位置する面上に、それよりも小さい副ディスプレイを備える。また、主ディスプレイの大画面を外側にして折り畳む方式のスマートフォンのある機種は、閉じた状態では、二つ折りになった主ディスプレイのうちユーザの方を向いた半分の部分に表示を行う。また、これらの機種のスマートフォンは、閉じた状態と開いた状態とで画面表示を連動させる。例えば、それらスマートフォンは、大画面を開くと、それまで閉じた状態で小画面に表示していたアプリ画面と同じアプリの画面を大画面に表示する。またこの種のスマートフォンの中には、開いた主ディスプレイを複数の領域に分割し、各領域にそれぞれ別々のアプリのユーザインターフェース画像を表示する等のマルチウィンドウ機能を持つものもある。

また、特許文献４に記載された装置は、折り曲げ可能なタッチパネルを平面状に開いた状態ではユーザインターフェース（以下、ＵＩと表記）画像をタッチパネル全面に表示する。そして、タッチパネルをある角度に折り曲げた状態では、タッチパネルの半面にソフトキーボードを、残りの半面にＵＩ画像を表示し、ノートＰＣに似た使い勝手を提供する。

また近年、ＡＩ（人工知能）アシスタントと呼ばれるソフトウエアエージェントが普及している、ＡＩアシスタントは、仮想アシスタントとも呼ばれ、ユーザの指示や質問その他の入力を理解し、その入力に応じたサービスをユーザに提供する。

スマートフォン等の携帯端末のＡＩアシスタントは、ＵＩ画像を、時刻や通信状態などを示す領域を除くアプリケーションプログラム（以下「アプリ」と略称する）用の表示領域（以下「アプリ表示領域」と呼ぶ）に表示したり、あるいは、ディスプレイの表示領域全面にわたって全画面表示で表示したりする方式が現在のところ主流である。

特表２０１７−５１００６５号公報 欧州特許出願公開００３３５２０４４号明細書 国際公開第２０１８／１９２４２６号 特開２０１７−１３０１５８号公報

ＡＩアシスタントのユーザインターフェース画像がディスプレイの表示領域全面あるいはアプリ表示領域全体にわたって表示される方式の場合、ユーザがあるアプリケーションプログラムを開いて作業を行っているときにＡＩアシスタントのユーザインターフェース画像が表示される場合がある。この場合、そのアプリの利用のために割り当てられた領域に表示されるユーザインターフェース画像が、ＡＩアシスタントの利用のために割り当てられた領域に表示されるユーザインターフェース画像によって、覆われてしまうので、ユーザは、元のアプリでの作業に戻ろうとした場合、そのアプリのユーザインターフェース画像を再度前面に表示する操作を行う必要がある。

折り畳み型携帯端末は、開状態では広い表示領域を持つので、ＡＩアシスタントのユーザインターフェース画像をディスプレイの表示領域内の一部に表示することも考えられる。しかし、アプリのユーザインターフェース画像がＡＩアシスタントのユーザインターフェース画像により隠されてしまうと、アプリの操作性が低下する。

本発明は、開閉可能な表示機構を有する情報処理装置の大面積の表示装置によって得られるアプリの操作性が低下することを抑止しつつ、ＡＩアシスタントによる視覚的な情報提供を受けることができるようにすることを目的とする。

請求項１に係る発明は、第１の表示装置と、前記第１の表示装置の表示面積以下の表示面積を有する第２の表示装置と、を有する開閉可能な表示機構と、プロセッサと、を備え、前記プロセッサは、前記第１の表示装置の第１のアプリケーションプログラムに割り当てられた表示領域内に第１の画像を表示している間に、ＡＩアシスタントが提供する提供情報がある場合に、前記提供情報を示す第２の画像を前記第２の表示装置に表示するための表示制御を実行する、ことを特徴とする情報処理装置である。

請求項２に係る発明は、前記表示制御では、前記第２の表示装置がユーザ側を向いていない場合には前記第２の画像を表示しない、ことを特徴とする請求項１に記載の情報処理装置である。

請求項３に係る発明は、前記プロセッサは、更に、前記第１の表示装置に前記第１の画像を表示している間に、前記提供情報がある場合に、前記提供情報がある旨の通知を実行する、ことを特徴とする請求項１又は２に記載の情報処理装置である。

請求項４に係る発明は、前記通知は、前記第１の表示装置に表示している前記第１の画像上に、前記提供情報があることを示す画像であって前記第２の画像よりも小さい画像を表示する処理である、ことを特徴とする請求項３に記載の情報処理装置である。

請求項５に係る発明は、前記表示制御では、前記提供情報の量が閾値以下の場合は前記第２の画像を前記第２の表示装置に表示し、前記提供情報の量が前記閾値より多い場合は前記第２の画像を前記第１の表示装置に表示する、請求項１〜４のいずれか１項に記載の情報処理装置である。

請求項６に係る発明は、前記表示制御では、前記第２の画像を前記第１の表示装置に表示した場合、前記第１の画像の表示内容を示す画像を前記第２の表示装置に表示する、ことを特徴とする請求項５に記載の情報処理装置である。

請求項７に係る発明は、前記表示制御では、前記提供情報の量が前記閾値より多い場合は、前記提供情報を前記第１の表示装置に表示するか否かを問い合わせる問合せ画像を前記第２の表示装置に表示し、前記問合せ画像に対して前記第１の表示装置に表示する旨の指示がユーザからあった場合に、前記第２の画像を前記第１の表示装置に表示する、請求項５又は６に記載の情報処理装置である。

請求項８に係る発明は、第１の表示装置と、前記第１の表示装置の表示面積以下の表示面積を有する第２の表示装置と、を有する開閉可能な表示機構、を備えるコンピュータを、前記第１の表示装置の第１のアプリケーションプログラムに割り当てられた表示領域内に第１の画像を表示している間に、ＡＩアシスタントが提供する提供情報がある場合に、前記提供情報を示す第２の画像を前記第２の表示装置に表示するための表示制御を実行する、ように動作させるためのプログラムである。

請求項１又は８に係る発明によれば、開閉可能な表示機構を有する情報処理装置の大面積の表示装置によって得られるアプリの操作性が低下することを抑止しつつ、ＡＩアシスタントによる視覚的な情報提供を受けることができる。

請求項２に係る発明によれば、第２の表示装置の向きによらず第２の画像を表示する場合と比べて、ユーザが見ていない第２の表示装置に表示された第２の画像からの情報漏洩のリスクを低減することができる。

請求項３に係る発明によれば、ユーザに第２の表示装置を見るきっかけを与えることができる。

請求項４に係る発明によれば、第１の画像上に第２の画像を表示する場合よりも、第１の画像のうち隠される部分の量を少なくすることができる。

請求項５に係る発明によれば、提供情報の量によらず第２の画像を必ず第２の表示装置に表示する場合と比べて、ユーザが提供情報全体を見るためのスクロール等の画像表示の切替の操作を少なくすることができる。

請求項６に係る発明によれば、第１の表示装置に第２の画像を表示することにより第１の画像が表示されないままとする場合よりも、第１の画像の表示を見るためのユーザの手間を低減することができる。

請求項７に係る発明によれば、第１の表示装置に表示されていた第１の画像が、ユーザの意図しないまま第２の画像の表示により見えなくなること、を防ぐことができる。

折り畳み式の情報処理装置の通常の表示制御を説明するための図である。 情報処理装置のハードウエア構成の一例を示す図である。 実施形態の情報処理装置における、ＡＩアシスタントからの提供情報の表示制御を説明するための図である。 ＡＩアシスタントからの提供情報の表示制御の手順を例示する図である。 ＡＩアシスタントからの提供情報の表示制御の別の例を説明するための図である。 ＡＩアシスタントからの提供情報の表示制御の更に別の例を説明するための図である。 ＡＩアシスタントからの提供情報の表示制御の更に別の例を説明するための図である。

図１を参照して、大画面のフレキシブルなディスプレイを備える二つ折りの折り畳み式の情報処理装置１０の表示制御の例を説明する。情報処理装置１０は、例えば携帯型の情報端末（例えばスマートフォンやタブレット端末）であるが、これに限られるわけではない。

図１に例示する情報処理装置１０は、開閉可能に相互連結された第１ボディ１２Ａと第２ボディ１２Ｂを備える。第１ボディ１２Ａと第２ボディ１２Ｂの一方の表面には、それら両者に跨がって、フレキシブルな主ディスプレイ１４が設けられている。主ディスプレイ１４は、第１ボディ１２Ａと第２ボディ１２Ｂの両方の表面を合わせた面積に近い面積の表示領域を持つ。また、この例では、第１ボディ１２Ａのうち、主ディスプレイ１４が設けられていない方の表面に、副ディスプレイ１６が設けられている。副ディスプレイ１６は、第１ボディ１２Ａの表面内に収まる面積であり、主ディスプレイ１４より小さい表示領域を有する。また、副ディスプレイ１６は、フレキシブルでなくてよい。主ディスプレイ１４及び副ディスプレイ１６は、例えばタッチパネルディスプレイとして構成されている。この例では、主ディスプレイ１４が第１の表示装置に、副ディスプレイ１６が第２の表示装置に、それぞれ該当する。また主ディスプレイ１４及び副ディスプレイ１６とそれらを支持する第１ボディ１２Ａ及び第２ボディ１２Ｂとを含む構造が、開閉可能な表示機構に該当する。

図１の左側には（ａ）閉状態の情報処理装置１０が、右側には（ｂ）開状態の情報処理装置１０が、それぞれ示されている。

閉状態とは、主ディスプレイ１４の表示領域が外側から十分に見えない程度に表示機構が閉じている状態のことである。閉状態では、情報処理装置１０の外側からは、主ディスプレイ１４に表示領域が十分に見えない代わりに、副ディスプレイ１６の表示領域はよく見える。図に例示した（ａ）閉状態では、第１ボディ１２Ａと第２ボディ１２Ｂの主ディスプレイ１４側の表面同士が、接触しているか又は接触するほど近くに近接している。この状態では、主ディスプレイ１４の第１ボディ１２Ａ側と第２ボディ１２Ｂ側との面がなす角度（すなわち表示機構の開き角）はほぼ０度である。なお、開き角がほぼ０度の場合を閉状態と規定するのはあくまで一例に過ぎない。この代わりに、０度より大きい閾値を定めておき、開き角が０度からその閾値の範囲にある場合を閉状態と規定してもよい。

開状態とは、主ディスプレイ１４の表示領域が十分に見える程度に表示機構が開いている状態である。開状態では、情報処理装置１０の外側からは、副ディスプレイ１６の表示領域が十分に見えない代わりに、主ディスプレイ１４の表示領域はよく見える。図では、一例として、表示機構が１８０度開いた状態を（ｂ）開状態として示しているが、これは一例に過ぎない。例えば、１８０度未満の第２の閾値を定めておき、開き角がその第２の閾値から１８０度の範囲にある場合を開状態と規定してもよい。

情報処理装置１０は、表示機構が閉状態にあるときは、副ディスプレイ１６の表示領域における画面表示を行う。閉状態では、主ディスプレイ１４の画面表示は停止（例えば主ディスプレイ１４を消灯とする）してもよい。逆に、表示機構が開状態にあるときは、情報処理装置１０は、主ディスプレイ１４の表示領域における画面表示を行う。開状態では、副ディスプレイ１６の表示領域における画面表示は停止してもよい。

図示例では、閉状態の副ディスプレイ１６には、連絡帳アプリにより生成されたある連絡先の情報を示すユーザインターフェース画像（以下、ＵＩ画像と呼ぶ）１７が、連絡帳アプリに割り当てられた表示領域（１７の破線で囲まれる領域）に表示されている。このＵＩ画像１７には、連絡先の氏名、住所、電話番号等の情報や、電話アプリを呼び出すためのアイコン２０、電子メールアプリを呼び出すためのアイコン２２などが表示される。この状態からユーザが表示機構を開いて開状態にすると、情報処理装置１０は、主ディスプレイ１４の表示を開始させる。このとき、主ディスプレイ１４上の、連絡帳アプリに割り当てられた表示領域（１５の破線で囲まれる領域）には、閉状態で表示されていたＵＩ画像１７と同じ連絡帳アプリの、同じ連絡先についての情報を示すＵＩ画像１５が表示される。ここで、主ディスプレイ１４は副ディスプレイ１６よりも表示面積が大きいので、ＵＩ画像１５にはＵＩ画像１７よりも多くの表示内容を表示するようにアプリのプログラムが構成される。例えば、ＵＩ画像１５には、ＵＩ画像１７に表示されていた表示内容に加えて、ＵＩ画像１７には表示されていなかった連絡先ユーザの顔写真の画像や、ＳＮＳ（ソーシャルメディアネットワーク）アプリを呼び出すためのアイコン２４等が表示されている。主ディスプレイ１４に表示されるアプリのＵＩ画像１５は第１のＵＩ画像の一例であり、ＵＩ画像１５内の表示内容（例えば文字列、顔写真の画像、アイコン群からなる）は、第１のＵＩ画像の表示内容の一例である。
なお、図示例では、連絡帳アプリのＵＩ画像１５は、主ディスプレイ１４の表示領域全体にわたっているが、これは一例に過ぎない、情報処理装置１０やこれを制御するＯＳ（オペレーティングシステム）の設定によっては、主ディスプレイ１４の表示領域内の所定の場所、例えばその上端や下端の部分、に時刻や通信状態、通知、又はアプリのアイコン群、等を表示する領域が確保されている場合がある。このような場合、ユーザが開いたアプリのＵＩ画像は、主ディスプレイ１４の表示領域のうち、そのように予め確保されている領域を除いた残りの領域に表示される。このようにアプリのＵＩ画像が表示される領域が、「第１のアプリケーションプログラムに割り当てられた表示領域」に該当する。なお、「表示領域」が「第１のアプリケーションプログラムに割り当てられた」とは、複数のアプリが存在する場合に、それらアプリごとにそれぞれ表示領域が割り当てられている場合に限らない。それら複数のアプリに対して同じ表示領域が共通に割り当てられている場合も含む。この場合、いずれかのアプリが起動されると、そのアプリのＵＩ画像は、主ディスプレイ１４の表示領域のうち上述した予め確保されている領域を除いた残りの、共通の表示領域に表示される。

なお、この明細書において、アプリとは、情報処理装置１０が実行するアプリケーションプログラムのことである。

図２に、情報処理装置１０のハードウエア構成の主要部の一例を示す。このハードウエア構成の中には、プロセッサ１０２、ランダムアクセスメモリ等のメモリ１０４、フラッシュメモリ等の補助記憶装置１０６、表示制御回路１０８、入力制御回路１１０等、通常のコンピュータが持つ要素が含まれる。また更に、通信回路１１２、表示機構の開閉状態の検知のためのセンサ１１４、等も含まれる。図示例では、プロセッサ１０２、メモリ１０４、補助記憶装置１０６、表示制御回路１０８、入力制御回路１１０、通信回路１１２、及びセンサ１１４を制御するセンサ制御回路１１５が、バス１２０に接続されている。プロセッサ１０２は、バス１２０を介して、メモリ１０４、補助記憶装置１０６、表示制御回路１０８、入力制御回路１１０、通信回路１１２、センサ制御回路１１５とデータのやりとりを行う。なお、図２の例では、プロセッサ１０２からセンサ制御回路１１５までの全ての要素が同じバス１２０にフラットに接続されているが、これはあくまで一例に過ぎない。この代わりに、それら要素のうちの一部（例えばプロセッサ１０２を含む要素群）が例えばＳｏＣ（System-on-a-Chip）のように一つのチップに集積され、そのチップが接続された外部バスに対して残りの要素群が接続されるような階層的な構造であってもよい。

ここでプロセッサ１０２とは広義的なプロセッサを指し、汎用的なプロセッサ（例えばＣＰＵ：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、等）や、専用のプロセッサ（例えばＧＰＵ：Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、 ＡＳＩＣ：Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ、 ＦＰＧＡ：Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ、 プログラマブル論理デバイス、等）を含むものである。

また、プロセッサ１０２の動作は、１つのプロセッサによってなすのみでなく、物理的に離れた位置に存在する複数のプロセッサが協働してなすものであってもよい。また、プロセッサ１０２の各動作は、以下の実施形態において説明する順序のみに限定されるものではなく、適宜に変更してもよい。

補助記憶装置１０６には、情報処理装置１０のＯＳや各種のアプリ、後述するＡＩアシスタント又は外部サーバ上のＡＩアシスタントとのインタフェースを行うプログラム、がインストールされている。また、補助記憶装置１０６には、後述する本実施形態でのＡＩアシスタントの提供情報画像の表示制御のためのプログラムもインストールされている。

表示制御回路１０８は、主ディスプレイ１４及び副ディスプレイ１６の画面表示を制御する。入力制御回路１１０は、主ディスプレイ１４及び副ディスプレイ１６が備えるタッチパネルに対するタッチ入力を検知して処理し、その処理結果をプロセッサに伝える。通信回路１１２は、情報処理装置１０が外部のネットワーク装置との無線等での通信のための信号処理を実行する。

表示機構の開閉状態の検知のためのセンサ１１４は、例えばホール素子であってもよい。この場合、第１ボディ１２Ａ又は第２ボディ１２Ｂの一方に磁石が、他方にホール素子が設けられ、表示機構が閉じられることで磁石とホール素子とが近づくと、ホール素子が磁気を検知して、表示機構が閉状態になったことを検知する。表示機構の開閉状態の検知のためのセンサは、ホール素子に限らない。このセンサ１１４としては、開閉可能な装置の開閉を検知するために従来用いられている様々なセンサ、例えば赤外線センサ、照度センサ、加速度センサ、ジャイロセンサ、近接センサ等の様々なセンサを用いてよい。

また情報処理装置１０は、スピーカーやバイブレーション機構等の出力装置を内蔵していてもよい。

情報処理装置１０には、ＡＩアシスタントから提供される提供情報を表示するためのプログラムがインストールされている。

ＡＩアシスタントとは、ユーザの入力を理解し、その入力に応じたサービスをユーザに提供するソフトウエアエージェントである。本実施形態では、ＡＩアシスタントが提供するサービスのうち、ユーザの入力に応じてＡＩアシスタントが生成し、提供する情報（以下「提供情報」と呼ぶ）を視覚的な表示として提供するサービスに焦点を当てる。

ＡＩアシスタントは、ユーザからの明示的な起動指示に従って起動し、起動後にユーザから入力を受け付ける。またＡＩアシスタントを利用することが設定されたアプリのＵＩ画像が主ディスプレイ１４又は副ディスプレイ１６に表示されているときに、ＡＩアシスタントは、そのアプリに対してユーザが入力した情報をアプリから受け取る。

アプリやＡＩアシスタントへのユーザの入力の方法には、キーボードからの入力、画面に対するタッチ入力、手や指等のユーザの身体によるジェスチャ入力、音声入力、カメラからの画像の入力等、様々な場合があり得る。また、ＡＩアシスタントは、ＧＰＳや屋内測位システム等を用いて求められる、ユーザが携帯する情報処理装置１０の所在位置を、ユーザからの入力として用いてもよい。

ＡＩアシスタントは、ユーザの入力内容に関係のある情報を情報処理装置１０内、又はＡＩアシスタントが接続されたネットワーク（例えばインターネット）上のサーバ等から検索し、検索した情報に基づいて、ユーザに提供する提供情報を生成する。ＡＩアシスタントが生成する提供情報のうち、本実施形態が注目する視覚的な提供情報には、テキスト、画像、動画、音声付き動画等が含まれる。

ＡＩアシスタントは、情報処理装置１０自体に搭載されていてもよいし、情報処理装置１０からアクセス可能なネットワーク上のサーバに搭載されていてもよい。後者の場合、情報処理装置１０には、ユーザの入力をサーバ上のＡＩアシスタントに送信する処理と、その送信に応じてＡＩアシスタントから応答される提供情報を表示するための処理と、を行うプログラムが搭載される。

情報処理装置１０が実行中のアプリ（以下「実行中アプリ」と呼ぶ）のＵＩ画像を主ディスプレイ１４に表示している状態で、ＡＩアシスタントが生成した視覚的な提供情報をユーザに提供する場合を考える。例えば、その実行中アプリに対してＡＩアシスタントを利用する旨の設定がなされているときに、ユーザがそのＵＩ画像に対して入力した情報（例えばテキスト情報）に関連する提供情報をＡＩアシスタントが生成した場合がその一例である。ユーザは、例えばドキュメント（すなわち文書）等を作成するために、ＵＩ画像に対して入力を行っているものとする。

このような場合、ＡＩアシスタントからの提供情報を表示する画像（以下「提供情報画像」と呼ぶ）を、実行中アプリのＵＩ画像を完全に又は部分的に覆うように主ディスプレイ１４に表示すると、そのＵＩ画像が一部又は全部が見えなくなり、ユーザの入力作業の妨げとなる。また、提供情報画像に当該画像を消すためのボタンを設け、ユーザがそのボタンを押下すると実行中アプリのＵＩ画像が表示されるようにしたとしても、ユーザがそのボタンを押下する手間が掛かる。

そこで、本実施形態の情報処理装置１０は、そのような場合に、主ディスプレイ１４には実行中アプリのＵＩ画像を表示したまま、副ディスプレイ１６にＡＩアシスタントの提供情報画像を表示する。主ディスプレイ１４に表示される実行中アプリのＵＩ画像は、第１の表示装置に表示される第１のユーザインターフェース画像に、副ディスプレイ１６に表示される情報提供画像は、第２の表示装置に表示される第２のユーザインターフェース画像に、それぞれ該当する。

このような提供情報画像の表示制御を、図３に示す具体例を参照しつつ更に説明する。

図３の例では、開状態の表示機構の主ディスプレイ１４に、ドキュメント作成アプリのＵＩ画像１５ａが表示されている。このドキュメント作成アプリが、現在の実行中アプリである。ＵＩ画像１５ａは、ドキュメントの作成のためのＵＩ画像であり、ユーザから入力されたテキストや画像等を表示する。ドキュメント作成アプリには、ＡＩアシスタントを利用する旨の設定が予めなされているものとする。

ＡＩアシスタントは、主ディスプレイ１４に表示されたＵＩ画像１５ａ内にユーザが入力するデータ（図示例ではテキスト）を監視し、そのデータに関連のある情報をインターネット等の情報源から検索し、検索の結果得られた情報に基づき提供情報を生成する。図示例では、ユーザは「レポート：各国の成長について」という表題の文書を作成中であり、本文を２行半まで書き進めている。ＡＩアシスタントは、ＵＩ画像１５ａに対するユーザの入力内容（この例ではテキストデータ）を監視しており、その入力内容に対して関連する情報を検索し、検索した情報を編集することにより、ユーザに対して提供する提供情報を生成する。例えば、ＡＩアシスタントは、入力内容に対して有用と評価される情報を検索し、生成することを学習済みであり、その学習結果を用いて提供情報を生成する。図示例では、ＡＩアシスタントは、公知のキーワード抽出技術を用いてＵＩ画像１５ａ中のテキストから「アメリカ」、「２０１９年」、「名目ＧＤＰ」というキーワードを抽出し、これらキーワードの組に関連が強い情報を検索する。この検索により、アメリカの２０１９年の名目ＧＤＰの情報、及びこれに関連の強いアメリカのＧＤＰの年度別推移のグラフが見つかる。ＡＩアシスタントは、検索により得られたこれらの情報を編集して提供情報、又はその提供情報を表示する提供情報画像１７ａの情報を生成する。

ＡＩアシスタントが提供情報を生成すると、情報処理装置１０は、その提供情報を示す提供情報画像１７ａを副ディスプレイ１６内に表示するための表示制御を行う。この表示制御の機能は、例えば、情報処理装置１０のＯＳ、又は情報処理装置１０に搭載されたＡＩアシスタント、又は外部のＡＩアシスタントとのインタフェースのために情報処理装置に搭載されたプログラム等に搭載されてもよい。また，その表示制御機能を担う独立したプログラムが情報処理装置１０に搭載されていてもよい。

ここで、ＡＩアシスタントから提供情報が得られたときに提供情報画像１７ａを直ちに副ディスプレイ１６に表示すると、ユーザが見ていない副ディスプレイ１６上に表示が行われることになり、情報漏洩のリスクが無駄に高くなる。そこで、情報処理装置１０は、ユーザが副ディスプレイ１６を見ている蓋然性が高いと判断される状態になってはじめて提供情報画像１７ａを副ディスプレイ１６に表示する。すなわち、情報処理装置１０は、副ディスプレイ１６がユーザ側、すなわち大略的にユーザの顔に向かう向き、に向いたと判断したときに、提供情報画像１７ａを副ディスプレイ１６に表示する。例えば、ユーザが情報処理装置１０の表示機構を折り畳んだとき、又はユーザが開いた状態の情報処理装置１０を裏返して副ディスプレイ１６を自分の側に向けたとき等が、ユーザが副ディスプレイ１６を見ている蓋然性が高いと判断される状態の例である。このような状態になると、表示制御の機能は、副ディスプレイ１６を点灯し、副ディスプレイ１６上の提供情報画像１７ａが視認できるようにする。ユーザが表示機構を折り畳んだことは、上述したセンサ１１４の出力する信号から判断する。また、ユーザが情報処理装置１０を裏返したことは、情報処理装置１０が内蔵する加速度センサ、カメラ、又は顔認証用のセンサ等からの信号のうちの一以上に基づき判断すればよい。例えば、加速度センサが検知した重力加速度の向きから副ディスプレイ１６が上側を向いていることが分かった場合、ユーザが情報処理装置１０を裏返して副ディスプレイ１６を見る状態となったと判断される。また副ディスプレイ１６と同じ側の面に設けられたカメラが捉えた画像内からユーザの顔を検知した場合や、その面に設けられた顔認証用のセンサがるユーザの顔を認識した場合にも、ユーザが副ディスプレイ１６を見る状態となったと判断される。カメラの画像や顔認証用のセンサの信号と照合するユーザの顔の情報は、情報処理装置１０に予め登録しておけばよい。

また、単に表示機構が折り畳まれただけでは、副ディスプレイ１６がユーザ側を向いているとは限らない。したがって、一つの例では、折り畳まれたこと検知した場合に、更に加速度センサ等の信号に基づき副ディスプレイ１６がユーザ側を向いているか否かを判定する。向いていると判断される場合に、副ディスプレイ１６に提供情報を表示するようにしてもよい。

ここで、情報処理装置１０の表示制御の機能は、裏返されたことを検知して副ディスプレイ１６に提供情報を表示した場合、主ディスプレイ１４上のドキュメント作成アプリのＵＩ画像１５ａが視認できないようにしてもよい。これには、例えば主ディスプレイ１４を消灯とする等とすればよい。これにより、ユーザが見ていない主ディスプレイ１４の表示情報が他者から盗み見されるリスクが低下する。

また情報処理装置１０（特に提供情報の表示制御の機能）は、ＡＩアシスタントが生成した提供情報が存在する場合に、その旨をユーザに通知してもよい。この通知は、情報処理装置１０が内蔵するバイブレーション機能を用いて情報処理装置１０を所定パターンで振動させることにより行ってもよい。また、その通知は、情報処理装置１０が持つスピーカーや情報処理装置１０に有線又は無線で接続されたイヤホン等の音声出力装置から、所定の音を出力することにより行ってもよい。また、情報処理装置１０が備えるＬＥＤ（発光ダイオード）等のランプの発光や点滅等により、その通知を行ってもよい。その通知の態様の更に別の例として、図５に例示するように、主ディスプレイ１４上のＵＩ画像１５ａ内に、ＡＩアシスタントからの提供情報が存在することを示す所定形状のアイコン２０を表示してもよい。このアイコン２０は、ＵＩ画像１５ａの表示内容をなるべく隠さないよう、小面積のものとする。アイコン２０を、提供情報画像１７ａよりも小面積とすれば、提供情報画像１７ａを主ディスプレイ１４に表示する場合よりも、ＵＩ画像１５ａのうち隠される部分の面積が少なくなる。また、振動、音声、ランプの発光、ＵＩ画像１５ａ上へのアイコン２０の表示等のうちの２つ以上の組合せにより、その通知を行ってもよい。

ユーザは、その通知により、ＡＩアシスタントが生成した提供情報が存在することを知り、情報処理装置１０を閉じるすなわち折り畳むか、又は裏返す。これにより、ユーザは、副ディスプレイ１６に表示された、その提供情報画像１７ａを閲覧することができる。

そしてユーザは、提供情報画像１７ａを見てＡＩアシスタントからの提供情報の内容を確認した後、情報処理装置１０を開くか、再度裏返すことにより、主ディスプレイ１４上のＵＩ画像１５ａを再度見て、ドキュメント作成の作業に戻る。

以上に説明した提供情報の画像の表示制御のために情報処理装置１０が実行する処理手順を図４に例示する。

情報処理装置１０（特にプロセッサ１０２）は、開状態であり、主ディスプレイ１４上に現在あるアプリのＵＩ画像１５ａを表示しているとする。また、そのアプリのバックグラウンドで動作しているＡＩアシスタントは、そのＵＩ画像１５ａへのユーザの入力の内容を解析し、その解析結果に基づいてそのユーザに提供することが有用な情報が見つかれば、その情報を含む提供情報を生成する。

情報処理装置１０は、ＡＩアシスタントが提供情報を生成するのを待つ（Ｓ１０）。ＡＩアシスタントが提供情報を生成したことを検知すると（Ｓ１０の判定結果がＹｅｓ）、情報処理装置１０は、その提供情報を表示する提供情報画像１７ａを副ディスプレイ１６に表示するための準備を行う（Ｓ１２）。例えば、副ディスプレイ１６用のビデオメモリ上にその提供情報画像１７ａを描画し、いつでもその提供情報画像１７ａを表示できるようにする。この時点では、副ディスプレイは消灯（すなわち非表示）状態であるか、又は所定の待機画像を表示中であり、まだ提供情報画像１７ａの表示は行っていない。次に情報処理装置１０は、ＡＩアシスタントからの提供情報が存在する旨の示す、振動、音声、画面へのアイコン２０の表示等の所定態様での通知を実行する（Ｓ１４）。

その後、情報処理装置１０は、表示機構が閉状態となるか、又は表示機構が開状態のまま裏返されるのを待つ（Ｓ１６，Ｓ１８）。

表示機構が閉状態となった（Ｓ１６がＹｅｓ）か、又は表示機構が開状態のまま裏返された（Ｓ１８がＹｅｓ）ことを検知すると、情報処理装置１０は、Ｓ１２で準備していた提供情報画像１７ａを副ディスプレイ１６に表示する（Ｓ２０）。ここでは、例えば副ディスプレイ１６用のビデオメモリに予め描画していた提供情報画像１７ａを副ディスプレイ１６に表示する。またこのとき情報処理装置１０は、主ディスプレイ１４を消灯するなどして、それまで表示していたアプリのＵＩ画像１５ａが視認できないようにする（Ｓ２２）。アプリのＵＩ画像１５ａの表示情報は、主ディスプレイ１４用のビデオメモリに保持されたままであり、いつでもそのＵＩ画像１５ａを主ディスプレイ１４に表示可能な状態が維持されている。

次に情報処理装置１０は、表示機構が開状態となるか、又は表示機構が裏返されるのを待つ（Ｓ２４，Ｓ２６）。表示機構が開状態となった（Ｓ２４がＹｅｓ）か、又は表示機構が裏返された（Ｓ２６がＹｅｓ）ことを検知すると、情報処理装置１０は、主ディスプレイ１４を点灯するなどによりアプリのＵＩ画像１５ａを主ディスプレイ１４に表示する。またこのとき情報処理装置１０は、副ディスプレイ１６を消灯するなどにより提供情報画像１７ａを見えなくする（Ｓ２８）。その後、情報処理装置１０の処理はＳ１０に戻る。

次に、図５を参照して、ＡＩアシスタントの提供情報の表示制御の別の例を説明する。

図５の例では、開状態の表示機構の主ディスプレイ１４に表示されたドキュメント作成アプリのＵＩ画像１５ａ内に、ＡＩアシスタントからの提供情報がある旨が示すアイコン２０が表示されている。アイコン２０は、ＵＩ画像１５ａ内の入力内容のうち、その提供情報を生成するためにＡＩアシスタントが解析した部分の近傍に表示される。アイコン２０を点滅表示や目立ちやすい色で表示することにより、ユーザの注意を強く喚起するようにしてもよい。

ユーザは、このアイコン２０の表示を見て、ＡＩアシスタントからの提供情報があることを知ると、表示機構を閉状態とするか、又は情報処理装置１０全体を裏返すかすることにより、副ディスプレイ１６がユーザ側を向くようにする。すると、情報処理装置１０は、副ディスプレイ１６にその提供情報を示す提供情報画像１７ａを表示する。

図５の例ではアイコン２０を表示したが、提供情報の存在をユーザに通知するための表示は、アイコン２０に限らない。例えばこの代わりに、副ディスプレイ１６の提供情報画像１７ａより小さいサイズのウインドウ内に提供情報の一部を表示したものを、その通知のための表示としてＵＩ画像１５ａ上に表示してもよい。

図５の例では、その提供情報画像１７ａ内には、その提供情報画像１７ａ内の情報を主ディスプレイ１４に表示されたアプリのＵＩ画像１５ａに挿入するか否かを問い合わせるダイアログ３０が表示される。図示例では、ダイアログ３０は、提供情報画像１７ａ内に表示されたグラフ１９を、元のアプリのＵＩ画像１５ａに利用するかどうかを問い合わせるものとなっている。ユーザが、このダイアログ３０内の「はい」ボタン３２を押下すると、ＵＩ画像１５ａのアイコン２０の近傍の空き領域にそのグラフを追加する指示が情報処理装置１０からドキュメント作成アプリに送られる。ドキュメント作成アプリは、その指示に応じて、ＵＩ画像１５ａの表示内容を更新し、その更新された表示内容が主ディスプレイ１４用のビデオメモリに反映される。

ユーザが、副ディスプレイ１６上の提供情報画像１７ａの確認を終え、表示機構を開くか、又は開状態の表示機構を再び裏返すかすることにより、主ディスプレイ１４がユーザの側を向いた状態となると、主ディスプレイ１４が再び点灯される。このとき主ディスプレイ１４に表示されるドキュメント作成アプリのＵＩ画像１５ａには、ダイアログ３０に対するユーザの指示に応じて、グラフ１９が挿入されている。

以上に説明したように、図５の例では、副ディスプレイ１６上の提供情報画像１７ａに表示された提供情報やその一部を、実行中アプリのＵＩ画像１５ａ内の入力内容に追加する仕組みが提供されている。

次に、図６を参照して、ＡＩアシスタントの提供情報の表示制御の更に別の例を説明する。

図６の例は、ＡＩアシスタントが生成した提供情報の量が閾値以上である場合の制御を説明するためのものである。例えば、提供情報の量が副ディスプレイ１６の面積に収まらない場合には、ユーザが提供情報全体を読むためには、提供情報画像１７ａをスクロールしたり、提供情報画像１７ａに表示されたページをめくったりする等の操作が必要となる。このような操作は、ユーザの使い勝手を損ねる。また、スクロールやページめくりをある程度許容する場合でも、提供情報全体を見るのに大量のスクロールやページめくりを行う必要があるのではユーザにとっての操作の負担が大きい。

そこで、この例では、ユーザの操作負担からみて許容可能な程度の提供情報の量を閾値として定めておく。そして、ＡＩアシスタントが生成した提供情報の量が閾値を超える場合、情報処理装置１０は、その提供情報を示す提供情報画像１７ｂを主ディスプレイ１４に表示する。提供情報画像１７ｂを主ディスプレイ１４に表示すれば、大量の提供情報をスクロールやページめくりをせずに表示可能になるか、又は仮に提供情報全部を表示するためにスクロール等の操作が必要であっても、その操作の量は少なくて済む。逆に提供情報の量が閾値以下である場合、情報処理装置１０は、図３の例と同様その提供情報画像１７ａを副ディスプレイ１６に表示する。

ただし、主ディスプレイ１４にいきなり提供情報画像１７ｂを表示すると、アプリのＵＩ画像１５ａが消えるので、ユーザの混乱を招くおそれがある。そこで、図６の例では、ＡＩアシスタントからの提供情報がある場合、まずは副ディスプレイ１６に提供情報画像１７ａを表示し、その提供情報画像１７ａ内に、その提供情報を主ディスプレイ１４に表示するか否かを問い合わせるダイアログ４０を表示する。

ユーザがこのダイアログ４０内の「はい」ボタンを押すと、情報処理装置１０は、その提供情報を表示する提供情報画像１７ｂを主ディスプレイ１４に表示する。この表示の処理の流れでは、情報処理装置１０は、例えば、主ディスプレイ１４のサイズに合わせた提供情報画像１７ｂを主ディスプレイ１４用のビデオメモリに描画し、それを表示する準備を行う。ユーザが閉じている表示機構を開くか、元々開いている表示機構を裏返して主ディスプレイ１４をユーザ側に向けると、情報処理装置１０は、準備した提供情報画像１７ｂを主ディスプレイ１４に表示する。

ダイアログ４０にてユーザが「いいえ」ボタンを押した場合、副ディスプレイ１６上の提供情報画像１７ａからダイアログ４０が消え、その提供情報画像１７ａ内に提供情報がスクロール又はページめくりの形で表示される。

また、主ディスプレイ１４に提供情報画像１７ｂを表示した場合、その前に主ディスプレイ１４に表示していた実行中アプリの表示内容を示すＵＩ画像１５ｂを、副ディスプレイ１６に表示してもよい。この場合、実行中アプリの副ディスプレイ１６でのＵＩ画像１５ｂが横長の形状である場合、図示のように副ディスプレイ１６にそのＵＩ画像１５ｂを横表示してもよい。主ディスプレイ１４上の提供情報画像１７ｂで提供情報を閲覧していたユーザが、実行中アプリのＵＩ画像１５ｂの表示内容を確認したい場合、表示機構を閉じたり、裏返したりして、副ディスプレイ１６の表示を見る。

次に、図７を参照して、ＡＩアシスタントの提供情報の表示制御の更に別の例を説明する。

この例の情報処理装置１０は、開状態の表示機構の両面に、上述した主ディスプレイ１４とほぼ同サイズのディスプレイ１４ａ及び１４ｂを備える。表示機構が閉状態となったときには、ディスプレイ１４ａ及び１４ｂのうちの外側のディスプレイの二つ折り状態の半面を、副ディスプレイとして機能させてもよい。

この例では、ディスプレイ１４ａに実行中アプリのＵＩ画像１５ａを表示しているときに、ＡＩアシスタントから提供情報が提供された場合、情報処理装置１０はその提供情報画像１７ｃを裏側のディスプレイ１４ｂに表示する。提供情報画像１７ｃを直ちに表示する代わりに、ディスプレイ１４ｂがユーザ側を向いたことを検知した場合に、提供情報画像１７ｃを表示するよう制御してもよい。

この例では、ＡＩアシスタントの提供情報も大きいサイズで表示される。

以上、情報処理装置１０の実施形態を説明したが、以上に説明した実施形態はあくまで例示的なものにすぎない。本発明の技術的思想の範囲内で様々な変形や改良があり得る。

上記実施形態は、実行中アプリ（例えば図３の例における「ドキュメント作成アプリ」）に対するユーザの入力に対してＡＩアシスタントが生成した提供情報を例にとって、提供情報の表示制御の仕組み説明した。しかし、上記実施形態の表示制御は、実行中アプリではなく、ＡＩアシスタントに対して直接的にユーザが入力した入力内容に対してそのＡＩアシスタントが生成した提供情報を表示する場合にも適用可能である。例えば、ユーザが主ディスプレイ１４に実行中アプリのＵＩ画像１５ａを開いて作業しつつ、所定の呼び掛け語でＡＩアシスタントを起動して質問や要求を声で入力すると、ＡＩアシスタントはその質問や要求に対応する提供情報を生成する。このとき、その提供情報を表示する提供情報画像を主ディスプレイ１４ではなく、副ディスプレイ１６に表示する。ＵＩ画像１５ａの表示が隠れされることが防止又は低減される。

１０ 情報処理装置、１２Ａ 第１ボディ、１２Ｂ 第２ボディ、１４ 主ディスプレイ、１５ａ，１５ｂ （実行中アプリの）ＵＩ画像、１６ 副ディスプレイ、１７ａ，１７ｂ，１７ｃ 提供情報画像。

Claims (8)

1. 第１の表示装置と、前記第１の表示装置の表示面積以下の表示面積を有する第２の表示装置と、を有する開閉可能な表示機構と、
   プロセッサと、
   を備え、
   前記プロセッサは、
   前記第１の表示装置の第１のアプリケーションプログラムに割り当てられた表示領域内に第１の画像を表示している間に、ＡＩアシスタントが提供する提供情報がある場合に、前記提供情報を示す第２の画像を前記第２の表示装置に表示するための表示制御を実行する、
   ことを特徴とする情報処理装置。
2. 前記表示制御では、前記第２の表示装置がユーザ側を向いていない場合には前記第２の画像を表示しない、ことを特徴とする請求項１に記載の情報処理装置。
3. 前記プロセッサは、更に、
   前記第１の表示装置に前記第１の画像を表示している間に、前記提供情報がある場合に、前記提供情報がある旨の通知を実行する、
   ことを特徴とする請求項１又は２に記載の情報処理装置。
4. 前記通知は、前記第１の表示装置に表示している前記第１の画像上に、前記提供情報があることを示す画像であって前記第２の画像よりも小さい画像を表示する処理である、ことを特徴とする請求項３に記載の情報処理装置。
5. 前記表示制御では、前記提供情報の量が閾値以下の場合は前記第２の画像を前記第２の表示装置に表示し、前記提供情報の量が前記閾値より多い場合は前記第２の画像を前記第１の表示装置に表示する、請求項１〜４のいずれか１項に記載の情報処理装置。
6. 前記表示制御では、前記第２の画像を前記第１の表示装置に表示した場合、前記第１の画像の表示内容を示す画像を前記第２の表示装置に表示する、ことを特徴とする請求項５に記載の情報処理装置。
7. 前記表示制御では、前記提供情報の量が前記閾値より多い場合は、前記提供情報を前記第１の表示装置に表示するか否かを問い合わせる問合せ画像を前記第２の表示装置に表示し、前記問合せ画像に対して前記第１の表示装置に表示する旨の指示がユーザからあった場合に、前記第２の画像を前記第１の表示装置に表示する、請求項５又は６に記載の情報処理装置。
8. 第１の表示装置と、前記第１の表示装置の表示面積以下の表示面積を有する第２の表示装置と、を有する開閉可能な表示機構、を備えるコンピュータを、
   前記第１の表示装置の第１のアプリケーションプログラムに割り当てられた表示領域内に第１の画像を表示している間に、ＡＩアシスタントが提供する提供情報がある場合に、前記提供情報を示す第２の画像を前記第２の表示装置に表示するための表示制御を実行する、ように動作させるためのプログラム。
   

Images