JP2020106576A - 表示制御方法、プログラム及び表示装置 - Google Patents
表示制御方法、プログラム及び表示装置 Download PDFInfo
- Publication number
- JP2020106576A JP2020106576A JP2018242164A JP2018242164A JP2020106576A JP 2020106576 A JP2020106576 A JP 2020106576A JP 2018242164 A JP2018242164 A JP 2018242164A JP 2018242164 A JP2018242164 A JP 2018242164A JP 2020106576 A JP2020106576 A JP 2020106576A
- Authority
- JP
- Japan
- Prior art keywords
- image
- display
- display device
- display control
- control unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000004891 communication Methods 0.000 description 39
- 230000008569 process Effects 0.000 description 19
- 238000012545 processing Methods 0.000 description 19
- 230000006870 function Effects 0.000 description 17
- 238000012986 modification Methods 0.000 description 16
- 230000004048 modification Effects 0.000 description 16
- 238000004364 calculation method Methods 0.000 description 14
- 230000000694 effects Effects 0.000 description 9
- 238000006073 displacement reaction Methods 0.000 description 6
- 230000010365 information processing Effects 0.000 description 5
- 101000854908 Homo sapiens WD repeat-containing protein 11 Proteins 0.000 description 4
- 102100020705 WD repeat-containing protein 11 Human genes 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 239000000470 constituent Substances 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 206010025482 malaise Diseases 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 101100171145 Human herpesvirus 6A (strain Uganda-1102) DR2R gene Proteins 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 229920001690 polydopamine Polymers 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Abstract
Description
本発明の第2の態様によると、表示装置のコンピュータに実行させるプログラムであって、第1画像に含まれる第2画像を前記表示装置に表示することと、前記表示装置に表示された前記第2画像に対するユーザの第1操作に基づいて、前記表示装置に表示された前記第2画像を、第1方向に移動させることと、前記表示装置に表示された、第3画像に含まれる第4画像に対するユーザの前記第1操作に基づいて、前記表示装置に表示された前記第4画像を、前記第1方向とは異なる方向であって前記第3画像内の所定領域の位置に基づく第2方向に移動させることとを含む。
本発明の第3の態様によると、表示装置であって、第1画像に含まれる第2画像を表示する表示部と、前記表示部に表示された前記第2画像に対するユーザの第1操作に基づいて、前記表示部に表示された前記第2画像を、第1方向に移動させる制御と、前記表示部に表示された、第3画像に含まれる第4画像に対するユーザの前記第1操作に基づいて、前記表示部に表示された前記第4画像を、前記第1方向とは異なる方向であって前記第3画像内の所定領域の位置に基づく第2方向に移動させる制御とを行う制御部と備える。
本明細書に記載の開示は、通信の秘密など、本開示の実施に必要な実施国の法的事項遵守を前提とすることに留意されたい。
図1は、本開示の一実施形態に係る通信システム1の構成を示す。図2は、本開示の一実施形態に係る通信システム1の構成の概要を示す。図1または図2に開示されるように、通信システム1では、ネットワーク30を介してサーバ10と、端末20(端末20A,端末20B,端末20C)とが接続される。サーバ10は、ネットワーク30を介してユーザが所有する端末20に、端末20間でのメッセージの送受信を実現するサービスを提供する。なお、ネットワーク30に接続される端末20の数は限定されない。
図1を用いて、通信システム1に含まれる各装置のHW構成について説明する。
サーバ10は、制御部11(CPU)、記憶部15、通信I/F14(インタフェース)、入出力部12、ディスプレイ13を備える。サーバ10のHWの各構成要素は、限定でなく例として、バスBを介して相互に接続される。なお、サーバ10のHWは、サーバ10のHWの構成として、全ての構成要素を含むことは必須ではない。限定ではなく例として、サーバ10のHWは、ディスプレイ13を取り外すような構成であってもよいし、そうでなくてもよい。
サーバ10は、プログラムPを記憶部15に記憶し、このプログラムPを実行することで、制御部11が、制御部11に含まれる各部としての処理を実行する。つまり、記憶部15に記憶されるプログラムPは、サーバ10に、制御部11が実行する各機能を実現させる。このプログラムPは、プログラムモジュールと表現されてもよいし、されなくてもよい。
記憶媒体は、「一時的でない有形の媒体」に、プログラムPを記憶可能である。また、プログラムPは、本開示の各実施形態の機能の一部を実現するためのものであってもよいし、そうでなくてもよい。さらに、本開示の各実施形態の機能を記憶媒体にすでに記録されているプログラムPとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよいし、そうでなくてもよい。
サーバ10および/または端末20における処理の少なくとも一部は、1以上のコンピュータにより構成されるクラウドコンピューティングにより実現されていてもよいし、そうでなくてもよい。
端末20における処理の少なくとも一部を、サーバ10により行う構成としてもよいし、そうでなくてもよい。この場合、端末20の制御部21の各機能部の処理のうち少なくとも一部の処理を、サーバ10で行う構成としてもよいし、そうでなくてもよい。
サーバ10における処理の少なくとも一部を、端末20により行う構成としてもよいし、そうでなくてもよい。この場合、サーバ10の制御部11の各機能部の処理のうち少なくとも一部の処理を、端末20で行う構成としてもよいし、そうでなくてもよい。
明示的な言及のない限り、本開示の実施形態における判定の構成は必須でなく、判定条件を満たした場合に所定の処理が動作されたり、判定条件を満たさない場合に所定の処理がされたりしてもよいし、そうでなくてもよい。
第1実施形態は、端末20に表示される画像の表示範囲を、ユーザの操作(例えば、スクロール操作)に基づいて変更する形態である。本実施形態において、端末20には、画像全体のうちの一部の画像が表示される。本実施形態は、端末20に表示される画像の表示範囲を、ユーザの操作方向に応じた方向に変更することも、ユーザの操作方向とは異なる方向に変更することも可能にする形態である。例えば、本実施形態の端末20は、画像に所定領域(所定領域ROI)が設定されている場合に、ユーザの操作方向が必ずしも所定領域ROIの方向と一致していない場合であったとしても、所定領域ROIの方向(つまり、ユーザの操作方向とは異なる方向)に画像の表示範囲を変更することが可能である。
第1実施形態に記載の内容は、他の各実施形態のいずれにも適用可能である。
図3を参照して、本実施形態の第1画像IM1および第2画像IM2の一例を説明する。これら第1画像IM1および第2画像IM2は、表示装置Dに表示される。なお、上述した端末20は、表示装置Dの一例であるとして説明する。以下の説明において必要な場合には、x軸およびy軸を有する2次元直交座標系によって位置または方向を示す。なお、この2次元直交座標系は説明のための一例であって、3次元座標系で表されてもよいし、直交座標系以外の座標系によって表されてもよい。
第1画像IM1には、表示対象OBJ1〜表示対象OBJ3などの画像が含まれている。同図に示す一例において第1画像IM1は、ある地域の風景を示すマップ画像であり、表示対象OBJ1は湖の画像であり、表示対象OBJ2は建物の画像であり、表示対象OBJ3は星の画像である。端末20の表示部24には、第1画像IM1の一部が第2画像IM2として表示される。
端末20に対するユーザの操作について説明する。端末20の制御部21は、上述した入力部(例えば、タッチパネル)に対するユーザの操作を検出する。このユーザの操作には、スクロール操作が含まれる。スクロール操作とは、一例として、表示対象の元画像の表示サイズが表示部24の画面サイズに収まらず、元画像の一部の領域の画像を表示対象の画像として表示部24に表示させる場合においてなされる操作である。
具体的には、スクロール操作とは、元画像のうちの表示対象の領域を、画面の上下左右のいずれかの方向、またはこれらの方向を合成したいずれかの方向に移動させることにより、操作前には画面に表示されていなかった元画像の一部を、新たな表示対象領域にして画面に表示させる操作である。換言すれば、スクロール操作とは、元画像のうち、表示部24に表示される画像の範囲を変更する操作である。
以下の説明において、スクロール操作によって示されたスクロール方向のことを、操作方向ODとも記載する。
また、スクロール操作は、表示部24の画面上に表示されるスクロール方向を示す操作画像を操作することによって、または端末20が備える操作スイッチを操作することによって行われてもよく、行われなくてもよい。
すなわち、制御部21は、第1画像IM1に含まれる第2画像IM2を表示装置Dに表示する。また、制御部21は、表示装置Dに表示された第2画像IM2に対するユーザの第1操作OP1に基づいて、表示装置Dに表示された第2画像IM2を、第1方向DR1に移動させる。
また、上述したスクロール操作とは、表示装置Dに表示された第2画像IM2に対するユーザの第1操作OP1の一例である。以下、第1操作OP1が、操作の方向が操作方向ODであるスクロール操作であるとして説明する。
図4を参照して、第3画像IM3および第4画像IM4の一例を説明する。
図4は、本実施形態に係る第3画像IM3および第4画像IM4の一例を示す。端末20には、第4画像IM4が表示される。同図には、第4画像IM4の一例として、ユーザの操作前に表示される第4画像IM4oを示す。第4画像IM4は、第3画像IM3のうちの一部の画像である。
第3画像IM3には、表示対象OBJ1〜表示対象OBJ3などの画像が含まれている。これら表示対象OBJ1〜表示対象OBJ3については、上述した第1画像IM1と同様であるため説明を省略する。
なお、第3画像IM3に所定領域ROIが設定される場合には、第3画像IM3の作成者や管理者によって設定されてもよいし、人工知能によって設定されてもよいし、ユーザによって設定されてもよい。
なお、同図に示す一例では、中心位置のx座標およびy座標が位置情報として記憶されている場合について記載したが、所定領域ROIの位置が特定できればよく、所定領域ROIの位置の表現手段はこれに限られない。
また、第3画像IM3内に複数の所定領域ROIが設定される場合には、記憶部28には、所定領域ROIごとに位置情報が記憶される。
すなわち、第1画像IM1は、第3画像IM3であってもよく、第3画像IM3以外の画像であってもよい。また、第2画像IM2は、第4画像IM4であってもよく、第4画像IM4以外の画像であってもよい。
以下においては、上述した第1画像IM1を、所定領域ROIが設定されていない第3画像IM3であると読み替えて説明する場合がある。また、上述した第2画像IM2を、所定領域ROIが設定されていない第3画像IM3に含まれる第4画像IM4であると読み替えて説明する場合がある。
図1を参照して端末20が備える制御部21の機能構成について説明する。端末20は、制御部21により実現される機能として、画像情報取得部211と、操作判定部212と、表示制御部213とを備える。
また、第3画像IM3に所定領域ROIが設定されている場合には、画像情報取得部211は、所定領域ROIの位置情報を取得する。
画像情報取得部211は、取得した画像情報と所定領域ROIの位置情報とを、表示制御部213に出力する。
図6を参照して、本実施形態の端末20が備える制御部21の動作について説明する。
図6は、本実施形態の端末20が備える制御部21の動作の一例を示す。
例えば、ステップS20において表示制御部213は、第4画像IM4oを表示範囲の画像として設定する。ステップS20からステップS30に遷移する場合には、表示制御部213は、第4画像IM4oを表示部24に表示させる。この結果、表示部24には、図7に示す第4画像IM4oが表示される。
(ステップS40)操作判定部212は、画像に対するユーザの操作を示す操作情報を取得する。ユーザの操作には、上述したスクロール操作と、画像の表示を終了させる操作とが含まれる。
(ステップS50)操作判定部212は、ステップS40において取得した操作情報が示す操作が、画像の表示を終了させる操作である場合(ステップS50;YES)には、処理を終了する。また、操作判定部212は、ステップS40において取得した操作情報が示す操作が画像の表示を終了させる操作でない場合(ステップS50;NO)には、処理をステップS60に進める。
なお、本実施形態の一例において、上述した「操作情報が示す操作が画像の表示を終了させる操作でない場合」とは、「操作情報が示す操作がスクロール操作である場合」を意味している。
図8は、本実施形態の表示制御部213による移動方向の判定動作の第1の例を示す。この一例においては、表示制御部213は、第3画像IM3に所定領域ROIが設定されているか否かに基づいて、第4画像IM4の移動方向を判定する。
(ステップS110)表示制御部213は、ステップS10において取得された第3画像IM3に所定領域ROIが設定されているか否かを判定する。表示制御部213は、第3画像IM3に所定領域ROIが設定されていない場合(ステップS110;NO)には、処理をステップS120に進める。表示制御部213は、第3画像IM3に所定領域ROIが設定されている場合(ステップS110;YES)には、処理をステップS130に進める。
(ステップS120)表示制御部213は、ステップS40において取得された操作情報が示すスクロール操作の操作方向ODに、第4画像IM4を移動させる。図7に示す一例において、表示制御部213は、スクロール操作の操作方向ODに一致する方向である第1方向DR1に、第4画像IM4を移動させる。
ここで、第2方向DR2は、第1方向DR1とは異なる方向であって第3画像IM3内の所定領域ROIの位置に基づく方向である。
すなわち、表示制御部213は、表示装置Dに表示された、第3画像IM3に含まれる第4画像IM4に対するユーザの第1操作OP1に基づいて、表示装置Dに表示された第4画像IM4を、第1方向DR1とは異なる方向であって第3画像IM3内の所定領域ROIの位置に基づく第2方向DR2に移動させる。
ここで、第4画像IM4の移動の軌跡とは、第4画像IM4を移動させた場合に、第3画像IM3内における第4画像IM4の位置を時系列に接続した線である。換言すれば、第4画像IM4の移動の軌跡とは、ユーザの操作によって第4画像IM4が第3画像IM3内を移動した結果、第4画像IM4の移動経路として示される線である。
図9は、本実施形態の表示制御部213による移動方向の判定動作の第2の例を示す。この一例においては、表示制御部213は、第3画像IM3に所定領域ROIが設定されているか否かに基づくことに加え、複数の所定領域ROIが設定されているか否かに基づいて、第4画像IM4の移動方向を判定する。
(ステップS210)表示制御部213は、ステップS10において取得された第3画像IM3に所定領域ROIが設定されているか否かを判定する。表示制御部213は、第3画像IM3に所定領域ROIが設定されていない場合(ステップS210;NO)には、処理をステップS220に進める。表示制御部213は、第3画像IM3に所定領域ROIが設定されている場合(ステップS210;YES)には、処理をステップS230に進める。
また、表示制御部213は、第3画像IM3に複数の所定領域ROIが設定されていない場合、すなわち、単一の所定領域ROIが設定されている場合(ステップS110;NO)には、処理をステップS240に進める。図12に示す第3画像IM3において、所定領域ROI1aのみが設定されており、所定領域ROI1bが設定されていない場合を、第3画像IM3に単一の所定領域ROIが設定されている場合の一例として説明する。
表示制御部213による判定手順の一例について説明する。同図に示すように、表示制御部213は、基準位置POSoを通り、操作方向OD(例えば、x軸正方向)に直交する線を基準線Loとする。表示制御部213は、複数の所定領域ROIのうち、基準線Loよりも操作方向OD側に設定されている所定領域ROIを、操作方向ODにある所定領域ROIであると判定する。同図に示す一例においては、表示制御部213は、所定領域ROI1aおよび所定領域ROI1bのうち、基準線Loよりも操作方向ODに設定されている所定領域ROIaを、操作方向ODにある所定領域ROIであると判定する。この場合、表示制御部213は、所定領域ROI1aの方向である第2方向DR12に、第4画像IM4を移動させる。この一例においては、表示制御部213は、第4画像IM4oから第4画像IM4bに、第4画像IM4を移動させる。
なお、複数の所定領域ROIが設定されている場合に、表示制御部213は、これら複数の所定領域ROIを順に経由して、第4画像IM4を移動させてもよく、移動させなくてもよい。例えば、図10に示す一例において、所定領域ROI1aと所定領域ROI1bが設定されている場合には、表示制御部213は、基準位置POSoから、所定領域ROI1bを経由して所定領域ROI1aに第4画像IM4を移動させてもよい。
図11は、本実施形態の表示制御部213による移動方向の判定動作の第3の例を示す。この一例においては、複数の所定領域ROIが比較的近い方向に設定されている場合における、第4画像IM4の移動方向の判定手順について説明する。
表示制御部213は、所定領域ROI2aと所定領域ROI2bとのうち、いずれの所定領域ROIが、操作方向ODにある所定領域ROIであるかを判定する。
表示制御部213は、基準位置POSoを中心とし、操作方向OD(例えば、x軸正方向)を含む弧を基準弧Coとする。表示制御部213は、複数の所定領域ROIのうち、基準弧Coの範囲内に含まれている所定領域ROIを、操作方向ODにある所定領域ROIであると判定する。同図に示す一例においては、所定領域ROI2aおよび所定領域ROI2bのうち、基準弧Coの範囲内に所定領域ROI2aが設定され、基準弧Coの範囲外に所定領域ROI2bが設定されている。この場合、表示制御部213は、基準弧Coの範囲内に設定されている所定領域ROI2aを、操作方向ODにある所定領域ROIであると判定する。
図12は、本実施形態の表示制御部213による移動方向の判定動作の第4の例を示す。この一例においては、表示制御部213は、第3画像IM3に所定領域ROIが設定されているか否かに基づくことに加え、操作方向ODと、基準位置POSoに対する所定領域ROIの方向との関係に基づいて、第4画像IM4の移動方向を判定する。
(ステップS310)表示制御部213は、ステップS10において取得された第3画像IM3に所定領域ROIが設定されているか否かを判定する。表示制御部213は、第3画像IM3に所定領域ROIが設定されていない場合(ステップS310;NO)には、処理をステップS320に進める。表示制御部213は、第3画像IM3に所定領域ROIが設定されている場合(ステップS310;YES)には、処理をステップS330に進める。
同図に示す一例の場合、基準位置POSoに対する所定領域ROIの方向(図示する第2方向DR32)が、基準弧Coの範囲内に含まれていない。この場合には、表示制御部213は、基準位置POSoに対する所定領域ROIの方向が、操作方向ODの所定範囲内にない(ステップS330;NO)と判定し、上述したステップS320に処理を戻す。すなわち、表示制御部213は、操作方向ODに応じた方向(第1方向DR31)に第4画像IM4を移動させる。
また、表示制御部213は、基準位置POSoに対する所定領域ROIの方向が、操作方向ODの所定範囲内にある(ステップS330;YES)と判定した場合には、処理をステップS340に進める。なお、ステップS340における表示制御部213の動作は、上述したステップS130と同一であるため、その説明を省略する。
なお、上述した各判定例において、表示制御部213は、第1操作OP1の操作の量に基づいて、第4画像IM4を第1方向DR1に移動させるか、第2方向DR2に移動させるかを選択してもよい。
上述したように、操作判定部212が取得する操作情報には、ユーザによる操作の操作量を示す情報が含まれている。ユーザによる操作の操作量には、操作の強度、操作の時間、操作の速さ、操作の軌跡の長さなどが含まれる。
この一例の場合、表示制御部213は、所定領域ROIが設定されているか否かに関わらず、操作の強度が比較的強い場合には、操作方向ODに応じた方向である第1方向DR1に第4画像IM4を移動させる。
また例えば、表示制御部213は、所定領域ROIが設定されている場合において、操作の強度が比較的強い場合には、第1方向DR1に第4画像IM4を移動させ、操作の強度が比較的弱い場合には、所定領域ROIに応じた方向である第2方向DR2に第4画像IM4を移動させる。
上述したように構成された本実施形態の表示装置D(例えば、端末20)によれば、簡略化された操作によって、所定領域ROIの方向に画像(例えば、第4画像IM4)を移動させることができる。ここで、簡略化された操作とは、例えば、所定領域ROIの正確な方向によらない操作である。
また、上述したように構成された本実施形態の表示装置D(例えば、端末20)によれば、操作が簡略化されることにより操作に基づいて画像を表示するための演算量が低減されるため、結果的に表示装置Dの演算処理負荷を軽減できるという効果が得られる。
上述したように構成された本実施形態の表示装置D(例えば、端末20)によれば、第3画像IM3について所定領域ROIが設定されているため、第3画像IM3に対する操作が簡略化される。したがって、本実施形態の表示装置D(例えば、端末20)によれば、ユーザの第3画像IM3に対する操作に基づいて画像を表示するための演算量が低減されるため、結果的に表示装置Dの演算処理負荷を軽減できるという効果が得られる。
上述した具体例において、第1画像IM1〜第4画像IM4の各画像が2次元画像であることを前提にして説明したが、これに限られない。これら各画像は、3次元画像であってもよいし、3次元画像でなくてもよい。各画像が3次元画像である場合には、例えば、第4画像IM4の第1方向DR1または第2方向DR2への移動は、第4画像IM4を拡大または、第4画像IM4を縮小させて、第4画像IM4を移動させることであってもよい。
ここで、3次元画像は、ユーザが奥行き方向の位置(奥行き位置)を認識可能な形式によって提示される画像である。例えば、3次元画像は、ユーザの左眼に提示される左眼用画像と、ユーザの右眼に提示される右眼用画像との間の視差によって表現される画像であってもよいし、他の形式によって提示される画像であってもよい。
また、第4画像IM4の拡大または縮小には、3次元画像に含まれる表示対象OBJの奥行き位置を変更することにより、ユーザが認識する表示対象OBJの大きさを拡大または縮小することも含まれる。
一例として、端末20がVR(virtual reality)ヘッドセットを備える装置であり、第3画像IM3および第4画像IM4がそれぞれ3次元画像である場合には、端末20は、ユーザに対してVR画像を提示することができる。端末20がVRヘッドセット端末である場合には、操作方向ODに基づいて第4画像IM4を拡大または縮小することにより、操作方向ODに移動している感覚をユーザに対して与えることができる。
図14は、本実施形態に係る3次元画像の一例を示す。端末20がVRヘッドセット端末である場合、ユーザの左眼には第4画像IM4L(左眼用画像)が、右眼には第4画像IM4R(右眼用画像)が提示される。これら第4画像IM4L(左眼用画像)および第4画像IM4R(右眼用画像)は、互いに視差を有し、表示対象OBJの奥行き位置をユーザに認識させる画像である。この一例では、表示対象OBJは、道路の画像である。この表示対象OBJ(例えば、道路)には、所定領域ROIが設定されている。具体的には、表示対象OBJには、所定領域ROI41(所定領域ROI41Lおよび所定領域ROI41R)と、所定領域ROI42(所定領域ROI42Lおよび所定領域ROI42R)とが、それぞれ設定されている。
端末20の表示制御部213は、ユーザの操作に基づいて、第4画像IM4を第2方向DR2に移動させる。この一例において、ユーザが道路を前進するスクロール操作を行った場合、端末20は、第4画像IM4Lの位置を第2方向DR2Lに沿って、第4画像IM4Rの位置を第2方向DR2Rに沿って、それぞれ移動させる。
すなわち、このように構成された表示装置D(例えば、端末20)によれば、画像の表現手法を拡張することができるため、2次元画像や3次元画像を利用する様々なアプリケーションに適用することができる。
また、このように構成された表示装置D(例えば、端末20)によれば、簡略化された操作によって、所定領域ROIの方向に第4画像IM4を移動させることができる。
また、このように構成された表示装置D(例えば、端末20)によれば、操作が簡略化されることにより操作に基づいて画像を表示するための演算量が低減されるため、結果的に端末20やサーバ10の負荷を軽減できるという効果が得られる。
また、上述した具体例において、第4画像IM4が基準位置POSoから所定領域ROIの方向に連続的に移動することを前提にして説明したが、これに限られない。例えば、第4画像IM4は、第1操作OP1の量に基づいて、表示装置Dに表示された第3画像IM3のうち基準位置POSoから第3画像IM3内の所定領域ROIの位置に不連続的に移動してもよい。
ここで、連続的に移動するとは、第4画像IM4の移動を動画のコマ画像(または、フレーム)によって表現する場合において、コマ画像間の第4画像IM4の変位量を相対的に小さくし、かつ単位時間当たりのコマ画像の枚数(または、フレームレート)を相対的に高くして動画を再生することを意味する。この結果、ユーザには、第4画像IM4が滑らかに連続して移動しているように知覚される。
一方、不連続的に移動するとは、第4画像IM4の移動を動画のコマ画像(または、フレーム)によって表現する場合において、コマ画像間の第4画像IM4の変位量を相対的に大きくし、または単位時間当たりのコマ画像の枚数(または、フレームレート)を相対的に低くして動画を再生することを意味する。この結果、ユーザには、第4画像IM4の位置が不連続的に変化しているように知覚される。
このように構成された表示装置D(例えば、端末20)によれば、第4画像IM4を連続的に移動させる場合に比べてより素早く、第4画像IM4を所定領域ROIの位置に移動させることができる。したがって、このように構成された表示装置D(例えば、端末20)によれば、所定領域ROIの方向に第4画像IM4を移動させる操作を簡略化することができる。また、このように構成された表示装置D(例えば、端末20)によれば、操作が簡略化されることにより操作に基づいて画像を表示するための演算量が低減されるため、結果的に端末20やサーバ10の負荷を軽減できるという効果が得られる。
また、表示装置D(例えば、端末20)がVRヘッドセット端末などの3次元画像を提示する装置である場合には、画像の表現形式によっては、ユーザに不快感(例えば、いわゆるVR酔い)を生じさせることがある。この不快感(例えば、VR酔い)は、ユーザの頭部の変位タイミングと、VRヘッドセット端末に表示される画像の変位タイミングとが一致していない場合に、顕著に生じることがある。一般に、VRヘッドセット端末に表示される画像の生成時間が比較的長い場合には、表示遅れが比較的大きくなるため、ユーザの頭部の変位タイミングと、VRヘッドセット端末に表示される画像の変位タイミングとの差異が大きくなる場合がある。本実施形態の表示装置D(例えば、端末20)によれば、上述したように画像を表示するための演算量が低減されるため、ユーザに与える不快感を低減することができる。
第2実施形態は、第4画像IM4の移動経路PTが予め定められている形態である。
第2実施形態に記載の内容は、他の各実施形態のいずれにも適用可能である。
なお、上述した実施形態と同一の構成および動作については同一の符号を付してその説明を省略する。
すなわち、第1画像IM1は、第3画像IM3であってもよく、第3画像IM3以外の画像であってもよい。また、第2画像IM2は、第4画像IM4であってもよく、第4画像IM4以外の画像であってもよい。
以下においては、上述した第1画像IM1を、所定領域ROIが設定されていない第3画像IM3であると読み替えて説明する場合がある。また、上述した第2画像IM2を、所定領域ROIが設定されていない第3画像IM3に含まれる第4画像IM4であると読み替えて説明する場合がある。
本実施形態において、第2方向DR2への第4画像IM4の移動は、第1画像IM1内の所定領域ROIの位置に基づいて定められた移動経路PT上を移動することである。
なお、第3画像IM3に移動経路PTが設定される場合には、第3画像IM3の作成者や管理者によって設定されてもよいし、人工知能によって設定されてもよいし、ユーザによって設定されてもよい。一例として、人工知能によって移動経路PTが設定される場合には、第3画像IM3に含まれる表示対象OBJを人工知能が物体認識し、物体認識された表示対象OBJのうち、ユーザに提示すべき表示対象OBJを選択することにより、選択された表示対象OBJに移動経路PTが重なるように設定される。
図16は、本実施形態の表示制御部213による移動方向の判定動作の例を示す。この一例においては、表示制御部213は、第3画像IM3に移動経路PTが設定されている場合に、移動経路PTに基づいて第4画像IM4の移動方向を判定する点で、上述した実施形態の各判定例と異なる。
なお、以下のステップS410からステップS440までの動作は、図8を参照して説明したステップS60における動作に相当する。
すなわち、時刻t2において、表示制御部213は、操作方向OD42に基づいて、移動経路PTの方向(例えば、第2方向DR42b)に第4画像IM41bを移動させる。
時刻t3において、表示制御部213は、操作方向OD43に基づいて、移動経路PTの方向(例えば、第2方向DR42c)に第4画像IM41cを移動させる。
すなわち、第4画像IM4が第1方向DR1に移動することにより第4画像IM4内の基準点が移動経路PT上に位置する場合には、表示制御部213は、第2画像IM2の移動方向を移動経路PTの方向(例えば、第2方向DR2)にする。
図18は、本実施形態の移動経路PTと操作方向ODとの関係を示す。表示制御部213は、操作方向ODと移動経路PTの方向とが互いに異なる場合には、操作方向ODの操作の量に基づいて、第4画像IM4の移動方向を選択してもよい。
例えば、ユーザは、第4画像IM41dに対して操作方向OD44の方向(この一例では、y軸負方向)にスクロール操作を行う。この一例において、第4画像IM41dの表示位置POS14が移動経路PT上に位置している。この場合、第4画像IM41dは、移動経路PTの方向に沿って移動可能である。また、この一例において、操作方向OD44と、移動経路PTの方向とは互いに異なる。
表示制御部213は、第4画像IM41dが移動経路PT上に位置している場合において、操作方向OD44と移動経路PTの方向とが互いに異なる場合には、操作方向OD44の操作の量に基づいて第4画像IM41dの移動方向を選択する。例えば、表示制御部213は、第4画像IM41dが移動経路PT上に位置している場合において、操作方向OD44と移動経路PTの方向とが互いに異なる場合、操作方向OD44への操作量が比較的強い場合には、第4画像IM41dを操作方向OD44に応じた方向(第1方向DR41d)に移動させる。なお、上述したように、操作量には、操作の強度、操作の時間、操作の速さ、操作の軌跡の長さなどが含まれる。
第4画像IM41dが第1方向DR41dに移動した結果、第4画像IM41fの位置が、表示位置POS15になる。この表示位置POS15は、移動経路PT上には位置していない。つまり、表示制御部213は、第4画像IM41dが移動経路PT上に位置している場合において、移動経路PTの方向とは異なる方向(例えば、操作方向OD44)に、操作量を多くして(例えば、強く)スクロール操作をした場合には、第4画像IM41dを移動経路PTから離脱させる。
図19は、本実施形態の操作量と第4画像IM4の移動方向との関係を示す。上述したように、表示制御部213は、第4画像IM4の表示位置POSが移動経路PT上に位置している場合には、ユーザのスクロール操作による操作方向ODと移動経路PTの方向とが所定の範囲内で一致していれば、第4画像IM4を移動経路PTに沿って移動させる。
この一例において、表示制御部213は、第4画像IM4を移動経路PTに沿って移動させる場合において、操作方向ODと移動経路PTの方向とが一致していると判定する範囲を、ユーザによるスクロール操作の操作量に基づいて可変にする。
つまり、表示制御部213は、ユーザによるスクロール操作の操作量に基づいて、操作方向ODと移動経路PTの方向とが一致していると判定する範囲を変化させる。
一例として、図18に示すように、表示制御部213は、第4画像IM41gの表示位置POS16が移動経路PT上に位置している場合において、ユーザによる操作量が比較的弱い場合には、操作方向ODと移動経路PTの方向とが一致していると判定する範囲を基準弧Coの範囲とする。つまりこの場合、表示制御部213は、基準弧Coの範囲内に移動経路PTが含まれる場合に、操作方向ODと移動経路PTの方向とが一致していると判定する。
また、表示制御部213は、第4画像IM41gの表示位置POS16が移動経路PT上に位置している場合において、ユーザによる操作量が比較的強い場合には、操作方向ODと移動経路PTの方向とが一致していると判定する範囲を基準弧Coの範囲よりも広い弧Cstの範囲とする。つまりこの場合、表示制御部213は、弧Cstの範囲内に移動経路PTが含まれる場合に、操作方向ODと移動経路PTの方向とが一致していると判定する。
図17に示す表示位置POS13には、移動経路PT上に所定領域ROIが設定されている。本実施形態の表示制御部213は、移動経路PTに沿って第4画像IM4を移動させる。ユーザは、時刻t0〜時刻t2の各時刻tにおいて、操作方向ODをx軸正方向にして、スクロール操作を行っている。つまり、ユーザは、時刻t0〜時刻t2の各時刻tにおいて、操作方向ODを所定領域ROIの方向とは異なる方向にして、スクロール操作を行っている。このように、ユーザが、操作方向ODを所定領域ROIの方向とは異なる方向にして、スクロール操作を行った場合であっても、表示制御部213は、第4画像IM4が所定領域ROIに到達するように移動させる。
このように構成された表示装置D(例えば、端末20)によれば、ユーザのスクロール操作の方向が所定領域ROIの方向に必ずしも一致していない場合であっても、第4画像IM4を所定領域ROIの位置に移動させることができる。したがって、このように構成された表示装置D(例えば、端末20)によれば、所定領域ROIの方向に第4画像IM4を移動させる操作を簡略化することができる。また、このように構成された表示装置D(例えば、端末20)によれば、操作が簡略化されることにより操作に基づいて画像を表示するための演算量が低減されるため、結果的に端末20やサーバ10の負荷を軽減できるという効果が得られる。
具体的には、表示制御部213は、スクロール操作の操作方向ODと、移動経路PTの方向との間に所定角度以上のずれがある場合には、移動経路PTの方向ではなく、操作方向ODに第4画像IM4を移動させてもよい。
また、表示制御部213は、スクロール操作の操作量(操作の強度、操作の時間、操作の速さ、操作の軌跡の長さなど)が所定値を超える場合には、移動経路PTの方向ではなく、操作方向ODに第4画像IM4を移動させてもよい。
図20は、本実施形態の変形例における表示部24の表示形態の一例を示す。本変形例においては、表示部24には、メイン画像IMMとサブ画像IMSとが表示される。この一例では、上述した第4画像IM4がメイン画像IMMとして表示される。また、第3画像IM3がサブ画像IMSとして表示される。上述したように第3画像IM3が、ある地域の風景を示すマップ画像である場合には、このマップ画像全体が、サブ画像IMSとして表示される。一例として、第3画像IM3は、複数の表示対象OBJ(例えば、表示対象OBJ1〜表示対象OBJ3)が含まれており、それぞれの表示対象OBJが所定領域ROI(例えば、所定領域ROI1〜所定領域ROI3)として設定されている。
以下の説明においてサブ画像IMSを、第5画像IM5とも記載する。
すなわち、所定領域ROIに対する第2方向DR2は、所定領域ROIを示す第5画像IM5に示される所定領域ROIに対する操作であってもよく、他の操作であってもよい。
このように構成された本実施形態の表示装置D(例えば、端末20)によれば、簡略化された操作によって、所定領域ROIの方向に画像(例えば、第4画像IM4)を移動させることができる。また、上述したように構成された本実施形態の表示装置D(例えば、端末20)によれば、操作が簡略化されることにより操作に基づいて画像を表示するための演算量が低減されるため、結果的に表示装置Dの演算処理負荷を軽減できるという効果が得られる。
これまで、第3画像IM3が、ある地域の風景を示すマップ画像である場合を一例にして説明したが、第3画像IM3が示す内容はこれに限られない。本変形例においては、第3画像IM32が商品(例えば、料理)の発注画面である場合について説明する。
表示対象OBJ5a〜表示対象OBJ5dには、所定領域ROI5a〜所定領域ROI5dがそれぞれ設定されている。本変形例の第3画像IM32には、所定領域ROI5a〜所定領域ROI5dを順に接続した移動経路PTが設定されている。
この一例においては、第4画像IM42oに対してユーザがスクロール操作をすると、表示制御部213は、第4画像IM42oを移動経路PTに沿って移動させる。第4画像IM42oが移動経路PTに沿って移動する結果、ユーザが閲覧するべき画像が第4画像IM4として順次表示される。
本変形例の第3画像IM33には、所定領域ROI6c、所定領域ROI6f、所定領域ROI6e及び所定領域ROI6dを順に接続した移動経路PTが設定されている。第3画像IM33に設定されている所定領域ROIのうち、所定領域ROI6cは、閲覧されていないニュース記事のうち、古い時刻に投稿されたニュース記事である。また、所定領域ROI6fは、閲覧されていないニュース記事のうち、重要度が比較的高いニュース記事である。
本変形例においては、第4画像IM43oに対してユーザがスクロール操作をすると、表示制御部213は、第4画像IM43oを移動経路PTに沿って移動させる。第4画像IM43oが移動経路PTに沿って移動する結果、ニュース記事の投稿順、かつニュース記事の重要度順に、ユーザが閲覧するべき画像として順次表示される。
また、第3画像IM3がメッセージングサービスにおけるタイムライン画像であってもよい。この場合、例えば、タイムライン画像は複数の軸(例えば、縦軸と横軸)を有しており、縦軸が時間を、横軸が表示内容の重要度をそれぞれ表すものであってもよい。この場合、第3画像IM3の表示対象OBJがタイムラインの表示内容であってもよく、タイムラインの表示内容が所定領域ROIとして設定されていてもよいし、設定されていなくてもよい。また、この場合、タイムラインの複数の表示内容に対して移動経路PTが設定されていてもよいし、設定されていなくてもよい。
Claims (19)
- 表示装置の表示制御方法であって、
第1画像に含まれる第2画像を前記表示装置に表示することと、
前記表示装置に表示された前記第2画像に対するユーザの第1操作に基づいて、前記表示装置に表示された前記第2画像を、第1方向に移動させることと、
前記表示装置に表示された、第3画像に含まれる第4画像に対するユーザの前記第1操作に基づいて、前記表示装置に表示された前記第4画像を、前記第1方向とは異なる方向であって前記第3画像内の所定領域の位置に基づく第2方向に移動させることとを含む。 - 請求項1に記載の表示制御方法であって、
前記第3画像は、前記第3画像内の所定領域の位置が設定されている。 - 請求項2に記載の表示制御方法であって、
前記第1画像は、前記第3画像であり、
前記第2画像は、前記第4画像であり、
前記第1画像に前記所定領域の位置が設定されていない場合、前記第1操作に基づいて、前記表示装置に表示された前記第2画像を前記第1方向に移動させ、前記第1画像に前記所定領域の位置が設定されている場合、前記第1操作に基づいて、前記表示装置に表示された前記第2画像を前記第2方向に移動させることを含む。 - 請求項1から請求項3のいずれか一項に記載の表示制御方法であって、
前記第2方向への移動は、前記第4画像を拡大または、前記第4画像を縮小させて、前記第4画像を移動させることを含む。 - 請求項4に記載の表示制御方法であって、
前記第1操作の量に基づいて、前記表示装置に表示された前記第3画像のうち基準位置から前記第3画像内の前記所定領域の位置に不連続的に移動することを含む。 - 請求項1から請求項5のいずれか一項に記載の表示制御方法であって、
前記第1方向は、前記第1操作の方向に基づく方向である。 - 請求項1から請求項6のいずれか一項に記載の表示制御方法であって、
前記第2方向は、前記第1操作の方向と、前記所定領域の位置とに基づく方向である。 - 請求項7に記載の表示制御方法であって、
前記第3画像は、複数の前記所定領域を含み、
前記第2方向は、複数の前記所定領域のうち、前記表示装置に表示された前記第4画像のうちの基準位置から前記第1方向にある前記所定領域の位置に基づく方向である。 - 請求項1から請求項8のいずれか一項に記載の表示制御方法であって、
前記所定領域とは、前記第4画像の前記第2方向への移動の軌跡の経由点を含む領域である。 - 請求項1から請求項9のいずれか一項に記載の表示制御方法であって、
前記第1操作の方向と、前記第2方向との関係に基づいて、前記第4画像を前記第1方向に移動させるか、前記第2方向に移動させるかを選択することを含む。 - 請求項1から請求項10のいずれか一項に記載の表示制御方法であって、
前記第1操作の量に基づいて、前記第4画像を前記第1方向に移動させるか、前記第2方向に移動させるかを選択することを含む。 - 請求項1から請求項11のいずれか一項に記載の表示制御方法であって、
前記第1画像は、前記第3画像であり、
前記第2画像は、前記第4画像であり、
前記第2方向への移動は、前記第1画像内の所定領域の位置に基づいて定められた移動経路上を移動することであり、
前記第2画像が前記第1方向に移動することにより前記第2画像内の基準点が前記移動経路上に位置する場合には、前記第2画像の移動方向を前記第2方向にすることを含む。 - 請求項1から請求項12のいずれか一項に記載の表示制御方法であって、
前記第1操作は、前記第1方向に移動させるスクロール操作である。 - 請求項1から請求項13のいずれか一項に記載の表示制御方法であって、
前記所定領域に対する第2操作は、前記所定領域を示す第5画像に示される前記所定領域に対する操作である。 - 請求項1から請求項14のいずれか一項に記載の表示制御方法であって、
前記第2画像の移動方向が前記第1方向である場合に、前記第2画像に前記移動経路を表示することを含む。 - 請求項1から請求項15のいずれか一項に記載の表示制御方法であって、
前記所定領域に対する第2操作に基づいて、前記第2画像の移動方向を前記第2方向にすることを含む。 - 請求項1から請求項16のいずれ一項に記載の表示制御方法であって、
前記所定領域を示す第5画像と、前記第2画像または前記第4画像と、を前記表示装置に表示することを含む。 - 表示装置のコンピュータに実行させるプログラムであって、
第1画像に含まれる第2画像を前記表示装置に表示することと、
前記表示装置に表示された前記第2画像に対するユーザの第1操作に基づいて、前記表示装置に表示された前記第2画像を、第1方向に移動させることと、
前記表示装置に表示された、第3画像に含まれる第4画像に対するユーザの前記第1操作に基づいて、前記表示装置に表示された前記第4画像を、前記第1方向とは異なる方向であって前記第3画像内の所定領域の位置に基づく第2方向に移動させることとを含む。 - 表示装置であって、
第1画像に含まれる第2画像を表示する表示部と、
前記表示部に表示された前記第2画像に対するユーザの第1操作に基づいて、前記表示部に表示された前記第2画像を、第1方向に移動させる制御と、前記表示部に表示された、第3画像に含まれる第4画像に対するユーザの前記第1操作に基づいて、前記表示部に表示された前記第4画像を、前記第1方向とは異なる方向であって前記第3画像内の所定領域の位置に基づく第2方向に移動させる制御とを行う制御部と備える。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018242164A JP2020106576A (ja) | 2018-12-26 | 2018-12-26 | 表示制御方法、プログラム及び表示装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018242164A JP2020106576A (ja) | 2018-12-26 | 2018-12-26 | 表示制御方法、プログラム及び表示装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2020106576A true JP2020106576A (ja) | 2020-07-09 |
Family
ID=71448897
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018242164A Pending JP2020106576A (ja) | 2018-12-26 | 2018-12-26 | 表示制御方法、プログラム及び表示装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2020106576A (ja) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090024314A1 (en) * | 2007-07-19 | 2009-01-22 | Samsung Electronics Co., Ltd. | Map scrolling method and navigation terminal |
JP2010096737A (ja) * | 2008-09-18 | 2010-04-30 | Aisin Aw Co Ltd | 地図表示装置及びプログラム |
-
2018
- 2018-12-26 JP JP2018242164A patent/JP2020106576A/ja active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090024314A1 (en) * | 2007-07-19 | 2009-01-22 | Samsung Electronics Co., Ltd. | Map scrolling method and navigation terminal |
JP2010096737A (ja) * | 2008-09-18 | 2010-04-30 | Aisin Aw Co Ltd | 地図表示装置及びプログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2018205930A (ja) | プログラム、表示方法および情報処理端末 | |
CN112907760B (zh) | 三维对象的标注方法及装置、工具、电子设备和存储介质 | |
CN111970571B (zh) | 视频制作方法、装置、设备及存储介质 | |
US20220283697A1 (en) | Video editing and playing method, apparatus, device and medium | |
JP7007168B2 (ja) | プログラム、情報処理方法、及び情報処理装置 | |
KR20230114332A (ko) | 정보처리 방법, 정보처리 장치 및 정보처리 프로그램 | |
JP2020516983A (ja) | リアルタイム協働用のライブインク存在 | |
JP2019174984A (ja) | 表示制御装置、その制御方法、プログラム及び記憶媒体 | |
EP3048524B1 (en) | Document display support device, terminal, document display method, and computer-readable storage medium for computer program | |
WO2024051540A1 (zh) | 特效处理方法、装置、电子设备及存储介质 | |
CN117244249A (zh) | 多媒体数据生成方法、装置、可读介质及电子设备 | |
WO2023231926A1 (zh) | 图像处理方法、装置、设备及存储介质 | |
US10102395B2 (en) | System and method for creating and transitioning to multiple facets of a social media object in a social network | |
JP6224465B2 (ja) | 映像配信システム、映像配信方法及び映像配信プログラム | |
JP2020106576A (ja) | 表示制御方法、プログラム及び表示装置 | |
CN115576470A (zh) | 图像处理方法和装置、增强现实系统及介质 | |
JP2017027163A (ja) | 仮想カメラの制御方法及び制御プログラム | |
WO2018078984A1 (ja) | 表示プログラム、表示方法および情報処理端末 | |
WO2020136767A1 (ja) | 動画制御方法、プログラム及び表示装置 | |
WO2020136766A1 (ja) | 動画制御方法、プログラム及び表示装置 | |
US20230377252A1 (en) | Terminal apparatus, non-transitory computer readable medium, and image display method | |
JP7138625B2 (ja) | プログラム、表示方法および情報処理端末 | |
US20230405475A1 (en) | Shooting method, apparatus, device and medium based on virtual reality space | |
JP2019057209A (ja) | プログラム、情報処理方法、及び情報処理装置 | |
JP2019012372A (ja) | プログラム、表示方法および情報処理端末 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20210412 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211216 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20211216 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220914 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221025 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221226 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20230425 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20230724 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230725 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20230802 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20231020 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20231027 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20231108 |