JP2021157267A - 表示制御方法，情報処理装置及び表示制御プログラム - Google Patents

表示制御方法，情報処理装置及び表示制御プログラム Download PDF

Info

Publication number
JP2021157267A
JP2021157267A JP2020054320A JP2020054320A JP2021157267A JP 2021157267 A JP2021157267 A JP 2021157267A JP 2020054320 A JP2020054320 A JP 2020054320A JP 2020054320 A JP2020054320 A JP 2020054320A JP 2021157267 A JP2021157267 A JP 2021157267A
Authority
JP
Japan
Prior art keywords
work
input
display
work process
branch
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020054320A
Other languages
English (en)
Inventor
翔大 川竹
Shota Kawatake
翔大 川竹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2020054320A priority Critical patent/JP2021157267A/ja
Priority to US17/204,029 priority patent/US20210303113A1/en
Publication of JP2021157267A publication Critical patent/JP2021157267A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0633—Workflow analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Economics (AREA)
  • Development Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Educational Administration (AREA)
  • Health & Medical Sciences (AREA)
  • Game Theory and Decision Science (AREA)
  • Multimedia (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】遠隔支援システムにおいて、効率的な入力インタフェースを提供する。【解決手段】作業フローに含まれる複数の作業工程のうち作業結果に応じた複数の分岐先が定義された分岐元の作業工程について作業結果の入力を受け付けると、作業フローに基づき、分岐元の作業工程に先行する作業工程と、入力された作業結果に応じた分岐先の作業工程とを特定し、作業画像を作業工程に対応付けて記憶する記憶装置を参照して、分岐元の作業工程に先行する作業工程に対応付けられた作業画像と、分岐先の作業工程に対応付けられた作業画像とを含む画像一覧を生成し、特定の指示を受け付けると、生成した前記画像一覧を表示装置に表示させる。【選択図】図１０

Description

本発明は、表示制御方法，情報処理装置及び表示制御プログラムに関する。
人材不足や設備数増加等の要因により、現場業務の品質が低下するおそれがある。そこで、Internet of Things（ＩｏＴ）技術を利用して、現場業務の品質維持を行なうことがある。
図１は、遠隔支援システムを例示する図である。
現場６における作業者は、クラウド８を介して事務所７から送信される作業ガイドによるナビゲーションを利用して、作業を実施する。作業内容は、作業者が装着するHead Mounted Display（ＨＭＤ）６１のディスプレイに表示されたり、ＨＭＤ６１のスピーカから音声出力されたりしてよい。事務所７においては、支援者が作業者に対して、遠隔支援による作業指示を実施する。
図２は、図１に示した遠隔支援システムにおけるミッションカードの表示処理を説明する図である。
図２においては、ミッションカード（別言すれば、作業手順）として、ミッションカード＃１〜＃３が示されている。符号Ａ１に示すように、ミッションカード＃１〜＃３の中からミッションカード＃２が選択され、ミッションカード＃２に関する画面情報がクラウド８を介して現場６に送信される。現場６においては、符号Ａ２に示すように、作業者のＨＭＤ６１に作業内容を示す画面が表示される。
特開２０１５−０４９６９５号公報 特開２００９−０３７３９２号公報 特開２００５−１４８８６９号公報 特開２０１１−１９７９２４号公報
現場６において業務に利用できるインタフェースは、制限される場合がある。例えば、両手や高所での作業、梯子の昇降においては、タブレット端末の利用は適さず、例えばＨＭＤ６１が利用される。ただし、ＨＭＤ６１は、タッチパッドとしての利用ができなかったり、画面が小さかったりする場合がある。また、分厚い手袋での作業においては、キーボードやリモコンの利用は適さず、例えば音声コマンドを入力するマイクが利用される。ただし、マイクは、入力に時間がかかったり、同時に複数の入力ができなかったりする場合がある。更に、安全な視覚の確保が求められる作業においては、シースルー型のＨＭＤ６１の利用は適さず、例えば片目型のＨＭＤ６１が利用される。ただし、片目型のＨＭＤ６１は、画面が小さい場合がある。
図３は、図１に示した遠隔支援システムにおける音声コマンドによる画面切り替えの操作処理を説明する図である。
符号Ｂ１に示すように、ミッションカード＃１の表示中に、例えば「次へ」という音声コマンドを入力すると、画面の表示はミッションカード＃２に切り替えられる。また、符号Ｂ２に示すように、ミッションカード＃２の表示中に、例えば「次へ」という音声コマンドを入力すると、画面の表示はミッションカード＃３に切り替えられる。更に、符号Ｂ３に示すように、ミッションカード＃３の表示中に、例えば「前へ」という音声コマンドを入力すると、画面の表示はミッションカード＃２に切り替えられる。また、符号Ｂ４に示すように、ミッションカード＃２の表示中に、例えば「前へ」という音声コマンドを入力すると、画面の表示はミッションカード＃１に切り替えられる。
このような音声コマンドによる入力では、非連続な操作しかできず、操作手番数が多くなり、作業効率が低下するおそれがある。
１つの側面では、遠隔支援システムにおいて、効率的な入力インタフェースを提供することを目的とする。
１つの側面では、表示制御方法は、作業フローに含まれる複数の作業工程のうち作業結果に応じた複数の分岐先が定義された分岐元の作業工程について作業結果の入力を受け付けると、前記作業フローに基づき、前記分岐元の作業工程に先行する作業工程と、入力された前記作業結果に応じた分岐先の作業工程とを特定し、作業画像を作業工程に対応付けて記憶する記憶装置を参照して、前記分岐元の作業工程に先行する作業工程に対応付けられた作業画像と、前記分岐先の作業工程に対応付けられた作業画像とを含む画像一覧を生成し、特定の指示を受け付けると、生成した前記画像一覧を表示装置に表示させる。
１つの側面では、遠隔支援システムにおいて、効率的な入力インタフェースを提供する。
遠隔支援システムを例示する図である。 図１に示した遠隔支援システムにおけるミッションカードの表示処理を説明する図である。 図１に示した遠隔支援システムにおける音声コマンドによる画面切り替えの操作処理を説明する図である。 実施形態における情報処理装置のハードウェア構成例を模式的に示すブロック図である。 図４に示した情報処理装置のソフトウェア構成例を模式的に示すブロック図である。 図４に示した情報処理装置におけるミッションカードの表示切り替えの操作処理を説明する図である。 図６に示したミッションカードの表示切り替えの操作処理の詳細を説明する図である。 図４に示した情報処理装置における表示モードの切り替えの操作処理を説明する図である。 作業手順を例示するフローチャートである。 図４に示した情報処理装置における図９に示した作業手順の表示例を説明する図である。 図４に示した情報処理装置における作業漏れアラートの表示例を示す図である。 作業手順の具体例を示すフローチャートである。 図１２に示した作業手順において必須作業を示すフローチャートである。 図８に示した表示モードの切り替えの操作処理の詳細例を示す図である。 図４に示した情報処理装置におけるミッションカードの一覧画面の遷移例を示す図である。 図１１に示した作業漏れアラートの具体例を示す図である。 図４に示した情報処理装置における遠隔支援処理を説明するフローチャートである。 図１７に示した表示作業一覧の演算処理を説明するフローチャートである。
以下、図面を参照して一実施の形態を説明する。ただし、以下に示す実施形態はあくまでも例示に過ぎず、実施形態で明示しない種々の変形例や技術の適用を排除する意図はない。すなわち、本実施形態を、その趣旨を逸脱しない範囲で種々変形して実施することができる。
また、各図は、図中に示す構成要素のみを備えるという趣旨ではなく、他の機能等を含むことができる。
以下、図中において、同一の各符号は同様の部分を示しているので、その説明は省略する。
〔Ａ〕実施形態の一例
〔Ａ−１〕システム構成例
図４は、実施形態の一例における情報処理装置１のハードウェア構成例を模式的に示すブロック図である。
情報処理装置１は、作業者の遠隔支援を行なうための事務所等に設けられてよい。図４に示すように、情報処理装置１は、ＣＰＵ１１，メモリ部１２，表示制御部１３，記憶装置１４，入力Interface（ＩＦ）１５，外部記録媒体処理部１６及び通信ＩＦ１７を備える。
メモリ部１２は、記憶部の一例であり、例示的に、Read Only Memory（ＲＯＭ）及びRandom Access Memory（ＲＡＭ）などである。メモリ部１２のＲＯＭには、Basic Input/Output System（ＢＩＯＳ）等のプログラムが書き込まれてよい。メモリ部１２のソフトウェアプログラムは、ＣＰＵ１１に適宜に読み込まれて実行されてよい。また、メモリ部１２のＲＡＭは、一時記録メモリあるいはワーキングメモリとして利用されてよい。
表示制御部１３は、表示装置１３０と接続され、表示装置１３０を制御する。表示装置１３０は、液晶ディスプレイやOrganic Light-Emitting Diode（ＯＬＥＤ）ディスプレイ，Cathode Ray Tube（ＣＲＴ），電子ペーパーディスプレイ等であり、オペレータ等に対する各種情報を表示する。表示装置１３０は、入力装置と組み合わされたものでもよく、例えば、タッチパネルでもよい。
記憶装置１４は、高ＩＯ性能の記憶装置であり、例えば、Hard Disk Drive（ＨＤＤ）やSolid State Drive（ＳＳＤ），Storage Class Memory（ＳＣＭ）が用いられてよい。記憶装置１４は、ストリームデータの中の少なくとも一部のエントリを記憶する。記憶装置１４は、図１７を用いて後述する表示作業一覧情報１４１を記憶する。
入力ＩＦ１５は、マウス１５１やキーボード１５２等の入力装置と接続され、マウス１５１やキーボード１５２等の入力装置を制御してよい。マウス１５１やキーボード１５２は、入力装置の一例であり、これらの入力装置を介して、オペレータが各種の入力操作を行なう。
外部記録媒体処理部１６は、記録媒体１６０が装着可能に構成される。外部記録媒体処理部１６は、記録媒体１６０が装着された状態において、記録媒体１６０に記録されている情報を読み取り可能に構成される。本例では、記録媒体１６０は、可搬性を有する。例えば、記録媒体１６０は、フレキシブルディスク、光ディスク、磁気ディスク、光磁気ディスク、又は、半導体メモリ等である。
通信ＩＦ１７は、外部装置との通信を可能にするためのインタフェースである。通信ＩＦ１７は、情報処理装置１において生成された画像をＨＭＤ２１（図６等を用いて後述）に送信する。また、通信ＩＦ１７は、ＨＭＤ２１からの入力を受信する。
ＣＰＵ１１は、種々の制御や演算を行なう処理装置であり、メモリ部１２に格納されたOperating System（ＯＳ）やプログラムを実行することにより、種々の機能を実現する。
情報処理装置１全体の動作を制御するための装置は、ＣＰＵ１１に限定されず、例えば、ＭＰＵやＤＳＰ，ＡＳＩＣ，ＰＬＤ，ＦＰＧＡのいずれか１つであってもよい。また、情報処理装置１全体の動作を制御するための装置は、ＣＰＵ，ＭＰＵ，ＤＳＰ，ＡＳＩＣ，ＰＬＤ及びＦＰＧＡのうちの２種類以上の組み合わせであってもよい。なお、ＭＰＵはMicro Processing Unitの略称であり、ＤＳＰはDigital Signal Processorの略称であり、ＡＳＩＣはApplication Specific Integrated Circuitの略称である。また、ＰＬＤはProgrammable Logic Deviceの略称であり、ＦＰＧＡはField Programmable Gate Arrayの略称である。
図５は、図４に示した情報処理装置１のソフトウェア構成例を模式的に示すブロック図である。
情報処理装置１のＣＰＵ１１は、音声処理部１１１，動作処理部１１２及び画面制御部１１３として機能する。
音声処理部１１１は、ＨＭＤ２１に搭載されたマイクに対して作業者が入力した音声を処理する。動作処理部１１２の詳細は、図８等を用いて後述する。
動作処理部１１２は、ＨＭＤ２１に搭載されたジャイロセンサに対して作業者が入力した動作に関する情報を処理する。動作処理部１１２の詳細は、図６及び図７等を用いて後述する。
画面制御部１１３は、音声処理部１１１及び動作処理部１１２からの入力に基づき、ＨＭＤ２１のディスプレイに表示される画面を制御する。画面制御部１１３の詳細は、図６〜図１１等を用いて後述する。
図６は、図４に示した情報処理装置１におけるミッションカードの表示切り替えの操作処理を説明する図である。
作業者がＨＭＤ２１で見るミッションカードは、複数枚（図示する例では、ミッションカード＃１〜＃３の３枚）が横方向に結合されている。作業者は、頭を右又は左に振る操作（符号Ｃ１及びＣ２参照）を行なうことによって、目的のミッションカードを見つける。これにより、符号Ｃ３に示すように、作業者の注目個所がＨＭＤ２１のディスプレイに表示される。作業者の頭を振る操作は、ＨＭＤ２１に搭載されたジャイロセンサによって検知され、情報処理装置１の動作処理部１１２によって処理される。
別言すれば、画面制御部１１３は、ＨＭＤ２１のディスプレイに画像一覧が表示されている状態において、ＨＭＤ２１の使用者の動作に応じて、画像一覧のうちＨＭＤ２１のディスプレイに表示させる領域を移動させる。
図７は、図６に示したミッションカードの表示切り替えの操作処理の詳細を説明する図である。
符号Ｄ１に示す例では、基準方向（例えば、作業者の胴体正面方向）と顔が向いている方向との角度の差で注目箇所（破線枠参照）を動かす速度が決定される。マウスホイールによるウェブブラウザの画面操作のように、当該角度の差がある状態が継続されると、注目箇所も動かされ続けられてよい。例えば、作業者が右を向いている間、注目箇所が右に動かされ続け、者業者が正面を向くと注目箇所の動きが止まる。
符号Ｄ２に示す例では、基準方向と顔が向いている方向との角度の差で１つの注目箇所（破線枠参照）が決定される。例えば、開始位置である作業＃３のミッションカードが表示されている状態において、少し右に向くと作業＃４のミッションカードが表示され、更に右に向くと作業＃５のミッションカードが表示される。また、顔の向きを正面に戻すと、作業＃３のミッションカードが再び表示される。
符号Ｄ３に示す例では、スマートフォンやタブレットでのスワイプ操作のように、頭を振る勢いに応じて注目箇所（破線枠参照）の動きの加速度が決定され、やがて注目箇所の動きが止まる。例えば、開始位置である作業＃１のミッションカードが表示されている状態において、頭を強く右に振ると注目箇所が右へ動いて作業＃５のミッションカードで止まり、頭を弱く右に振ると注目箇所が右へ動いて作業＃２のミッションカードで止まる。
図８は、図４に示した情報処理装置１における表示モードの切り替えの操作処理を説明する図である。
図８に示すように、ミッションカードの表示は、符号Ｅ１に示す一覧表示状態と符号Ｅ２に示す画面固定状態とに分けられてよい。作業者は、一覧表示状態においてジャイロセンサを用いて注目作業が表示されたミッションカードを探し、探したミッションカードの表示を固定したい場合に音声コマンドによって画面固定状態に遷移させる。例えば、符号Ｅ３に示すように、「カード＃３」という音声コマンドが入力されると、ミッションカード＃３が固定されて表示される。これにより、作業者の顔の動きによって注目箇所が動くことがないため、作業結果の入力が容易になる。また、例えば、符号Ｅ４に示すように、画面固定状態において、「一覧」という音声コマンドが入力されると、ミッションカードは一覧表示状態に戻る。作業者による音声コマンドの入力は、ＨＭＤ２１に搭載されたマイクによって検知され、情報処理装置１の音声処理部１１１によって処理される。
別言すれば、画面制御部１１３は、ＨＭＤ２１のディスプレイに画像一覧が表示されている状態において、画像一覧に含まれる一の作業画像を特定する音声コマンドの入力に応じて、ＨＭＤ２１のディスプレイに一の作業画像を表示させる。また、画面制御部１１３は、ＨＭＤ２１のディスプレイに画像一覧に含まれるいずれかの作業画像が表示されている状態において、画像一覧を示す音声コマンドの入力に応じて、ＨＭＤ２１のディスプレイに画像一覧を表示させる。
図９は、作業手順を例示するフローチャートである。図１０は、図４に示した情報処理装置１における図９に示した作業手順の表示例を説明する図である。
図９に示す作業手順では、確認Ａの作業が実施され、確認Ｂの作業が実施され、確認Ｃの作業において入力結果が「はい」か「いいえ」かによって処理が分岐する。確認Ｃの作業の入力結果が「いいえ」の場合には、異常系処理Ｆが実施される。一方、確認Ｃの作業の入力結果が「はい」の場合には、入力Ｄの作業が実施され、選択肢Ｅの作業において入力結果が「１」か「２」か「３」かによって処理が分岐する。選択肢Ｅの作業の入力結果が「１」の場合には、作業が完了する。一方、選択肢Ｅの作業の入力結果が「２」の場合には異常系処理Ｇが実施され、選択肢Ｅの作業の入力結果が「３」の場合には異常系処理Ｈが実施される。
図９に示す作業手順は、図１０に示すように、作業分岐点までのミッションカードが横に結合され、作業分岐点の入力によって更に先のカードが結合されて表示される。符号Ｆ１に示すように、始めは、最初の分岐点である確認Ｃまでのミッションカードが結合して表示される。確認Ｃで「はい」が選択された後に、符号Ｆ２に示すように、確認Ｃでの入力内容に合わせて右側に次の分岐点までのミッションカードである入力Ｄ及び選択肢Ｅが結合される。ここで、操作者が確認Ｃのミッションカードに戻って「いいえ」を選択した後には、符号Ｆ３に示すように、確認Ｃのミッションカードの右側に結合されるミッションカードが異常系処理Ｆに更新される。
別言すれば、画面制御部１１３は、作業フローに含まれる複数の作業工程のうち作業結果に応じた複数の分岐先が定義された分岐元の作業工程について作業結果の入力を受け付けると、作業フローに基づき、分岐元の作業工程に先行する作業工程と、入力された前記作業結果に応じた分岐先の作業工程とを特定する特定部の一例として機能する。また、画面制御部１１３は、作業画像を作業工程に対応付けて記憶する記憶装置１４を参照して、分岐元の作業工程に先行する作業工程に対応付けられた作業画像と、分岐先の作業工程に対応付けられた作業画像とを含む画像一覧を生成する生成部の一例として機能する。更に、画面制御部１１３は、特定の指示を受け付けると、生成した画像一覧をＨＭＤ２１のディスプレイに表示させる表示処理部の一例として機能する。ここで、特定の指示は、作業結果の入力であってよい。
図１１は、図４に示した情報処理装置１における作業漏れアラートの表示例を示す図である。
入力必須のミッションカードは配色等によって強調表示されてよい。また、入力必須のミッションカードについて、入力済みと未入力とで配色等の強調方法が分けられてよい。また、入力必須であるが未入力のミッションカードがある場合には、作業完了ができない旨が表示されてよい。
図１１に示す例では、符号Ｇ１に示すように、確認Ｃが入力必須で入力済みのミッションカードとして太枠で強調表示されている。また、符号Ｇ２に示すように、選択肢Ｅが入力必須であるが未入力のミッションカードとして点線枠で強調表示されている。更に、符号Ｇ３に示すように、作業完了画面では、選択肢Ｅのミッションカードで未入力であるため、作業が完了できない旨が表示されている。
入力必須とされるミッションカードとしては、分岐点となるミッションカードと、値入力やカメラ撮影等の結果入力を伴うミッションカードが設定されてよい。
別言すれば、画面制御部１１３は、複数の作業工程のうち分岐点となる作業工程及び作業結果の入力が実施される作業工程について、入力必須の作業工程に設定する。また、画面制御部１１３は、入力必須の作業工程のうち、入力済みの作業工程と未入力の作業工程とを識別可能に強調表示させる。
図１２は、作業手順の具体例を示すフローチャートである。図１３は、図１２に示した作業手順において必須作業を示すフローチャートである。
図１２に示す作業は、「つまみを動かしながら計器の値を確認する」ものである。具体的には、作業＃１において操作盤のカバーを鍵を用いて開け、作業＃２においてつまみの方向がＡになっていることを確認し、作業＃３において計器の値を入力し、作業＃４において計器の値は正常であったかを入力する。作業＃４において計器の値が異常であった場合は作業＃５’において支援者に電話をかける一方、作業＃４において計器の値が正常であった場合は作業＃５においてつまみの方向をＡからＢに変更する。作業＃６において計器の値を入力し、作業＃７において計器の値は正常であったかを入力する。作業＃７において計器の値が異常であった場合は作業＃８’において支援者に電話をかける一方、作業＃７において計器の値が正常であった場合は作業＃８においてつまみの方向をＢからＡに戻す。そして、作業＃９において操作盤のカバーを閉じて鍵をしめ、作業が完了する。
図１３に示すように、図１２に示した操作手順では、作業＃３，＃４，＃６，＃７が結果入力を伴うミッションカード又は分岐点となるミッションカードとして、自動的に入力必須に設定される。
図１４は、図８に示した表示モードの切り替えの操作処理の詳細例を示す図である。
図示する例では、符号Ｉ１に示す一覧画面と、符号Ｉ２に示す画面詳細とが切り替えられる。符号Ｉ１に示す一覧画面では、最初の選択肢までのミッションカードが結合して表示されている。また、入力必須のミッションカードは、強調表示されてよい。一覧画面と画面詳細との切り替えは、音声コマンドによって実施される。
例えば、一覧画面において、符号Ｉ３に示すように音声コマンドとして「１」が入力されればミッションカード＃１の画面詳細が表示され、符号Ｉ４に示すように音声コマンドとして「２」が入力されればミッションカード＃２の画面詳細が表示される。また、一覧画面において、符号Ｉ５に示すように音声コマンドとして「３」が入力されればミッションカード＃３の画面詳細が表示され、符号Ｉ６に示すように音声コマンドとして「４」が入力されればミッションカード＃４の画面詳細が表示される。更に、画面詳細において、符号Ｉ７に示すように、音声コマンドとして「一覧」が入力されれば、ミッションカードの一覧画面が表示される。
図１５は、図４に示した情報処理装置１におけるミッションカードの一覧画面の遷移例を示す図である。
符号Ｊ１において、一覧画面には、ミッションカード＃１〜＃４が表示されており、ミッションカード＃３，＃４が入力必須として設定されている（太線枠参照）。ここで、ミッションカード＃３，＃４の作業結果として正常値が入力されると、符号Ｊ２に示すように、一覧画面には、ミッションカード＃１〜＃４に加えて、ミッションカード＃５〜＃６が表示される。なお、ミッションカード＃３，＃４は入力済みの必須作業として点線枠で表示され、ミッションカード＃６，＃７は未入力の必須作業として太線枠で表示されている。符号Ｊ１に示した一覧画面の状態において、ミッションカード＃３，＃４の入力結果として異常値が入力されると、符号Ｊ３に示すように、ミッションカード＃１〜＃４に加えて、「支援者の呼出を行う」ことを指示するミッションカード＃５が表示される。なお、ミッションカード＃３，＃４は入力済みの必須作業として点線枠で表示されている。
このように、一覧画面は、入力結果によって動的に次の選択肢のミッションカードまで結合されるように表示が遷移される。
図１６は、図１１に示した作業漏れアラートの具体例を示す図である。
符号Ｋ１に示す一覧画面には、ミッションカード＃１〜＃９及び作業完了画面が表示されている。ミッションカード＃３，＃４，＃６は入力済みであるとして点線枠で強調表示されているが、ミッションカード＃７は未入力であるとして太線枠で強調表示されている。このように、未入力のミッションカードがあると、符号Ｋ１１に示すように、作業完了画面において作業が完了できない旨が表示される。
符号Ｋ１に示した一覧画面の状態で、ミッションカード＃７の作業の結果が入力されると、符号Ｋ２に示すように、ミッションカード＃７が入力済みであるとして点線枠で強調表示される。また、符号Ｋ２１に示すように、作業完了画面においては、作業を完了するか否かを作業者に確認する画面が表示される。
〔Ａ−２〕動作例
図４に示した情報処理装置１における遠隔支援処理を、図１７に示すフローチャート（ステップＳ１１〜Ｓ１８）に従って説明する。
画面制御部１１３は、作業が開始されると、作業詳細をＨＭＤ２１のディスプレイに表示させる（ステップＳ１１）。
音声処理部１１１及び動作処理部１１２は、ユーザ（別言すれば、作業者）の入力を受け付ける（ステップＳ１２）。
画面制御部１１３は、入力内容が、作業結果の入力であるか、一覧表示であるかを判定する（ステップＳ１３）。
入力内容が作業結果の入力である場合には（ステップＳ１３の“作業結果入力”ルート参照）、画面制御部１１３は、表示作業一覧演算を行ない、表示作業一覧情報１４１を記憶装置１４に記憶させる（ステップＳ１４）。なお、表示作業一覧演算の詳細は、図１８を用いて後述する。
画面制御部１１３は、現在処理しているミッションカードが最後の作業であるかを判定する（ステップＳ１５）。
最後の作業でない場合には（ステップＳ１５のＮＯルート参照）、処理はステップＳ１１へ戻る。
一方、最後の作業である場合には（ステップＳ１５のＹＥＳルート参照）、画面制御部１１３は、必須作業がすべて入力済みであるかを判定する（ステップＳ１６）。
必須作業の少なくとも一部が入力済みでない場合には（ステップＳ１６のＮＯルート参照）、処理はステップＳ１１へ戻る。
一方、必須作業がすべて入力済みである場合には（ステップＳ１６のＹＥＳルート参照）、作業を完了させて、遠隔支援処理は終了する。
ステップＳ１３において、入力内容が一覧表示である場合には（ステップＳ１３の“一覧表示”ルート参照）、画面制御部１１３は、表示作業一覧情報１４１に基づき、作業一覧を表示する（ステップＳ１７）。
音声処理部１１１及び動作処理部１１２は、ユーザの入力を受け付け（ステップＳ１８）、処理はステップＳ１１へ戻る。
次に、図１７に示した表示作業一覧の演算処理を、図１８に示すフローチャート（ステップＳ１４１〜Ｓ１４８）に従って説明する。
画面制御部１１３は、最初の作業分岐点までのミッションカードを一覧表示する作業のミッションカードに結合する（ステップＳ１４１）。
音声処理部１１１及び動作処理部１１２は、ユーザの入力を受け付ける（ステップＳ１４２）。
画面制御部１１３は、結果が入力された作業は分岐点であるかを判定する（ステップＳ１４３）。
結果が入力された作業が分岐点でない場合には（ステップＳ１４３のＮＯルート参照）、処理はステップＳ１４２へ戻る。
一方、結果が入力された作業が分岐点である場合には（ステップＳ１４３のＹＥＳルート参照）、画面制御部１１３は、結果が入力された作業が一覧表示に含まれる最後の作業であるかを判定する（ステップＳ１４４）。
結果が入力された作業が一覧表示に含まれる最後の作業でない場合には（ステップＳ１４４のＮＯルート参照）、画面制御部１１３は、入力された作業から後ろの作業のミッションカードを一覧表示から削除する（ステップＳ１４５）。そして、処理はステップＳ１４６へ進む。
一方、結果が入力された作業が一覧表示に含まれる最後の作業である場合には（ステップＳ１４４のＹＥＳルート参照）、入力結果に沿った作業の分岐先に次の分岐点があるかを判定する（ステップＳ１４６）。
入力結果に沿った作業の分岐先に次の分岐点がない場合には（ステップＳ１４６のＮＯルート参照）、最後の作業のミッションカードまでを一覧表示する作業のミッションカードに結合する（ステップＳ１４７）。そして、処理はステップＳ１４２へ戻る。
入力結果に沿った作業の分岐先に次の分岐点がある場合には（ステップＳ１４６のＹＥＳルート参照）、結果が入力された作業の次の作業分岐点までのミッションカードを一覧表示に追加する（ステップＳ１４８）。そして、処理はステップＳ１４２へ戻る。
〔Ａ−３〕効果
上述した実施形態の一例における表示制御方法，情報処理装置１及び表示制御プログラムによれば、例えば、以下の作用効果を奏することができる。
画面制御部１１３は、作業フローに含まれる複数の作業工程のうち作業結果に応じた複数の分岐先が定義された分岐元の作業工程について作業結果の入力を受け付けると、作業フローに基づき、分岐元の作業工程に先行する作業工程と、入力された前記作業結果に応じた分岐先の作業工程とを特定する。また、画面制御部１１３は、作業画像を作業工程に対応付けて記憶する記憶装置１４を参照して、分岐元の作業工程に先行する作業工程に対応付けられた作業画像と、分岐先の作業工程に対応付けられた作業画像とを含む画像一覧を生成する。更に、画面制御部１１３は、特定の指示を受け付けると、生成した画像一覧をＨＭＤ２１のディスプレイに表示させる。
これにより、遠隔支援システムにおいて、効率的な入力インタフェースを提供できる。具体的には、分岐結果に応じた作業画像を抽出して画像一覧に含める一方、実際には実施されないような作業工程の作業画像は画像一覧に含まれないため、画像一覧の視認性が向上する。また、実際には使用されないようなルートに対応した画面一覧を記憶するための記憶容量をＨＭＤ２１にて消費されることがなく、ＨＭＤ２１の記憶容量を抑制することができる。
特定の指示は、作業結果の入力である。これにより、作業者は表示された作業画像に基づき作業を開始することになるが、その作業時間内に作業画像の連結処理が行なわれるため、連結処理の完了のための待ち時間が発生しない。別言すれば、画像一覧の表示指示を行なうタイミングまでに、画像一覧の生成を完了させることができる。
画面制御部１１３は、複数の作業工程のうち分岐点となる作業工程及び作業結果の入力が実施される作業工程について、入力必須の作業工程に設定する。これにより、作業者は、入力必須の作業工程を視認できる。
画面制御部１１３は、入力必須の作業工程のうち、入力済みの作業工程と未入力の作業工程とを識別可能に強調表示させる。これにより、作業者は、入力済みの作業工程と未入力の作業工程とを視認できる。
画面制御部１１３は、ＨＭＤ２１のディスプレイに画像一覧が表示されている状態において、画像一覧に含まれる一の作業画像を特定する音声コマンドの入力に応じて、ＨＭＤ２１のディスプレイに一の作業画像を表示させる。また、画面制御部１１３は、ＨＭＤ２１のディスプレイに画像一覧に含まれるいずれかの作業画像が表示されている状態において、画像一覧を示す音声コマンドの入力に応じて、ＨＭＤ２１のディスプレイに画像一覧を表示させる。これにより、作業者は、両手が塞がっている場合においても、ＨＭＤ２１のディスプレイにおいて、画像一覧の画面と各作業画面とを容易に切り替えることができる。
画面制御部１１３は、ＨＭＤ２１のディスプレイに画像一覧が表示されている状態において、ＨＭＤ２１の使用者の動作に応じて、画像一覧のうちＨＭＤ２１のディスプレイに表示させる領域を移動させる。これにより、両手が塞がっている場合においても、ＨＭＤ２１のディスプレイにおいて、画像一覧の表示領域を容易に移動させることができる。
〔Ｂ〕その他
開示の技術は上述した実施形態に限定されるものではなく、本実施形態の趣旨を逸脱しない範囲で種々変形して実施することができる。本実施形態の各構成及び各処理は、必要に応じて取捨選択することができ、あるいは適宜組み合わせてもよい。
〔Ｃ〕付記
以上の実施形態に関し、更に以下の付記を開示する。
（付記１）
作業フローに含まれる複数の作業工程のうち作業結果に応じた複数の分岐先が定義された分岐元の作業工程について作業結果の入力を受け付けると、前記作業フローに基づき、前記分岐元の作業工程に先行する作業工程と、入力された前記作業結果に応じた分岐先の作業工程とを特定し、
作業画像を作業工程に対応付けて記憶する記憶装置を参照して、前記分岐元の作業工程に先行する作業工程に対応付けられた作業画像と、前記分岐先の作業工程に対応付けられた作業画像とを含む画像一覧を生成し、
特定の指示を受け付けると、生成した前記画像一覧を表示装置に表示させる、
処理をコンピュータが実行することを特徴とする表示制御方法。
（付記２）
前記特定の指示は、前記作業結果の入力である、
ことを特徴とする付記１に記載の表示制御方法。
（付記３）
前記複数の作業工程のうち分岐点となる作業工程及び前記作業結果の入力が実施される作業工程について、入力必須の作業工程に設定する、
処理を前記コンピュータが実行することを特徴とする付記１又は２に記載の表示制御方法。
（付記４）
前記入力必須の作業工程のうち、入力済みの作業工程と未入力の作業工程とを識別可能に強調表示させる、
処理を前記コンピュータが実行することを特徴とする付記３に記載の表示制御方法。
（付記５）
前記表示装置に前記画像一覧が表示されている状態において、前記画像一覧に含まれる一の作業画像を特定する音声コマンドの入力に応じて、前記表示装置に前記一の作業画像を表示させ、
前記表示装置に前記画像一覧に含まれるいずれかの作業画像が表示されている状態において、前記画像一覧を示す音声コマンドの入力に応じて、前記表示装置に前記画像一覧を表示させる、
処理を前記コンピュータが実行することを特徴とする付記１〜４のいずれか１項に記載の表示制御方法。
（付記６）
前記表示装置に前記画像一覧が表示されている状態において、前記表示装置の使用者の動作に応じて、前記画像一覧のうち前記表示装置に表示させる領域を移動させる、
処理を前記コンピュータが実行することを特徴とする付記１〜５のいずれか１項に記載の表示制御方法。
（付記７）
作業フローに含まれる複数の作業工程のうち作業結果に応じた複数の分岐先が定義された分岐元の作業工程について作業結果の入力を受け付けると、前記作業フローに基づき、前記分岐元の作業工程に先行する作業工程と、入力された前記作業結果に応じた分岐先の作業工程とを特定する特定部と、
作業画像を作業工程に対応付けて記憶する記憶装置を参照して、前記分岐元の作業工程に先行する作業工程に対応付けられた作業画像と、前記分岐先の作業工程に対応付けられた作業画像とを含む画像一覧を生成する生成部と、
特定の指示を受け付けると、生成した前記画像一覧を表示装置に表示させる表示処理部と、
を備えることを特徴とする情報処理装置。
（付記８）
前記特定の指示は、前記作業結果の入力である、
ことを特徴とする付記７に記載の情報処理装置。
（付記９）
前記表示処理部は、前記複数の作業工程のうち分岐点となる作業工程及び前記作業結果の入力が実施される作業工程について、入力必須の作業工程に設定する、
ことを特徴とする付記７又は８に記載の情報処理装置。
（付記１０）
前記表示処理部は、前記入力必須の作業工程のうち、入力済みの作業工程と未入力の作業工程とを識別可能に強調表示させる、
処理を前記コンピュータが実行することを特徴とする付記９に記載の情報処理装置。
（付記１１）
前記表示処理部は、前記表示装置に前記画像一覧が表示されている状態において、前記画像一覧に含まれる一の作業画像を特定する音声コマンドの入力に応じて、前記表示装置に前記一の作業画像を表示させ、
前記表示処理部は、前記表示装置に前記画像一覧に含まれるいずれかの作業画像が表示されている状態において、前記画像一覧を示す音声コマンドの入力に応じて、前記表示装置に前記画像一覧を表示させる、
ことを特徴とする付記７〜１０のいずれか１項に記載の情報処理装置。
（付記１２）
前記表示処理部は、前記表示装置に前記画像一覧が表示されている状態において、前記表示装置の使用者の動作に応じて、前記画像一覧のうち前記表示装置に表示させる領域を移動させる、
ことを特徴とする付記７〜１１のいずれか１項に記載の情報処理装置。
（付記１３）
作業フローに含まれる複数の作業工程のうち作業結果に応じた複数の分岐先が定義された分岐元の作業工程について作業結果の入力を受け付けると、前記作業フローに基づき、前記分岐元の作業工程に先行する作業工程と、入力された前記作業結果に応じた分岐先の作業工程とを特定し、
作業画像を作業工程に対応付けて記憶する記憶装置を参照して、前記分岐元の作業工程に先行する作業工程に対応付けられた作業画像と、前記分岐先の作業工程に対応付けられた作業画像とを含む画像一覧を生成し、
特定の指示を受け付けると、生成した前記画像一覧を表示装置に表示させる、
処理をコンピュータに実行させることを特徴とする表示制御プログラム。
（付記１４）
前記特定の指示は、前記作業結果の入力である、
ことを特徴とする付記１３に記載の表示制御プログラム。
（付記１５）
前記複数の作業工程のうち分岐点となる作業工程及び前記作業結果の入力が実施される作業工程について、入力必須の作業工程に設定する、
処理を前記コンピュータに実行させることを特徴とする付記１３又は１４に記載の表示制御プログラム。
（付記１６）
前記入力必須の作業工程のうち、入力済みの作業工程と未入力の作業工程とを識別可能に強調表示させる、
処理を前記コンピュータに実行させることを特徴とする付記１５に記載の表示制御プログラム。
（付記１７）
前記表示装置に前記画像一覧が表示されている状態において、前記画像一覧に含まれる一の作業画像を特定する音声コマンドの入力に応じて、前記表示装置に前記一の作業画像を表示させ、
前記表示装置に前記画像一覧に含まれるいずれかの作業画像が表示されている状態において、前記画像一覧を示す音声コマンドの入力に応じて、前記表示装置に前記画像一覧を表示させる、
処理を前記コンピュータに実行させることを特徴とする付記１３〜１６のいずれか１項に記載の表示制御プログラム。
（付記１８）
前記表示装置に前記画像一覧が表示されている状態において、前記表示装置の使用者の動作に応じて、前記画像一覧のうち前記表示装置に表示させる領域を移動させる、
処理を前記コンピュータに実行させることを特徴とする付記１３〜１７のいずれか１項に記載の表示制御プログラム。
１ ：情報処理装置
１１ ：ＣＰＵ
１１１ ：音声処理部
１１２ ：動作処理部
１１３ ：画面制御部
１２ ：メモリ部
１３ ：表示制御部
１３０ ：表示装置
１４ ：記憶装置
１４１ ：表示作業一覧情報
１５１ ：マウス
１５２ ：キーボード
１６ ：外部記録媒体処理部
１６０ ：記録媒体
２１，６１：ＨＭＤ
６ ：現場
７ ：事務所
８ ：クラウド

Claims (8)

  1. 作業フローに含まれる複数の作業工程のうち作業結果に応じた複数の分岐先が定義された分岐元の作業工程について作業結果の入力を受け付けると、前記作業フローに基づき、前記分岐元の作業工程に先行する作業工程と、入力された前記作業結果に応じた分岐先の作業工程とを特定し、
    作業画像を作業工程に対応付けて記憶する記憶装置を参照して、前記分岐元の作業工程に先行する作業工程に対応付けられた作業画像と、前記分岐先の作業工程に対応付けられた作業画像とを含む画像一覧を生成し、
    特定の指示を受け付けると、生成した前記画像一覧を表示装置に表示させる、
    処理をコンピュータが実行することを特徴とする表示制御方法。
  2. 前記特定の指示は、前記作業結果の入力である、
    ことを特徴とする請求項１に記載の表示制御方法。
  3. 前記複数の作業工程のうち分岐点となる作業工程及び前記作業結果の入力が実施される作業工程について、入力必須の作業工程に設定する、
    処理を前記コンピュータが実行することを特徴とする請求項１又は２に記載の表示制御方法。
  4. 前記入力必須の作業工程のうち、入力済みの作業工程と未入力の作業工程とを識別可能に強調表示させる、
    処理を前記コンピュータが実行することを特徴とする請求項３に記載の表示制御方法。
  5. 前記表示装置に前記画像一覧が表示されている状態において、前記画像一覧に含まれる一の作業画像を特定する音声コマンドの入力に応じて、前記表示装置に前記一の作業画像を表示させ、
    前記表示装置に前記画像一覧に含まれるいずれかの作業画像が表示されている状態において、前記画像一覧を示す音声コマンドの入力に応じて、前記表示装置に前記画像一覧を表示させる、
    処理を前記コンピュータが実行することを特徴とする請求項１〜４のいずれか１項に記載の表示制御方法。
  6. 前記表示装置に前記画像一覧が表示されている状態において、前記表示装置の使用者の動作に応じて、前記画像一覧のうち前記表示装置に表示させる領域を移動させる、
    処理を前記コンピュータが実行することを特徴とする請求項１〜５のいずれか１項に記載の表示制御方法。
  7. 作業フローに含まれる複数の作業工程のうち作業結果に応じた複数の分岐先が定義された分岐元の作業工程について作業結果の入力を受け付けると、前記作業フローに基づき、前記分岐元の作業工程に先行する作業工程と、入力された前記作業結果に応じた分岐先の作業工程とを特定する特定部と、
    作業画像を作業工程に対応付けて記憶する記憶装置を参照して、前記分岐元の作業工程に先行する作業工程に対応付けられた作業画像と、前記分岐先の作業工程に対応付けられた作業画像とを含む画像一覧を生成する生成部と、
    特定の指示を受け付けると、生成した前記画像一覧を表示装置に表示させる表示処理部と、
    を備えることを特徴とする情報処理装置。
  8. 作業フローに含まれる複数の作業工程のうち作業結果に応じた複数の分岐先が定義された分岐元の作業工程について作業結果の入力を受け付けると、前記作業フローに基づき、前記分岐元の作業工程に先行する作業工程と、入力された前記作業結果に応じた分岐先の作業工程とを特定し、
    作業画像を作業工程に対応付けて記憶する記憶装置を参照して、前記分岐元の作業工程に先行する作業工程に対応付けられた作業画像と、前記分岐先の作業工程に対応付けられた作業画像とを含む画像一覧を生成し、
    特定の指示を受け付けると、生成した前記画像一覧を表示装置に表示させる、
    処理をコンピュータに実行させることを特徴とする表示制御プログラム。
JP2020054320A 2020-03-25 2020-03-25 表示制御方法，情報処理装置及び表示制御プログラム Pending JP2021157267A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020054320A JP2021157267A (ja) 2020-03-25 2020-03-25 表示制御方法，情報処理装置及び表示制御プログラム
US17/204,029 US20210303113A1 (en) 2020-03-25 2021-03-17 Display control method and information processing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020054320A JP2021157267A (ja) 2020-03-25 2020-03-25 表示制御方法，情報処理装置及び表示制御プログラム

Publications (1)

Publication Number Publication Date
JP2021157267A true JP2021157267A (ja) 2021-10-07

Family

ID=77856061

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020054320A Pending JP2021157267A (ja) 2020-03-25 2020-03-25 表示制御方法，情報処理装置及び表示制御プログラム

Country Status (2)

Country Link
US (1) US20210303113A1 (ja)
JP (1) JP2021157267A (ja)

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5517663A (en) * 1993-03-22 1996-05-14 Kahn; Kenneth M. Animated user interface for computer program creation, control and execution
US5818715A (en) * 1994-04-18 1998-10-06 International Business Machines Corporation Method and system for efficiently modifying a project model in response to an update to the project model
DE19535084A1 (de) * 1995-09-21 1997-03-27 Ibm Verfahren und Vorrichtung zur dynamischen Optimierung von durch ein Computersystem gemanagten Geschäftsprozessen
US6175857B1 (en) * 1997-04-30 2001-01-16 Sony Corporation Method and apparatus for processing attached e-mail data and storage medium for processing program for attached data
US5987422A (en) * 1997-05-29 1999-11-16 Oracle Corporation Method for executing a procedure that requires input from a role
US6621505B1 (en) * 1997-09-30 2003-09-16 Journee Software Corp. Dynamic process-based enterprise computing system and method
US6003011A (en) * 1998-01-07 1999-12-14 Xerox Corporation Workflow management system wherein ad-hoc process instances can be generalized
US6349238B1 (en) * 1998-09-16 2002-02-19 Mci Worldcom, Inc. System and method for managing the workflow for processing service orders among a variety of organizations within a telecommunications company
JP2000242392A (ja) * 1999-02-12 2000-09-08 Dbm Korea:Kk 動的な情報ディスプレイのためのコンピュータシステム及びその方法
US6243615B1 (en) * 1999-09-09 2001-06-05 Aegis Analytical Corporation System for analyzing and improving pharmaceutical and other capital-intensive manufacturing processes
US7184966B1 (en) * 1999-12-30 2007-02-27 Honeywell International Inc. Systems and methods for remote role-based collaborative work environment
WO2002019272A1 (en) * 2000-09-01 2002-03-07 Togethersoft Corporation Methods and systems for animating a workflow and a project plan
US7653566B2 (en) * 2000-11-30 2010-01-26 Handysoft Global Corporation Systems and methods for automating a process of business decision making and workflow
US7802174B2 (en) * 2000-12-22 2010-09-21 Oracle International Corporation Domain based workflows
US7581011B2 (en) * 2000-12-22 2009-08-25 Oracle International Corporation Template based workflow definition
US8271882B2 (en) * 2002-04-24 2012-09-18 Sap Ag Processing life and work events
US7114037B2 (en) * 2002-07-11 2006-09-26 Oracle International Corporation Employing local data stores to maintain data during workflows
US7272820B2 (en) * 2002-12-12 2007-09-18 Extrapoles Pty Limited Graphical development of fully executable transactional workflow applications with adaptive high-performance capacity
US7168077B2 (en) * 2003-01-31 2007-01-23 Handysoft Corporation System and method of executing and controlling workflow processes
US7379945B1 (en) * 2003-10-20 2008-05-27 International Business Machines Corporation Virtual foldering system for blending process and content in a collaborative environment
US20080209417A1 (en) * 2007-02-22 2008-08-28 Gabriel Jakobson Method and system of project management and task collaboration over instant messenger
US20080249816A1 (en) * 2007-04-05 2008-10-09 Luke Khalilian System and Method for Monitoring Workflow in a Project Management System

Also Published As

Publication number Publication date
US20210303113A1 (en) 2021-09-30

Similar Documents

Publication Publication Date Title
US10013162B2 (en) Device, method, and graphical user interface for integrating recognition of handwriting gestures with a screen reader
US10365819B2 (en) Device, method, and graphical user interface for displaying a character input user interface
JP6097835B2 (ja) 複数のページを有するフォルダを管理するためのデバイス、方法、及びグラフィカルユーザインタフェース
TWI532976B (zh) 用於產生用於在車輛之互動式通信系統上顯示之多個使用者介面之行動器件及其相關方法及機器可讀媒體
AU2011358860B2 (en) Operating method of terminal based on multiple inputs and portable terminal supporting the same
AU2022203796A1 (en) Device, method, and graphical user interface for media playback
US9632618B2 (en) Expanding touch zones of graphical user interface widgets displayed on a screen of a device without programming changes
AU2019219816A1 (en) Device, method, and graphical user interface for managing folders
KR20200090969A (ko) 잠금된 디바이스에서 애플리케이션에 액세스하기 위한 디바이스, 방법, 및 그래픽 사용자 인터페이스
JPWO2008035489A1 (ja) ナビゲーションシステムおよび同システムにおける操作ガイダンス表示方法
NL2008029A (en) Device, method, and graphical user interface for switching between two user interfaces.
EP3249361B1 (en) Device, method, and graphical user interface for selection of views in a three-dimensional map based on gesture inputs
US10331340B2 (en) Device and method for receiving character input through the same
US20170357950A1 (en) Device, Method, and Graphical User Interface for Changing the Time of a Calendar Event
US9575620B2 (en) Method, apparatus and computer program product for graphically enhancing the user interface of a device
JP2018535462A (ja) タッチヒートマップ
JP2014142707A (ja) 情報処理装置、情報処理方法及びプログラム
US11550467B2 (en) Device, method, and graphical user interface for managing data stored on a device
JP2021157267A (ja) 表示制御方法，情報処理装置及び表示制御プログラム
CN110075534B (zh) 实时语音方法与装置、存储介质、电子设备
JP2010066912A (ja) 情報処理装置及びプログラム
WO2022135259A1 (zh) 语音输入方法、装置及电子设备
EP2827256A2 (en) Method for editing object and electronic device therefor
JP2015041244A (ja) 電子機器およびこれに接続された携帯端末のジェスチャ認識操作方法、車載システム
JP2014167829A (ja) 入力支援装置、入力支援方法、及び、プログラム