JP2018097849A - 熱出力機能を有するコンピュータディスプレイにおける映像再生時の熱出力のオーサリング及びレンダリングのためのシステムと方法、並びに、コンピュータ装置、方法、非一時的コンピュータ可読媒体、及びプログラム - Google Patents

熱出力機能を有するコンピュータディスプレイにおける映像再生時の熱出力のオーサリング及びレンダリングのためのシステムと方法、並びに、コンピュータ装置、方法、非一時的コンピュータ可読媒体、及びプログラム Download PDF

Info

Publication number
JP2018097849A
JP2018097849A JP2017175959A JP2017175959A JP2018097849A JP 2018097849 A JP2018097849 A JP 2018097849A JP 2017175959 A JP2017175959 A JP 2017175959A JP 2017175959 A JP2017175959 A JP 2017175959A JP 2018097849 A JP2018097849 A JP 2018097849A
Authority
JP
Japan
Prior art keywords
output device
temperature
video
thermal
interface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017175959A
Other languages
English (en)
Other versions
JP7020010B2 (ja
Inventor
クラッツ スベン
Kratz Sven
クラッツ スベン
ダニガン アンソニー
Anthony Dunnigan
ダニガン アンソニー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd filed Critical Fuji Xerox Co Ltd
Publication of JP2018097849A publication Critical patent/JP2018097849A/ja
Application granted granted Critical
Publication of JP7020010B2 publication Critical patent/JP7020010B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34Indicating arrangements 
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • H04N5/93Regeneration of the television signal or of selected parts thereof
    • H04N5/9305Regeneration of the television signal or of selected parts thereof involving the mixing of the reproduced video signal with a non-recorded signal, e.g. a text signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Radiation Pyrometers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Control Of Temperature (AREA)

Abstract

【課題】映像再生時に熱出力装置の経時的な熱出力特性を規定するキーフレームデータの編集を容易にするシステムを提供する。【解決手段】例示的実施形態は、映像材料の同期再生時に熱出力装置の温度出力状態を記述するキーフレームを生成するシステムを対象とする。この付加的な触覚出力チャネルは、既存の音声及び映像チャネルを補強する。例示的実施形態は、熱出力チャネルを有する映像再生のための手動キーフレームオ−サリングインタフェースとアーキテクチャを提供する。例示的実施形態は、映像に付随する熱出力のための自動キーフレーム生成方法も含み、また温度プロファイル関数を提供してオープンループ制御を使用する熱出力装置の温度値間の高速変化を可能とする。【選択図】図1

Description

本開示は一般的にディスプレイシステムに関し、より具体的には、触覚出力機能を有するディスプレイシステム上の映像再生に対する触覚(例えば、熱的)出力のレンダリング及びオーサリングのためのシステムと方法に関する。
関連技術の実施形態において、離散位置において表面温度を変化させることができる表面計算システムがある。そのような関連技術の実施形態では、熱ピクセルがグリッド状に配置可能であり、その上に視覚コンテンツが投影可能とされている。
更なる関連技術の実施形態においては、視覚ディスプレイピクセルに一致した熱ピクセルの温度を変化させることで実現される、付加的な熱触覚フィードバックチャネルを有する映像ディスプレイがある。
JONES, Lynette A., and HO, Hsin−Ni. "Warm or cool, large or small? The challenge of thermal displays." IEEE Transactions on Haptics 1.1 (2008): 53−70. MACLEAN, Karon E., and RODERICK, Jayne B. "Smart tangible displays in the everyday world: a haptic door knob." Advanced Intelligent Mechatronics, 1999. Proceedings. 1999 IEEE/ASME Intemational Conference on. IEEE, 1999. KUSHIYAMA, Kumiko, et al. "Thermoesthesia: about collaboration of an artist and a scientist. "ACM SIGGRAPH 2006 Educators program. ACM, 2006. KUSHIYAMA, Kumiko, Tetsuaki Baba, Kouki Doi, and Shinji Sasada. 2010. "Thermo−Pict Neo". Proceedings of SIGGRAPH 10 (2010), 1−1.
映像再生フォーマットの関連技術の実施形態では、映像再生時に熱出力のレンダリングに使用できるメタデータは存在しない。例示的実施形態には、映像を熱出力チャネルで補強するために、熱メタデータの生成及び適用を容易にするように構成されたシステムが含まれる。
本開示の例示的実施形態には、映像再生時に熱出力装置の経時的な熱出力特性を規定するキーフレームデータの編集を容易にするシステムが含まれる。例示的実施形態におけるそのようなシステムは、熱出力チャネルを有する映像のキーフレーム情報の編集と、熱ディスプレイ装置上で熱出力を有する映像の視聴とを実質的に同時に可能とするソフトウェアアーキテクチャを含むことができる。
例示的実施形態では、熱出力チャネル用のキーフレームを自動生成するアルゴリズムを含むことも可能である。このアルゴリズムは、ソース映像から(例えば色飽和又は輝度から)直接、又はメイン映像に付随して熱出力チャネルが付加された映像再生用のキーフレームを生成する、熱カメラでキャプチャされた映像から、温度に関する情報を抽出するように構成することができる。
多数の変数(例えば、音響ボリューム、視覚フィルタ、画面切り替えなど)のためのキーフレームの定義は関連技術の映像編集ソフトウェアに実装されているが、そのような実施形態では映像再生時に熱出力装置の時間特性を決定するキーフレームを利用することはない。例示的実施形態では、映像再生のための熱出力チャネル用のそのようなキーフレームを自動生成することも可能である。
本開示の態様には、熱出力装置のディスプレイ上で映像の再生を実行し、熱出力装置のディスプレイ上で映像を再生中に、映像に関連する熱情報に基づいて熱出力装置の温度を調節するように熱出力装置に命令を与えるように構成されたプロセッサを含むことが可能なコンピュータ装置が含まれる。
本開示の態様には、熱出力装置のディスプレイ上で映像の再生を実行し、熱出力装置のディスプレイ上で映像を再生中に、映像に関連する熱情報に基づいて熱出力装置の温度を調節するように熱出力装置に命令を与える、方法をさらに含むことができる。
本開示の態様には、熱出力装置のディスプレイ上で映像の再生を実行し、熱出力装置のディスプレイ上で映像を再生中に、映像に関連する熱情報に基づいて熱出力装置の温度を調節するように熱出力装置に命令を与えることを含む、プロセス実行のための命令を格納する、非一時的コンピュータ可読媒体をさらに含むことができる。
本開示の態様には、触覚出力装置のディスプレイ上で映像の再生を実行し、触覚出力装置のディスプレイ上で映像を再生中に、映像に関連する触覚情報に基づいて触覚出力装置の触覚フィードバックを調節するように触覚出力装置に命令を与えるように構成されたプロセッサを含むことが可能なコンピュータ装置が含まれる。
本開示の態様には、触覚出力装置のディスプレイ上で映像の再生を実行し、触覚出力装置のディスプレイ上で映像を再生中に映像に関連する触覚情報に基づいて触覚出力装置の触覚フィードバックを調節するように触覚出力装置に命令を与えることができる方法が含まれる。
本開示の態様には、触覚出力装置のディスプレイ上で映像の再生を実行し、触覚出力装置のディスプレイ上で映像を再生中に映像に関連する触覚情報に基づいて触覚出力装置の触覚フィードバックを調節するように触覚出力装置に命令を与えることができる、プロセスの実行命令を格納する非一時的コンピュータ可読媒体を含む。
本開示の技術によれば、映像再生時に熱出力装置の経時的な熱出力特性を規定するキーフレームデータの編集を容易にする、という効果が得られる。
一例示的実施形態によるシステムの概要を示す図である。 一例示的実施形態によるキーフレーム定義ファイルフォーマットの一例を示す図である。 一例示的実施形態による、熱フィードバックチャネル用のキーフレームシーケンスの自動生成アルゴリズムの一例を示す図である。 一例示的実施形態による、キーフレーム手動編集用のインタフェース例を示す図である。 一例示的実施形態による、キーフレーム手動編集用のインタフェース例を示す図である。 一例示的実施形態による、熱出力装置の温度プロファイル関数のためのフロー図である。 一例示的実施形態による、加熱及び冷却用のプロファイル関数を示す図である。 一例示的実施形態による、加熱及び冷却用のプロファイル関数を示す図である。 例示的実施形態での使用に好適なコンピュータ装置の一例を有する、コンピューティング環境の一例を示す図である。 例示的実施形態を適用可能な熱装置の一例を示す図である。
以下の詳細な説明において、本出願の図面及び例示的実施形態の更なる詳細を提供する。図面間で重複する要素の参照番号及び説明は、分かり易くするために省略されている。説明を通して使用される用語は例示として提供されるものであり、制限することを意図するものではない。例えば、「自動的」という用語の使用は、本出願の実施形態を実行する当業者の所望の実施形態に応じて、完全自動の実施形態、又は実施形態の特定の態様をユーザ又は管理者が制御することを含む半自動の実施形態、を含み得る。選択は、ユーザがユーザインタフェース又は他の入力手段を介して行うことが可能であり、あるいは所望のアルゴリズムを介して実装可能である。本明細書に記載の例示的実施形態は単独又は組み合わせによって利用可能であり、例示的実施形態の機能は所望の実施形態による任意の手段を介して実装可能である。
本開示の例示的実施形態は、キーフレーム生成(例えば、手動、自動、又はそれらの組み合わせ)を容易にする。手動アプローチの例では、ソース映像を付加的な熱出力チャネルで容易に注釈付けして、映像を熱的な触覚フィードバック付きで表示可能とするユーザインタフェースをユーザに提供可能である。
例示的実施形態には自動的なアプローチも含まれる。これは、ソース映像を分析して、その映像の潜在的な熱出力チャネルの性質を記述するキーフレームリストの自動生成を可能とする。
図1は、一例示的実施形態によるシステムの概要を示す。図1の例示的システムには、映像ファイル101、コンピュータ装置102、キーフレーム定義ファイル103、組込装置104、編集ビューインタフェース105、再生ビューインタフェース106、及び熱出力装置107がある。例示的実施形態では、コンピュータ装置102が映像ファイル101をロードする。これは所望の実施形態に応じた任意のフォーマットであってよい。
コンピュータ装置102は映像用の対応キーフレーム定義ファイル103を保存及びロードするように構成されている。これは所望の実施形態に応じて、JavaScript(登録商標) Object Notation (JSON)又は他の任意のフォーマットで表すことができる。コンピュータ装置102は、キーフレームの閲覧又は編集、映像再生又はシークコマンドへの応答、及び熱ディスプレイリクエストへの応答、の一つ又は複数の機能を容易にする編集ビューインタフェース105を提供するように構成されている。コンピュータ装置102は、映像再生またはシークコマンドの実行を容易にするように構成された、再生ビューインタフェース106を提供するようにも構成できる。
組込装置104は、コンピュータ装置102から熱ディスプレイコマンドを受信して熱出力装置107上のハードウェア制御を実行し、必要に応じて熱出力装置の特定セクションの温度を上下させるように構成されている。
例示的実施形態において、コンピュータ装置102は、クライアントが編集をロードし、所望ビューの再生をできるように構成されたnode.jsサーバの形態で実装されてもよい。ただし所望の実施形態に応じて他の装置が利用されるか代替とされてもよく、本開示はこれに限定されるものではない。コンピュータ装置102は、編集ビューインタフェース105で使用するためにキーフレーム定義ファイル103を保存及びロードするように構成することもできる。
さらに、コンピュータ装置102は、熱出力リクエストを処理し、所望の実施形態に応じてネットワークやユニバーサルシリアルバス(USB)接続や他の方法を介して熱出力リクエストを組込装置104へ通信するように構成することもできる。組込装置104は、熱出力装置107を制御するように構成された、実施形態に従う任意の所望電子プラットフォーム又は構成の形態であってよい。
例示的実施形態において、編集ビューインタフェース105及び再生ビューインタフェース106用にソフトウェアアーキテクチャが実装され、ソース映像の熱注釈の編集と再生を(例えば必要があれば同時に)可能とするユーザインタフェース(UI)を支援する。例示的実施形態において、UIはウェブベースであって、2つのブラウザウィンドウで(例えば必要であれば同時に)実行可能な、編集ビューインタフェース105と再生ビューインタフェース106を提供できる。例示的実施形態において、1つのウィンドウはパーソナルコンピュータ(PC)、モバイル装置、あるいは他の所望装置などのユーザ設備上での編集に使用可能であり、もう1つのウィンドウは熱出力機能を有する装置上で実行可能である。ウィンドウを相互連携させて使用して、所望の実施形態に応じて、編集と再生の同時動作を容易とする印象を与えることができる。
図2は、一例示的実施形態によるキーフレーム定義ファイルの一例を示す図である。図2の例では、キーフレーム定義ファイルフォーマットは、ソース映像ファイル名201、キーフレーム識別子(ID)202、グリッド温度出力値203、及び映像204の対応時間に関する情報を含む、JSONフォーマットであってよい。キーフレーム定義ファイルフォーマットは、キーフレーム定義ファイル103のフォーマットとして利用可能である。他と種類の情報を含む他のフォーマットも所望の実施形態に従って利用可能である。
ソース映像ファイル名201は、映像ソースファイルの名前に関する情報を提供する。キーフレームID202は、映像の各キーフレームに対する固有の識別子を示すことができる。グリッド温度出力値203はグリッドが表し得る温度の値のリストであり、映像の対応する時間204は、定義された温度値が設定されるべきソース映像の時間を示す。
キーフレームの手動編集にはフレキシビリティがあるが、キーフレームは適切なソース材料から熱フィードバックチャネル用に自動生成されてもよい。例えば、熱カメラがIRスペクトルから熱情報を直接エンコードできるので、熱カメラで取得した映像は画像処理によって熱フィードバック用のキーフレームストリームに変換可能である。例示的実施形態において、標準的なカメラからの映像も、その画像特性が熱情報に関連するものとして解釈できる場合には考慮可能である。例えば、ロケットエンジンの点火や溶接アークなどの熱を含む物理プロセスの映像は、大量の可視光を放出し得る。そのような輝度の高いピクセルを用いて熱フィードバック情報を生成することができる。同様に、特定の化学元素の炎は、個別のスペクトル色相を有する。既知の画像特性に対するそのような対応関係は、所望の実施形態に応じて、パターン認識やその他の機械学習を介して、又は他の方法によって手動で導出してもよい。
図3には、一例示的実施形態による熱フィードバックチャネル用のキーフレームシーケンスの自動生成アルゴリズムの一例が示されている。必要があれば300において、アスペクト比が熱グリッドのアスペクト比に合うように、ソース映像101がクロップされる。
301で映像に対する画像処理を行い、グレースケール、あるいは色相、彩度、明度、輝度などのその他のピクセルレベルでのメタデータが抽出される。映像は画像の時間シーケンスの形態であってもよいし、画像は所望の実施形態に応じた任意の形態であってよい。グレースケール変換の代替として、このフローでは所定の色−温度マップ310も利用可能である。これは色をそのソース映像101のドメインに適切な熱情報にマッピングする。すなわち、グレースケール変換する代わりに、ソース映像のドメインが既知の場合には色値を熱出力にマッピングする所定のマッピングを例示的実施形態において利用可能である。例えば、風景のシーンが示されている場合には、低い温度に対しては青の色調(水、空など)で、温かい温度に対しては緑及び茶の色調(木、土など)をマップする適切な色マッピングを利用して映像に対する適切な温度を判定することができる。そのような実施形態を、画像コンテンツの(例えばディープラーニング、機械学習を介する)セマンティック処理を利用して拡張し、シーン要素に対する適切な温度値を決定するために画像コンテンツの分類及びセグメント化を行うことが可能である。そうして、所望の実施形態に従う、ドメインの知識、機械学習、又は他の方法などを介する任意の方法によって、色−温度マッピング310を導くことができる。
302において、マッピング操作(例えばサブサンプリング)が実行されて、映像のピクセル数が熱出力装置のグリッドに対応付けされる。303において個々のフレームが、所望の実施形態に応じて例えばビットマップ画像又は他の画像等の画像として出力される。304において画像群を覆う各グリッドセルの平均値を算出してフレームレート変換が行われ、熱出力装置に対する所望のリフレッシュレートが達成される。305において計算を利用して、温度データが熱出力装置の熱出力能力に従って規格化される。306において、例えば図2に示すように、キーフレームリストが所望のフォーマットで生成される。
307においてキーフレームリストが所望のプロセスに基づいて最適化される。これは例えば熱出力装置の出力装置の制限又は制約320を組み込むことができる。例示的実施形態において、キーフレームリストは後処理をしてさらに最適化することができる。306において生成されるキーフレームリストは一定時間間隔であってもよいので、例示的実施形態において冗長なキーフレーム(例えば、温度差が最小あるいは閾値内であるシーケンス内の複数のキーフレーム)を除去する方法を適用することができる。
例示的実施形態においては、冗長度除去は、累積差を測定することによりアルゴリズムで実現することができる。
キーフレームリストをK1,K2,…,Km(m∈N)とし、任意のj>iに対してDi,jがある閾値εを超えるとすると、例示的実施形態はキーフレームKi+jからKj−1までを除去できる。
装置制約320は、所望の実施形態に従って利用することも可能である。例えば、熱出力装置が所望の熱特性(例えば、出力温度、温度差、又は温度変化率)を生成できない場合、又は人的因子による問題(例えば最高/最低安全温度、知覚の時間積分)で制限される場合、キーフレームは(例えば後続の設定との不一致がなければ)後ろの時間へ移動可能であり、あるいは、熱出力装置の加熱又は冷却性能を反映するように書き直すことができる。例示的実施形態において、装置の制約情報は再生時にも組み込むことが可能であって、そうすることによってすべての種類の熱出力装置に亘って生成されたキーフレームリストが保持できる。
生成されたキーフレームリスト103が利用されることで、図4(a)及び図4(b)に示すインタフェースを用い、かつ熱出力装置を介して、熱チャネルの再生が可能となる。
図4(a)及び図4(b)は、一例示的実施形態によるキーフレーム手動編集用のインタフェースの一例を示す。図4(a)に示すように、図1の編集ビューインタフェース例105は、ソース映像上に配置されたグリッドを利用してユーザが熱出力温度を定義できるように構成されている。各グリッドセルは、熱出力装置上の加熱/冷却セルに対応している。一例として図4(b)に示すように、再生ビューインタフェース106は編集ビューに従属し、熱出力装置上に編集ユーザインタフェース(UI)なしで映像を再生できるようになっている。
図4(a)、図4(b)の例において、映像再生に付随する熱出力チャネルを手動でキーフレーム編集するためのUIがある。UIは、熱出力チャネルで注釈をつけるための図4(a)の映像を覆うグリッドを示す。個別のグリッドセル内でのマウスのドラッグ又はその他の入力方法(例えばタッチスクリーン)によって、ユーザは熱出力装置の温度出力範囲内の温度を設定することができる。映像はインタフェースを利用した再生、又はスライダーバーを利用した所与のタイムスタンプへのスクロールが可能である。「キーフレーム追加」ボタン、又はその他のユーザインタフェース実装を利用してキーフレームを追加することができる。追加されたキーフレームはリスト形式とすることができ、そこでキーフレームの選択、並べ替え又は削除、あるいは所望の実施形態に従う他の形式とすることが可能である。編集が終了するとユーザは、生成されたキーフレームリストを図2に示すようなJSONファイルとして保存できる。
図4(a)の例において、編集ビューインタフェースは、ウェブサーバで仲介されるウェブソケットイベントを介して再生ビューにおける映像の再生を制御可能である。編集ビューインタフェースはまた、キーフレームを利用して熱出力装置上の熱出力を映像再生時に取得された時間情報に結びつけることが可能である。例えば、編集ビューインタフェースは、コンピュータ装置にリクエストを送信して適切な熱情報を現在の映像タイムスタンプに従って熱出力装置上に表示させるように構成することができる。
図4(b)の例では、再生ビューインタフェースは熱出力装置上に提供されるように構成されている。図4(b)の例では、再生ビューインタフェースは、映像を提供してすべてのUI要素を削除し、かつ、ウェブソケット又は他の接続方法を介して編集ビューインタフェース105による遠隔制御が可能である。
例示的実施形態において、カメラ入力画像(IR又は標準画像)は必ずしも、映像に付随する時間的な熱情報を生成する唯一の方法ではない。例えば、映像中の俳優の身体に装着されたセンサ(例えば皮膚温度、皮膚抵抗、脈拍)を利用して、映像内にレンダリングされる熱データストリームを生成することも可能である。別の例示的実施形態では、映像に示される車両からの遠隔測定センサ(例えばエンジンの毎分の回転数(RPM)、ブレーキ温度、排気ガス温度、燃料レベルなど)の使用が含まれる。別の例示的実施形態では、熱映像のレンダリングは、ソース映像を(例えばディープラーニング又は手動プロセスを介して)持続領域にセグメント化した後、センサストリームを特定領域の温度値にマッピングすることによって実現可能である。映像に対する熱情報生成の他の方法もまた所望の実施形態に従って利用可能であり、本開示はこれに限定されない。
例示的実施形態において、温度変化に対する温度プロファイル関数がある。温度プロファイル関数は、1つのキーフレームから別のキーフレームへ変わる場合の熱出力装置の行動の定義に利用される。閉ループ制御を有する熱出力装置は、新しいキーフレームを表示する際に、比例−積分−微分(PID)コントローラにより装置出力を制御して温度変化を起こすことができる。ただしそのような装置は、電子回路設計に複数の温度センサを付加するオーバヘッド(例えば、配線、電力供給、アドレス指定)のために、開ループ制御の装置に比べて構築が技術的に複雑となりうる。
例示的実施形態において、開ループ装置を利用して所望温度を正確に設定できる。入力電力(W単位)と装置の表面温度との関係が測定されると、マッピング(例えば線形)でデータフィッティングが行われる(R=0.99)。ただし、線形マッピングを直接行うと、その方法では加熱のためのフル出力電力や冷却のためのゼロ出力電力は適用されないことがあり、温度変化に対する応答時間が遅い結果となり得る。
したがって、本明細書に記載の例示的実施形態では温度プロファイル関数を適用する。これは加熱と冷却のそれぞれにフル電力とゼロ電力の温度出力を推定温度出力(上昇/下降)継続時間だけ与え、次いで遅延時間の後に線形電力−温度マッピンッグが要求する電力設定に戻して所望の最終温度を維持するものである。プロファイル関数を取得するために、追加の測定ステップを行って、熱出力装置の最大加熱速度SHeatと最大冷却速度ScoolをC/s単位で得ることができる。
図5は、一例示的実施形態による、熱出力装置107の温度プロファイル関数のためのフロー図である。この温度プロファイル関数の例は、所望の実施形態に応じて、例えば組込装置104、又は組込装置104に命令を送るように構成されたコンピュータ装置102によって実行可能である。(gridX,gridY)にあるグリッドセルを“currentTemp”から“targetTemp”へ変化させるための温度プロファイル関数PgridX,gridY,t0,t1(s)(ここで、sはt0≦s≦t1である時間を表す変数)は、以下のフローにより計算される。501において、温度プロファイル関数が温度差:tDiff=targetTemp−currentTempを計算する。502において、温度プロファイル関数が線形電力−温度マッピングにより目標温度に対する最終電力を取得する。503において、tDiff≧0であれば、温度プロファイル関数は最大温度出力の継続時間をms単位で算出し、電力レベルを以下のように設定する。
1.温度差:tdiff=t−tを計算
2.tの線形電力−温度マッピングから、tに対する最終電力設定pを取得
3.tdiff≧0であれば、以下のようにms単位の温度出力継続時間srampと電力設定Prampを計算
ramp=tdiff/Sheat*cramp
ramp=Pmax
4.他方、tdiff<0であれば、sramp=tdiff/Scool*cramp
ramp=0
ramp∈(0,1)は、所望の目標温度に対してオーバシュート(正の温度変化実行時)又はアンダーシュート(負の温度変化実行時)の可能性の制限するために熱の出力継続時間を軽減する安全バッファとして作用する係数である。これにより電力プロファイル関数は次のように定義可能である。
504において、温度プロファイル関数が出力電力レベルを、算出されたrampPowerと熱出力装置のグリッドの関数として設定する:setPowerLevel(gridX,gridY,rampPower)。505において、温度プロファイル関数が熱の出力継続時間の遅延後に最終電力レベルを設定する:setRampPowerDelayed(gridX,gridY,finalPower,rampDuration)
rampTimeCoeff∈(0,1)は、所望の目標温度に対してオーバシュート(正の温度変化実行時)又はアンダーシュート(負の温度変化実行時)の可能性を制限するために熱の出力継続時間を低減する安全バッファとして設計された値である。
図6(a)と図6(b)は、一例示的実施形態による、加熱及び冷却用のプロファイル関数を示す。具体的には、図6(a)と図6(b)は、開ループ制御で熱出力装置に正の温度変化(図6(a))と負の温度変化(図6(b))をさせるための電力プロファイルを示している。
図7は、例示的実施形態での使用に好適な例示的コンピュータ装置を有する、例示的コンピューティング環境を示す。例えば、以下に概要を述べるコンピュータ装置例は、図1に記載のコンピュータ装置102として利用されて、編集ビューインタフェース105を支援し、かつ再生ビューインタフェース106を提供することができる。コンピューティング環境700内のコンピュータ装置705は、一つ又は複数の処理ユニット、コア又はプロセッサ710、メモリ715(例えばRAM、ROM、及び/又はそれに類似のもの)、内部ストレージ720(例えば、磁気ストレージ、光ストレージ、固体ストレージ、及び/又は有機ストレージ)、及び/又はI/Oインタフェース725などを含むことが可能であり、それらの任意のものは情報通信のための通信機構又はバス730に連結可能であり、あるいはコンピュータ装置705に組み込み可能である。
コンピュータ装置705は、入力/ユーザインタフェース735、及び出力装置/インタフェース740に通信可能に連結できる。入力/ユーザインタフェース735と出力装置/インタフェース740のいずれか1つ又は両方は、有線または無線のインタフェースであって取り外し可能であってよい。入力/ユーザインタフェース735は、物理的または仮想的であって、入力を提供するために使用可能な任意の装置、コンポーネント、センサ、又はインタフェース(例えば、ボタン、タッチスクリーンインタフェース、キーボード、ポインティング/カーソル制御器、マイクロフォン、カメラ、点字器、モーションセンサ、光学リーダなど)を含んでよい。出力装置/インタフェース740は、ディスプレイ、テレビ、モニタ、プリンタ、スピーカ、点字器などを含んでよい。いくつかの例示的実施形態では、入力/ユーザインタフェース735と出力装置/インタフェース740はコンピュータ装置705に組み込まれるか、物理的に連結されていてもよい。別の例示的実施形態では、他のコンピュータ装置がコンピュータ装置705のための入力/ユーザインタフェース735と出力装置/インタフェース740として機能するか、あるいはその機能を提供してもよい。
コンピュータ装置705の例としては、これに限定されるものではないが、高度なモバイル装置(例えば、スマートフォン、車両及びその他の機械に搭載の装置、ヒト又は動物が携行する装置など)、モバイル装置(例えば、タブレット、ノートブックコンピュータ、ラップトップコンピュータ、パーソナルコンピュータ、携帯テレビ、ラジオなど)、及び可動用ではない装置(例えば、デスクトップコンピュータ、その他のコンピュータ、情報キオスク、内部に組み込み及び/又は連結された一つ又は複数のプロセッサを有するテレビ、ラジオなど)が含まれてよい。
コンピュータ装置705は、外部ストレージ745とネットワーク750に(例えばI/Oインタフェース725を介して)通信可能に接続されて、同じ構成又は異なる構成の一つ又は複数のコンピュータ装置を含む、任意の数のネットワーク接続されたコンポーネント、装置、及びシステムと通信できるようになっていてもよい。コンピュータ装置705又は任意の接続されたコンピュータ装置は、サーバ、クライアント、シンサーバ、汎用機械、特定用途機械、あるいは別のラベルとして、機能するか、そのサービスを提供するか、又はそれらとして称することが可能である。
I/Oインタフェース725は、コンピューティング環境700にある少なくともすべての接続されたコンポーネント、装置、及びネットワークに向けて、及び/又はそこから、情報を通信するための、任意の通信又はI/Oプロトコルまたは標準(例えば、イーサネット(登録商標)、802.11x、ユニバーサルシステムバス、WiMax、モデム、セルラーネットワークプロトコルなど)を利用する有線及び/又は無線インタフェースを含むことができる。ただしこれに限定されるものではない。ネットワーク750は、任意のネットワーク又はネットワークの組合せ(例えば、インターネット、ローカルエリアネットワーク、ワイドエリアネットワーク、電話ネットワーク、セルラーネットワーク、衛星ネットワークなど)であってよい。
コンピュータ装置705は、一時媒体及び非一時媒体を含む、コンピュータ使用可能媒体またはコンピュータ可読媒体を利用して、使用及び/又は通信が可能である。一時媒体には、伝送媒体(例えば金属ケーブル、ファイバ光学材料)、信号、搬送波などが含まれる。非一時媒体には、磁気媒体(例えばディスク及びテープ)、光学媒体(例えばCD ROM、デジタルビデオディスク、ブルーレイディスク)、固体媒体(例えば、RAM、ROM、フラッシュメモリ、固体ストレージ)、及びその他の不揮発性ストレージ又はメモリが含まれる。
コンピュータ装置705は、いくつかの例示的コンピューティング環境において技術、方法、アプリケーション、プロセス、又はコンピュータ実行可能命令の実装に使用可能である。コンピュータ実行可能命令は一時媒体から取り出して非一時媒体に格納し、そこから取り出すことができる。実行可能命令は、任意のプログラミング言語、スクリプティング言語、及び機械言語(例えば、C、C++、C#、Java(登録商標)、Visual Basic、Python、Perl、JavaScript(登録商標)、他)の内の一つ又は複数を基とすることができる。
メモリ715は、ピクセル特性への触覚フィードバックのマッピングデータベースを格納又は管理するように構成されていてもよい。そのような例示的実施形態では、所望の実施形態による任意の方法で生成されるピクセル特性(例えばグレースケール強度、カラー強度)への触覚フィードバックのアーカイブとして機能するように、メモリ715が構成されてもよい。メモリ715はまた映像用の触覚フィードバック情報を格納するために利用することもできる。マッピングと触覚フィードバック情報は、以下で述べるような例示的実施形態に従ってプロセッサ710で処理することができる。本明細書に記載の例示的実施形態は所望の実施形態に従って、単独又は相互に任意に組み合わされて実行されてもよく、特定の例示的実施形態に限定されるものではない。
プロセッサ710は、ネイティブ環境又は仮想環境において任意のオペレーティングシステム(OS)(図示せず)の下で実行可能である。論理ユニット760、アプリケーションプログラミングインタフェース(API)ユニット765、入力ユニット770、出力ユニット775、及び異なるユニットが相互に、またOS及び他のアプリケーション(図示せず)と通信するためのユニット間通信機構795を含む、一つ又は複数のアプリケーションを展開可能である。上記のユニット及び要素は、設計、機能、構成、又は実装において変形可能であり、ここでの記述に限定されるものではない。
いくつかの例示的実施形態では、情報又は実行命令をAPIユニット765が受信すると、それが一つ又は複数の他のユニット(例えば論理ユニット760、入力ユニット770、出力ユニット775)へ通信されてもよい。いくつかの場合では、論理ユニット760はユニット間の情報の流れを制御し、上記のいくつかの例示的実施形態におけるAPIユニット765、入力ユニット770、出力ユニット775により提供されるサービスを命令するように構成されてもよい。例えば、一つ又は複数のプロセス又は実施形態のフローは、論理ユニット760だけで制御されてもよいし、APIユニット765と連携して制御されてもよい。入力ユニット770は例示的実施形態で述べた計算のための入力を取得するように構成されてもよいし、出力ユニット775は例示的実施形態で述べた計算に基づいて出力を提供するように構成されてもよい。
プロセッサ710は、図4(b)に示すように熱出力装置のディスプレイ上で映像の再生を実行し、熱出力装置のディスプレイ上での映像の再生中に熱出力装置に命令して、図4(a)、図4(b)に示すように、映像に関連する熱情報に基づいて熱出力装置の温度を調節させるように構成可能である。熱情報は、図2に示すようなキーフレーム定義ファイルの形態であってもよいし、IRカメラ又は映像に関連する他のセンサのセンサ情報であってもよいし、あるいは所望の実施形態に応じた映像の温度を示唆する他の情報であってもよい。
プロセッサ710は、映像の処理に基づいて映像の熱情報を生成するように構成することもできる。映像の処理には、映像に温度マッピングを適用して映像の一つ又は複数のフレームに対する一つ又は複数の温度を判定することと、熱出力装置に基づいて一つ又は複数の温度を規格化することと、図3のフロー図に示すように映像の一つ又は複数のフレームに対する一つ又は複数の温度に基づいて映像のキーフレームを判定すること、が含まれ得る。温度マップには、図3に既述したような色−温度マップによるか、又はピクセルの輝度に基づく温度のスケーリングによるか、所望の実施形態に応じた他の方法によるかのいずれかにより、温度と、ピクセルカラーとグレースケール強度のうちの1つとの間のマッピングをすることが含まれ得る。例示的実施形態において、温度フレームの数は、必要があれば映像内のフレームの数と異なることができる。
プロセッサ710は、熱出力装置の一部分の現在温度と目標温度との間の温度差を判定し、熱出力装置の電力−温度マッピングに基づいて熱出力装置のその部分に対する目標温度の電力レベルを判定し、温度差と熱出力装置の特性とに基づいて温度出力継続時間を判定し、図5に示すように熱出力装置のその部分に対する電力レベルと温度出力継続時間に従って加熱機構又は冷却機構に関与するように熱出力装置に命令することによって熱出力装置の温度を調節するように構成されている。命令はプロセッサ710から組込装置104に送信されて、熱出力装置107を制御することができる。別の例示的実施形態では、図5のフローの一部またはすべてが、所望の実施形態に応じて組込装置104によって実行されてもよい。熱出力装置の特性としては、熱出力装置が利用する加熱又は冷却機構に基づいて、熱出力装置が温度差により、又は第1の温度から第2の温度へ、温度を増加または減少させるのに要する時間に関する情報を含むことができる。また、熱出力装置の各ピクセルの表面積、冷却機構の温度なども所望の実施形態に応じて含まれ得る。
プロセッサ710は図4(a)に示すように、映像の選択部分に対する提示する熱情報を与えるインタフェースを提供し、そのインタフェースへの入力に基づいてその熱情報を調節するように構成されている。インタフェースは装置への入力に基づいて熱出力装置の選択部分に対する熱情報を調節するように構成され、その部分は図4(a)に示すようにインタフェースを介して選択される。図4(a)に示すように、熱出力装置107のグリッドの温度は、図4(a)の与えられたインタフェースを介して、映像の編集及び再生中に調節されてもよい。
図8は、例示的実施形態を適用可能な熱装置例を示す。図8の例において、熱出力装置107は、ディスプレイ要素800、加熱機構801、冷却機構802、組込装置104、及びインタフェース(I/F)803を含むことができる。
例示的実施形態では、ディスプレイ要素800は、加熱及び冷却のためにグリッドに分割可能な基板で作製されている。ディスプレイ要素800は、プロジェクタ要素を利用して映像を表示するようになっているか、又はコンピュータ装置102から組込装置104とI/F803を介して表示のためにディスプレイ要素800へ送信されるかのいずれかである。
加熱機構801は、例えば電流を熱に変換するように構成された任意の電気抵抗加熱要素など、ディスプレイ要素800を加熱するように構成可能な任意の加熱要素を含むことができる。一例示的実施形態では印刷回路基板(PCB)は、導電性の加熱螺旋(例えば銅)のグリッドと共に利用可能である。一例示的実施形態では各螺線は銅であって、加熱セル内に印刷されている。例示的な構成では、20Vの加熱セルで約40Wの熱を出力するように構成可能である。ただし他の加熱機構も使用可能であり、本開示をこれに限定するものではない。
冷却機構802は、例えば任意の液体、固体、又は気体の冷媒システム又はファンアレイなどの、ディスプレイ要素800又は加熱機構801を冷却するように構成された任意の冷却要素を含むことができる。冷却の一例示的実施形態では、加熱コイルが刷り込まれたPCBが冷却マニホールドの上に配置される。グリッド位置にある加熱コイルへの電流が切断されると、PCBは液体冷媒によって冷却される。ポンプで液体冷媒を冷却設備及びマニホールドに循環させる。冷媒は、冷却が必要なときにグリッドから余剰の熱を取り去るのに使用される。マニホールドの冷却効果とグリッドの加熱コイルからの熱入力とのバランスによって、グリッド上の任意の点を任意温度に設定可能である。一例示的実施形態では、冷却機構802は所望温度(例えば約3℃)に冷却された水を液体冷媒として使用する。水はポンプで、水の入った水タンクから水の冷却用の水槽チラーユニットに送られる。チラーユニットの出口は冷却マニホールドの入口ポートに接続可能である。冷媒を均一に分散させるために、マニホールドは冷媒出口を対向するコーナに配置することができる。冷媒出口からの流出は配管でタンクへ戻すことができ、そこで冷却サイクルが新たに始まる。
組込装置104は、運転時に加熱機構801と冷却機構802を積極的に制御するように構成可能である。一例示的実施形態では、加熱グリッドの各セルには関連するMOSFET(金属酸化物半導体電界効果型トランジスタ)があって、セルのヒータ螺旋への電流を切り替える。MOSFETのゲートは、MOSFETのゲート駆動用のPWMコントローラのシールドによって駆動可能である。組込装置104は制御ロジック(例えばフィールドプログラマブルゲートアレイ、プロセッサ)として実装可能であって、バス接続を介してPWMコントローラシールドへコマンドを送信する。組込装置104はI/F803(例えばUSB経由で)を介してコンピュータ装置102と通信することもできて、インタラクティブアプリケーションが熱出力装置107を利用可能となる。ただし、加熱機構801、冷却機構802、及びディスプレイ要素800の所望の実施形態に応じて、他の実施形態もまた可能である。別の例示的実施形態では、組込装置104が所望の冷却機構802又は加熱機構801を駆動するように構成されたFPGAであってもよい。
本明細書の例示的実施形態は熱装置と熱出力を対象としているが、電気振動、超音波フィードバック、圧力、又は所望の実施形態に応じた他の触覚出力などの他の触覚フィードバックへ例示的実施形態を拡張することも可能である。こうして、例示的実施形態を拡張して、映像処理及びキーフレーミングを行って、所望の触覚フィードバックのためのフレーム又はピクセルのマッピングを生成することができる。一例示的実施形態において、ピクセル強度を所望の実施形態に応じて様々な程度の電気振動、圧力フィードバック、振動フィードバックなどへマッピング可能である。
そのような例示的実施形態においてプロセッサ710は、映像の処理に基づいて映像の触覚情報を生成するように構成可能である。映像の処理には、映像に触覚フィードバックマッピングを適用して映像の対応する複数のフレームに複数レベルの触覚フィードバックを判定することと、触覚出力装置に基づいて複数レベルの触覚フィードバックを規格化することと、映像の対応する複数のフレームに対する複数レベルの触覚フィードバックに基づいて映像のキーフレームを判定すること、が含まれる。触覚フィードバックマッピングには、触覚フィードバックの種類と所望実施形態とによる図3の実施形態を拡張することにより、触覚フィードバックのレベルと、ピクセルカラー及びグレースケール強度のうちの少なくとも1つとの間のマッピングを含むことができる。
例示的実施形態において、触覚出力装置の一部の現在の触覚フィードバックレベルと目標触覚フィードバックレベルとの間の触覚フィードバックのレベル差を判定することと、熱出力装置の電力−触覚フィードバックレベルのマッピングに基づいて触覚出力装置のその部分の目標触覚フィードバックレベルの電力レベルを判定することと、触覚フィードバックレベルの差と触覚出力装置の特性とに基づいて触覚フィードバックレベルの熱出力の継続時間を判定することと、触覚フィードバックの種類と所望の実施形態により図5の実施形態の拡張に基づいて触覚出力装置のその部分に対する触覚フィードバックレベル出力の電力レベルと継続時間に応じて触覚フィードバック機構に関与するように触覚出力装置に指示することと、によって、プロセッサ710は触覚出力装置の触覚フィードバックを調節するように構成可能である。触覚出力装置の特性としては、触覚出力装置が触覚フィードバックレベルの差により、又は第1のレベルから第2のレベルへ、触覚フィードバックレベルを増加または減少させるのに要する時間に関する情報が含まれ得る。これは、所望の実施形態に応じて、触覚出力装置が触覚フィードバックを容易にするために利用する機構や、触覚出力装置の各ピクセルの表面積などに基づいている。
プロセッサ710は、映像の選択部分に対して提示する触覚フィードバックレベルを与えるように構成されたインタフェースを提供し、そのインタフェースへの入力に基づいてその触覚フィードバックレベルを調節するように構成することも可能である。例えば、触覚又は圧力フィードバック装置において、触覚フィードバックレベルによって示されるレベルに従って、触覚出力装置が触知性又は圧力フィードバック出力を提供可能である。
詳細な記述のいくつかの部分は、コンピュータ内部の操作のアルゴリズムと記号表示によって提示される。これらのアルゴリズム表記と記号表示は、データ処理技術の当業者がその技術革新の本質を他の当業者に伝えるために使用する手段である。アルゴリズムは所望の最終状態または結果に至る、一連の定義されたステップである。例示的実施形態において、実行されるステップは有形の結果を達成するための有形量の物理的操作を必要とする。
特に別段の記述がない限り、本議論から明らかなように本説明全体を通じて、「処理する」、「計算処理する」、「計算する」、「判定する」、「表示する」などの用語を使用した議論は、コンピュータシステムのレジスタ及びメモリ内の物理的(電子的)量として表されるデータを操作及び変換して、同様にコンピュータシステムのレジスタ及びメモリ、あるいは他の情報の格納、伝送、又は表示装置内の物理量として表される他のデータとする、コンピュータシステム又は他の情報処理装置の動作及び処理を含むことができる。
例示的実施形態はまた本明細書の操作を実行する装置にも関係する。この装置は、所要目的のために特別に構築されてもよいし、一つ又は複数のコンピュータプログラムによって選択的に作動ないしは再構成された、一つ又は複数の汎用コンピュータを含んでもよい。そのようなコンピュータプログラムは、コンピュータ可読ストレージ媒体又はコンピュータ可読信号媒体などの、コンピュータ可読媒体内に格納されてもよい。コンピュータ可読ストレージ媒体は、これに限定されるものではないが、光ディスク、磁気ディスク、読出し専用メモリ、ランダムアクセスメモリ、ソリッドステート装置及びドライブ、あるいは電子情報の格納に好適なその他の任意の種類の有形あるいは非一時的な媒体などのような有形媒体も含み得る。コンピュータ可読信号媒体は、搬送波などの媒体を含み得る。本明細書に提示したアルゴリズム及び表示は、いかなる特定のコンピュータ又は他の装置にも本質的に関係するものではない。コンピュータプログラムは、所望の実施形態の操作を遂行する命令を含む、純粋なソフトウェア実施形態も含むことができる。
様々な汎用システムが、本明細書の実施例に従うプログラム及びモジュールと共に使用されてもよいし、所望の方法ステップを遂行するためにより特殊化された装置を構築することが好都合であることもある。さらに、例示的実施形態はいかなる特定のプログラミング言語を参照して記述されたものでもない。本明細書に記載の例示的実施形態の教示を実装するために、様々なプログラミング言語が使用され得ることが理解されるであろう。プログラミング言語の命令は、例えば中央処理ユニット(CPU)、プロセッサ、あるいはコントローラなどの、一つ又は複数の処理装置によって実行され得る。
当分野において周知のように、前述の操作は、ハードウェア、ソフトウェア、又はソフトウェアとハードウェアの何らかの組合せによって遂行可能である。例示的実施形態の様々な態様は、回路および論理装置(ハードウェア)を用いて実装されてもよい。また、他の態様は、機械可読媒体(ソフトウェア)上に格納された命令を用いて実装されてもよい。この命令は、プロセッサによって実行されると本出願の実施形態を遂行するための方法をプロセッサに遂行させる。さらに、本出願のいくつかの例示的実施形態はハードウェアのみで遂行されてもよく、その一方で他の例示的実施形態はソフトウェアのみで遂行されてもよい。さらに、記述された様々な機能は単一のユニットで遂行することができるし、あるいは任意の数の方法でいくつかのコンポーネントに亘って広げることもできる。ソフトウェアで遂行される場合、本方法は、コンピュータ可読媒体上に格納された命令に基づいて汎用コンピュータなどのプロセッサによって実行されてよい。必要があれば、命令は圧縮及び/又は暗号化されたフォーマットで媒体上に格納することができる。
さらに、本出願の他の実施形態は、本出願の明細書の考察及び教示の実行から当業者には明らかであろう。記載された例示的実施形態の様々な態様及び/又は構成要素は、単独又は任意の組合せで使用され得る。本明細書及び例示的実施形態は例示としてのみ考えるべきであって、本出願の真の範囲と精神は以下の特許請求の範囲によって示されることが意図されている。
101 映像ファイル
102 コンピュータ装置
103 キーフレーム定義ファイル
104 組み込み装置
105 編集ビュー
106 再生ビュー
107 熱出力装置
201 ソース映像ファイル名
202 キーフレームID
203 グリッド温度出力値
204 対応する映像時間
700 コンピューティング環境
705 コンピューティング装置
710 プロセッサ
715 メモリ
720 内部ストレージ
730 I/Oインタフェース
735 入力/ユーザインタフェース
740 出力装置/インタフェース
745 外部ストレージ
750 ネットワーク
760 論理ユニット
765 APIユニット
770 入力ユニット
775 出力ユニット
795 ユニット間通信機構
800 ディスプレイ
801 加熱機構
802 冷却機構
803 I/F

Claims (19)

  1. 熱出力装置に係わるディスプレイ上で映像の再生を実行し、
    前記熱出力装置に係わる前記ディスプレイ上で前記映像を再生中に、前記映像に関連する熱情報に基づいて前記熱出力装置の一つ又は複数の部分の温度を調節するように前記熱出力装置に命令を与える、
    ように構成されたプロセッサを備える、コンピュータ装置。
  2. 前記プロセッサは、前記映像の処理に基づいて前記映像のための前記熱情報を生成するように構成され、
    前記映像の処理は、
    前記映像に温度マッピングを適用して前記映像の一つ又は複数のフレームに対する一つ又は複数の温度を判定し、
    前記熱出力装置に基づいて前記一つ又は複数の温度を規格化し、
    前記映像の対応する複数のフレームに対する前記一つ又は複数の温度に基づいて前記映像のキーフレームを判定する、
    ことを含む、請求項1に記載のコンピュータ装置。
  3. 前記温度マッピングは、前記温度と、ピクセルカラーとグレースケール強度の少なくとも1つとの間のマッピングを含む、請求項2に記載のコンピュータ装置。
  4. 前記プロセッサは前記熱出力装置の少なくとも一部分の温度を、
    前記熱出力装置の少なくとも前記部分の現在温度と目標温度との間の温度差を判定し、
    前記熱出力装置の電力−温度マッピングに基づいて前記熱出力装置の少なくとも前記部分に対する前記目標温度の電力レベルを判定し、
    前記温度差と前記熱出力装置の特性とに基づいて温度出力継続時間を判定し、
    前記熱出力装置の少なくとも前記部分に対する前記電力レベルと前記温度出力継続時間に従って加熱機構又は冷却機構に関与させるように前記熱出力装置に命令する、
    ことによって調節するように構成された、請求項1に記載のコンピュータ装置。
  5. 前記プロセッサはインタフェースを提供するように構成され、前記インタフェースは、前記映像の選択部分に対して提示する前記熱情報を与え、かつ前記インタフェースへの入力に基づいて前記熱情報を調節するように構成された、請求項1に記載のコンピュータ装置。
  6. 前記インタフェースは前記入力に基づいて前記熱出力装置の選択部分に対する前記熱情報を調節するように構成され、前記部分は前記インタフェースを介して選択される、請求項5に記載のコンピュータ装置。
  7. 熱出力装置に係わるディスプレイ上で映像の再生を実行し、
    前記熱出力装置に係わる前記ディスプレイ上で前記映像を再生中に、前記映像に関連する熱情報に基づいて前記熱出力装置の一つ又は複数の部分の温度を調節するように前記熱出力装置に命令を与える、
    ことを含む、方法。
  8. 前記映像の処理に基づいて前記映像のための前記熱情報を生成することをさらに含み、
    前記映像の前記処理は、
    前記映像に温度マッピングを適用して前記映像の一つ又は複数のフレームに対する一つ又は複数の温度を判定し、
    前記熱出力装置に基づいて前記一つ又は複数の温度を規格化し、
    前記映像の対応する一つ又は複数のフレームに対する前記一つ又は複数の温度に基づいて前記映像のキーフレームを判定する、
    ことを含む、請求項7に記載の方法。
  9. 前記温度マッピングは、前記温度と、ピクセルカラーとグレースケール強度の少なくとも1つとの間のマッピングを含む、請求項8に記載の方法。
  10. 前記熱出力装置の少なくとも一部分の前記温度を調節することが、
    前記熱出力装置の少なくとも前記部分の現在温度と目標温度との間の温度差を判定し、
    前記熱出力装置の電力−温度マッピングに基づいて前記熱出力装置の前記部分に対する前記目標温度の電力レベルを判定し、
    前記温度差と前記熱出力装置の特性とに基づいて温度出力継続時間を判定し、
    前記熱出力装置の少なくとも前記部分に対する前記電力レベルと前記温度出力継続時間に従って加熱機構又は冷却機構に関与させるように前記熱出力装置に命令する、
    ことを含む、請求項7に記載の方法。
  11. インタフェースを提供することをさらに含み、前記インタフェースは、前記映像の選択部分に対して提示する前記熱情報を提供し、かつ前記インタフェースへの入力に基づいて前記熱情報を調節するように構成された、請求項7に記載の方法。
  12. 前記インタフェースは前記入力に基づいて前記熱出力装置の選択部分に対する前記熱情報を調節するように構成され、前記部分は前記インタフェースを介して選択される、請求項11に記載の方法。
  13. プロセスを実行するための命令を格納する非一時的コンピュータ可読媒体であって、前記命令が、
    熱出力装置に係わるディスプレイ上で映像の再生を実行し、
    前記熱出力装置に係わる前記ディスプレイ上で前記映像を再生中に、前記映像に関連する熱情報に基づいて前記熱出力装置の一つ又は複数の部分の温度を調節するように前記熱出力装置に命令を与える、
    ことを含む、非一時的コンピュータ可読媒体。
  14. 前記命令は、前記映像の処理に基づいて前記映像のための前記熱情報を生成することをさらに含み、
    前記映像の前記処理は、
    前記映像に温度マッピングを適用して前記映像の一つ又は複数のフレームに対する一つ又は複数の温度を判定し、
    前記熱出力装置に基づいて前記一つ又は複数の温度を規格化し、
    前記映像の前記一つ又は複数のフレームに対する前記一つ又は複数の温度に基づいて前記映像のキーフレームを判定する、
    ことを含む、請求項13に記載の非一時的コンピュータ可読媒体。
  15. 前記温度マッピングは、前記温度と、ピクセルカラーとグレースケール強度の少なくとも1つとの間のマッピングを含む、請求項14に記載の非一時的コンピュータ可読媒体。
  16. 前記熱出力装置の少なくとも一部分の前記温度を調節するための前記命令が、
    前記熱出力装置の少なくとも前記部分の現在温度と目標温度との間の温度差を判定し、
    前記熱出力装置の電力−温度マッピングに基づいて前記熱出力装置の少なくとも前記部分に対する前記目標温度の電力レベルを判定し、
    前記温度差と前記熱出力装置の特性とに基づいて温度出力継続時間を判定し、
    前記熱出力装置の少なくとも前記部分に対する前記電力レベルと前記温度出力継続時間に従って加熱機構又は冷却機構に関与させるように前記熱出力装置に命令する、
    ことを含む、請求項13に記載の非一時的コンピュータ可読媒体。
  17. インタフェースを提供することをさらに含み、前記インタフェースは、前記映像の選択部分に対して提示する前記熱情報を提供し、かつ前記インタフェースへの入力に基づいて前記熱情報を調節するように構成された、請求項13に記載の非一時的コンピュータ可読媒体。
  18. インタフェースは入力に基づいて前記熱出力装置の選択部分に対する前記熱情報を調節するように構成され、前記部分は前記インタフェースを介して選択される、請求項13に記載の非一時的コンピュータ可読媒体。
  19. コンピュータに、
    熱出力装置に係わるディスプレイ上で映像の再生を実行し、
    前記熱出力装置に係わる前記ディスプレイ上で前記映像を再生中に、前記映像に関連する熱情報に基づいて前記熱出力装置の一つ又は複数の部分の温度を調節するように前記熱出力装置に命令を与えることを含む処理を実行させるためのプログラム。
JP2017175959A 2016-12-13 2017-09-13 熱出力機能を有するコンピュータディスプレイにおける映像再生時の熱出力のオーサリング及びレンダリングのためのシステムと方法、並びに、コンピュータ装置、方法、非一時的コンピュータ可読媒体、及びプログラム Active JP7020010B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/377,966 US10008243B1 (en) 2016-12-13 2016-12-13 System and methods for authoring and rendering thermal output during video playback on computer displays with thermal output capability
US15/377,966 2016-12-13

Publications (2)

Publication Number Publication Date
JP2018097849A true JP2018097849A (ja) 2018-06-21
JP7020010B2 JP7020010B2 (ja) 2022-02-16

Family

ID=62490162

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017175959A Active JP7020010B2 (ja) 2016-12-13 2017-09-13 熱出力機能を有するコンピュータディスプレイにおける映像再生時の熱出力のオーサリング及びレンダリングのためのシステムと方法、並びに、コンピュータ装置、方法、非一時的コンピュータ可読媒体、及びプログラム

Country Status (2)

Country Link
US (1) US10008243B1 (ja)
JP (1) JP7020010B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113014703B (zh) * 2021-02-19 2023-07-14 Oppo广东移动通信有限公司 电子设备的交互方法、装置及计算机可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6496200B1 (en) * 1999-11-02 2002-12-17 Interval Research Corp. Flexible variation of haptic interface resolution
JP2007280121A (ja) * 2006-04-07 2007-10-25 Okano Electric Wire Co Ltd 温度制御システムおよびその温度制御システムに適用される温度制御装置
WO2008010540A1 (fr) * 2006-07-19 2008-01-24 Japan Science And Technology Agency Dispositif d'affichage
JP2011135126A (ja) * 2009-12-22 2011-07-07 Yahoo Japan Corp 動画表示装置、動画表示方法及びプログラム
JP2016080302A (ja) * 2014-10-21 2016-05-16 アズビル株式会社 温度分布表示装置および方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8055450B2 (en) * 2006-05-18 2011-11-08 Bio-Rad Laboratories, Inc. Method and apparatus for temperature control
US9113125B2 (en) * 2012-09-12 2015-08-18 Intel Corporation Techniques for indexing video files
US10298859B2 (en) * 2013-11-01 2019-05-21 Flir Systems Ab Enhanced visual representation of infrared data values
US10009570B2 (en) * 2016-02-24 2018-06-26 International Business Machines Corporation Thermal management of display screens

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6496200B1 (en) * 1999-11-02 2002-12-17 Interval Research Corp. Flexible variation of haptic interface resolution
JP2007280121A (ja) * 2006-04-07 2007-10-25 Okano Electric Wire Co Ltd 温度制御システムおよびその温度制御システムに適用される温度制御装置
WO2008010540A1 (fr) * 2006-07-19 2008-01-24 Japan Science And Technology Agency Dispositif d'affichage
JP2011135126A (ja) * 2009-12-22 2011-07-07 Yahoo Japan Corp 動画表示装置、動画表示方法及びプログラム
JP2016080302A (ja) * 2014-10-21 2016-05-16 アズビル株式会社 温度分布表示装置および方法

Also Published As

Publication number Publication date
US10008243B1 (en) 2018-06-26
US20180166104A1 (en) 2018-06-14
JP7020010B2 (ja) 2022-02-16

Similar Documents

Publication Publication Date Title
US10937200B2 (en) Object-based color adjustment
US20150113411A1 (en) Automatic Configuration of Displays for Slide Presentation
US10145891B2 (en) Apparatus and method using programmable reliability aging timer
US20170084307A1 (en) Method and apparatus for editing video scenes based on learned user preferences
CN111869330B (zh) 基于一种或多种灯光设置渲染动态灯光场景
US10713765B2 (en) Color image modification with approximation function
CN106779576B (zh) 一种业务字段的配置方法
US20150130808A1 (en) Display device and display method
US20230015117A1 (en) Deep Saliency Prior
JP7020010B2 (ja) 熱出力機能を有するコンピュータディスプレイにおける映像再生時の熱出力のオーサリング及びレンダリングのためのシステムと方法、並びに、コンピュータ装置、方法、非一時的コンピュータ可読媒体、及びプログラム
CN104284118A (zh) 图像投射装置以及图像投射装置的控制方法
WO2024198361A1 (zh) 一种应用多模态人工智能的方法与装置
US20220021802A1 (en) Systems and methods for dynamic range compression in multi-frame processing
US9921728B2 (en) Service providing device, and method of providing a user interface
JP2017532925A (ja) サブジェクト指向圧縮システムおよび方法
JP2015514367A (ja) カラーグレーディングプレビュー方法及び装置
JP6021356B2 (ja) 画像表示装置及びその制御方法
CA3103816A1 (en) Method and apparatus for determining supplementary parameters of electronic content
WO2023125393A1 (zh) 用于控制智能家居设备的方法、装置及移动终端
CN107526505A (zh) 一种数据处理的方法及电子设备
US9615009B1 (en) Dynamically adjusting a light source within a real world scene via a light map visualization manipulation
CN109326291A (zh) 电视模式控制方法、电视及存储介质
CN110135929A (zh) 实行于虚拟化妆应用程序的系统、方法及存储媒体
CN114512094B (zh) 屏幕色彩调节方法、装置、终端及计算机可读存储介质
US20210158491A1 (en) System and method for precise image inpainting to remove unwanted content from digital images

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200717

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210520

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210601

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210721

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220104

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220117

R150 Certificate of patent or registration of utility model

Ref document number: 7020010

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150