JP2015531932A5 - - Google Patents

Download PDF

Info

Publication number
JP2015531932A5
JP2015531932A5 JP2015528394A JP2015528394A JP2015531932A5 JP 2015531932 A5 JP2015531932 A5 JP 2015531932A5 JP 2015528394 A JP2015528394 A JP 2015528394A JP 2015528394 A JP2015528394 A JP 2015528394A JP 2015531932 A5 JP2015531932 A5 JP 2015531932A5
Authority
JP
Japan
Prior art keywords
mapping
feedback
regions
limiting
identified features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015528394A
Other languages
English (en)
Other versions
JP2015531932A (ja
JP6359538B2 (ja
Filing date
Publication date
Priority claimed from US13/954,523 external-priority patent/US9280206B2/en
Application filed filed Critical
Publication of JP2015531932A publication Critical patent/JP2015531932A/ja
Publication of JP2015531932A5 publication Critical patent/JP2015531932A5/ja
Application granted granted Critical
Publication of JP6359538B2 publication Critical patent/JP6359538B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Claims (15)

  1. 電子装置の動作方法において:
    イメージ(image)を多数の領域に分ける過程と、
    前記多数の領域の各々の1つ以上の地点で1つ以上の特徴を識別する過程と、
    前記1つ以上の特徴に基づいて前記多数の領域を分類する過程と、
    前記多数の領域の分類に基づいて前記多数の領域の各々をフィードバック効果(feedback effects)の多数の様態(multiple modalities)のうち少なくとも1つにマッピング(mapping)する過程と、
    前記多数の領域の各々での入力を検出することに応じて前記フィードバック効果に対する1つ以上のパラメータ(parameters)を生成し、前記多数の領域の各々に関連づけて前記1つ以上の生成されたパラメータを保存する過程と、を含む方法。
  2. 記フィードバック効果の前記多数の様態は、1つ以上の視覚フィードバック効果、1つ以上のハプティック(haptic)フィードバック効果、及び1つ以上の聴覚フィードバック効果を含む請求項1に記載の方法。
  3. 前記電子装置の画面に前記イメージを表示する(display)過程と、
    前記入力に対応する前記イメージの座標を識別する過程と、
    前記イメージの一領域にマッピングされた前記フィードバック効果を識別する過程と、
    前記電子装置の前記画面に前記フィードバック効果のうち少なくとも1つを提供する過程と、をさらに含む請求項1に記載の方法。
  4. 前記1つ以上の識別された特徴は、前記イメージの一領域に関連付けられたテクスチャ(texture)、強度、及びカラーを含む請求項1に記載の方法。
  5. ユーザに前記フィードバック効果の前記多数の様態のうち1つ以上を提供することに対する制限条件を識別する過程と、
    前記1つ以上の識別された特徴の制限されない前記フィードバック効果の前記多数の態へのマッピングを制限する過程と、さらにむ請求項に記載の方法。
  6. 前記制限条件は、視覚的に損傷した動作モードであって、
    前記1つ以上の識別された特徴のマッピングを制限する過程は、前記1つ以上の識別された特徴を前記1つ以上のハプティックフィードバック効果及び前記1つ以上の聴覚フィードバック効果のうち少なくとも1つにマッピングすることを制限する過程をむ請求項に記載の方法。
  7. 前記制限条件を識別する過程は、センサ(sensor)を使用して光量がしきい値より低いことを識別する過程を含み、
    前記1つ以上の識別された特徴のマッピングを制限する過程は、前記1つ以上の識別された特徴を前記1つ以上のハプティックフィードバック効果及び前記1つ以上の聴覚フィードバック効果のうち少なくとも1つにマッピングすることを制限する過程をむ請求項に記載の方法。
  8. 前記制限条件は、黙音動作モードであって、
    前記1つ以上の識別された特徴のマッピングを制限する過程は、前記1つ以上の識別された特徴を前記1つ以上のハプティックフィードバック効果及び前記1つ以上の聴覚フィードバック効果のうち少なくとも1つにマッピングすることを制限する過程をむ請求項に記載の方法。
  9. 電子装置において、
    プロセッサ(processor)と、
    前記プロセッサと機能的に結合された画面と、を含み、
    前記プロセッサは、
    イメージ(image)を多数の領域に分け、
    前記多数の領域の各々の1つ以上の地点で1つ以上の特徴を識別し、
    前記1つ以上の特徴に基づいて前記多数の領域を分類し、
    前記多数の領域の分類に基づいて前記多数の領域の各々をフィードバック効果(feedback effects)の多数の様態(multiple modalities)のうち少なくとも1つにマッピング(mapping)し、
    前記多数の領域の各々での入力を検出することに応じて前記フィードバック効果に対する1つ以上のパラメータ(parameters)を生成し、前記多数の領域の各々に関連づけて前記1つ以上の生成されたパラメータを保存し、
    前記画面は、前記フィードバック効果のうち少なくとも1つを提供する装置。
  10. 前記フィードバック効果の前記多数の様態は、1つ以上の視覚フィードバック効果、1つ以上のハプティック(haptic)フィードバック効果、及び1つ以上の聴覚フィードバック効果を含む請求項9に記載の装置。
  11. 前記画面は、前記イメージを表示(display)し、
    前記プロセッサは、前記入力に対応する前記イメージの座標を識別し、前記イメージの一領域にマッピングされた前記フィードバック効果を識別し、
    前記画面は、前記電子装置の前記画面に前記フィードバック効果のうち少なくとも1つを提供する請求項9に記載の装置。
  12. 前記1つ以上の識別された特徴は、前記イメージの一領域に関連付けられたテクスチャ(texture)、強度、及びカラーを含む請求項9に記載の装置。
  13. 前記プロセッサは、
    ユーザに前記フィードバック効果の前記多数の様態のうち1つ以上を提供することに対する制限条件を識別し、
    前記1つ以上の識別された特徴の制限されない前記フィードバック効果の前記多数の様態へのマッピングを制限する請求項10に記載の装置。
  14. 前記制限条件は、視覚的に損傷した動作モードであって、
    前記プロセッサは、前記1つ以上の識別された特徴を前記1つ以上のハプティックフィードバック効果及び前記1つ以上の聴覚フィードバック効果のうち少なくとも1つにマッピングすることを制限する請求項13に記載の装置。
  15. 前記プロセッサは、
    センサ(sensor)を使用して光量がしきい値より低いことを識別し、
    前記1つ以上の識別された特徴を前記1つ以上のハプティックフィードバック効果及び前記1つ以上の聴覚フィードバック効果のうち少なくとも1つにマッピングすることを制限する請求項13に記載の装置。
JP2015528394A 2012-08-20 2013-08-16 マルチモードフィードバックでイメージを認識するシステム及び方法 Expired - Fee Related JP6359538B2 (ja)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201261691135P 2012-08-20 2012-08-20
US61/691,135 2012-08-20
US201261709870P 2012-10-04 2012-10-04
US61/709,870 2012-10-04
US13/954,523 2013-07-30
US13/954,523 US9280206B2 (en) 2012-08-20 2013-07-30 System and method for perceiving images with multimodal feedback
PCT/KR2013/007406 WO2014030888A1 (en) 2012-08-20 2013-08-16 System and method for perceiving images with multimodal feedback

Publications (3)

Publication Number Publication Date
JP2015531932A JP2015531932A (ja) 2015-11-05
JP2015531932A5 true JP2015531932A5 (ja) 2016-10-06
JP6359538B2 JP6359538B2 (ja) 2018-07-18

Family

ID=50099733

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015528394A Expired - Fee Related JP6359538B2 (ja) 2012-08-20 2013-08-16 マルチモードフィードバックでイメージを認識するシステム及び方法

Country Status (6)

Country Link
US (1) US9280206B2 (ja)
EP (1) EP2885690A4 (ja)
JP (1) JP6359538B2 (ja)
KR (1) KR102162419B1 (ja)
CN (1) CN104583912B (ja)
WO (1) WO2014030888A1 (ja)

Families Citing this family (75)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9417754B2 (en) 2011-08-05 2016-08-16 P4tents1, LLC User interface system, method, and computer program product
EP2847658B1 (en) 2012-05-09 2017-06-21 Apple Inc. Device, method, and graphical user interface for providing tactile feedback for operations performed in a user interface
WO2013169849A2 (en) 2012-05-09 2013-11-14 Industries Llc Yknots Device, method, and graphical user interface for displaying user interface objects corresponding to an application
WO2013169843A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for manipulating framed graphical objects
WO2013169842A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for selecting object within a group of objects
WO2013169875A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for displaying content associated with a corresponding affordance
WO2013169851A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for facilitating user interaction with controls in a user interface
CN107728906B (zh) 2012-05-09 2020-07-31 苹果公司 用于移动和放置用户界面对象的设备、方法和图形用户界面
EP2847660B1 (en) 2012-05-09 2018-11-14 Apple Inc. Device, method, and graphical user interface for selecting user interface objects
EP2847662B1 (en) 2012-05-09 2020-02-19 Apple Inc. Device, method, and graphical user interface for providing feedback for changing activation states of a user interface object
JP6273263B2 (ja) 2012-05-09 2018-01-31 アップル インコーポレイテッド ユーザ接触に応答して追加情報を表示するための、デバイス、方法、及びグラフィカルユーザインタフェース
WO2013169845A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for scrolling nested regions
WO2013169865A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for moving a user interface object based on an intensity of a press input
JP6002836B2 (ja) 2012-05-09 2016-10-05 アップル インコーポレイテッド ジェスチャに応答して表示状態間を遷移するためのデバイス、方法、及びグラフィカルユーザインタフェース
CN107832003B (zh) 2012-12-29 2021-01-22 苹果公司 用于放大内容的方法和设备、电子设备和介质
JP6158947B2 (ja) 2012-12-29 2017-07-05 アップル インコーポレイテッド タッチ入力からディスプレイ出力への関係間を遷移するためのデバイス、方法及びグラフィカルユーザインタフェース
CN105264479B (zh) 2012-12-29 2018-12-25 苹果公司 用于对用户界面分级结构进行导航的设备、方法和图形用户界面
JP6093877B2 (ja) 2012-12-29 2017-03-08 アップル インコーポレイテッド 複数接触ジェスチャのために触知出力の生成を見合わせるためのデバイス、方法、及びグラフィカルユーザインタフェース
CN105144057B (zh) 2012-12-29 2019-05-17 苹果公司 用于根据具有模拟三维特征的控制图标的外观变化来移动光标的设备、方法和图形用户界面
WO2014105279A1 (en) 2012-12-29 2014-07-03 Yknots Industries Llc Device, method, and graphical user interface for switching between user interfaces
WO2014147443A1 (en) * 2013-03-20 2014-09-25 Nokia Corporation A touch display device with tactile feedback
US9864972B2 (en) 2013-11-14 2018-01-09 Wells Fargo Bank, N.A. Vehicle interface
US10021247B2 (en) 2013-11-14 2018-07-10 Wells Fargo Bank, N.A. Call center interface
US10037542B2 (en) 2013-11-14 2018-07-31 Wells Fargo Bank, N.A. Automated teller machine (ATM) interface
US11023655B2 (en) 2014-06-11 2021-06-01 Microsoft Technology Licensing, Llc Accessibility detection of content properties through tactile interactions
KR102497720B1 (ko) 2014-09-02 2023-02-10 애플 인크. 가변 햅틱 출력을 위한 시맨틱 프레임워크
EP3213298B1 (en) * 2014-10-30 2018-12-12 Koninklijke Philips N.V. Texture analysis map for image data
US9971406B2 (en) 2014-12-05 2018-05-15 International Business Machines Corporation Visually enhanced tactile feedback
US9990107B2 (en) 2015-03-08 2018-06-05 Apple Inc. Devices, methods, and graphical user interfaces for displaying and using menus
US9632664B2 (en) 2015-03-08 2017-04-25 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10095396B2 (en) 2015-03-08 2018-10-09 Apple Inc. Devices, methods, and graphical user interfaces for interacting with a control object while dragging another object
US9645732B2 (en) 2015-03-08 2017-05-09 Apple Inc. Devices, methods, and graphical user interfaces for displaying and using menus
US10048757B2 (en) * 2015-03-08 2018-08-14 Apple Inc. Devices and methods for controlling media presentation
US9639184B2 (en) 2015-03-19 2017-05-02 Apple Inc. Touch input cursor manipulation
US9785305B2 (en) 2015-03-19 2017-10-10 Apple Inc. Touch input cursor manipulation
US20170045981A1 (en) 2015-08-10 2017-02-16 Apple Inc. Devices and Methods for Processing Touch Inputs Based on Their Intensities
US10067653B2 (en) 2015-04-01 2018-09-04 Apple Inc. Devices and methods for processing touch inputs based on their intensities
KR20160137258A (ko) * 2015-05-22 2016-11-30 삼성전자주식회사 전자 장치 및 그의 화면 표시 방법
KR101654906B1 (ko) * 2015-05-28 2016-09-22 경희대학교 산학협력단 캐릭터 동작 제어 장치 및 방법
US9674426B2 (en) 2015-06-07 2017-06-06 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US9860451B2 (en) 2015-06-07 2018-01-02 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US10200598B2 (en) 2015-06-07 2019-02-05 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US10346030B2 (en) 2015-06-07 2019-07-09 Apple Inc. Devices and methods for navigating between user interfaces
US9891811B2 (en) 2015-06-07 2018-02-13 Apple Inc. Devices and methods for navigating between user interfaces
US9830048B2 (en) 2015-06-07 2017-11-28 Apple Inc. Devices and methods for processing touch inputs with instructions in a web page
US10416800B2 (en) 2015-08-10 2019-09-17 Apple Inc. Devices, methods, and graphical user interfaces for adjusting user interface objects
US10248308B2 (en) 2015-08-10 2019-04-02 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interfaces with physical gestures
US9880735B2 (en) 2015-08-10 2018-01-30 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10235035B2 (en) 2015-08-10 2019-03-19 Apple Inc. Devices, methods, and graphical user interfaces for content navigation and manipulation
KR102516670B1 (ko) * 2015-08-18 2023-04-03 삼성전자주식회사 전자 장치 및 전자 장치의 제어 방법
KR20170039379A (ko) * 2015-10-01 2017-04-11 삼성전자주식회사 전자 장치 및 이의 제어 방법
US10600336B2 (en) * 2015-10-02 2020-03-24 Purdue Research Foundation Multimodal image perception system and method
US10518132B2 (en) * 2015-11-09 2019-12-31 Tgoma Nz Limited Trampoline for use as an input device for an electronic game
US10296088B2 (en) * 2016-01-26 2019-05-21 Futurewei Technologies, Inc. Haptic correlated graphic effects
KR102456953B1 (ko) * 2016-03-11 2022-10-21 한국전자통신연구원 이미지 제공 장치 및 방법
DK179823B1 (en) 2016-06-12 2019-07-12 Apple Inc. DEVICES, METHODS, AND GRAPHICAL USER INTERFACES FOR PROVIDING HAPTIC FEEDBACK
CN106383587B (zh) * 2016-10-26 2020-08-04 腾讯科技(深圳)有限公司 一种增强现实场景生成方法、装置及设备
US10831277B2 (en) 2016-12-21 2020-11-10 Telefonaktiebolaget Lm Ericsson (Publ) Region of interest classification
US10147460B2 (en) * 2016-12-28 2018-12-04 Immersion Corporation Haptic effect generation for space-dependent content
EP3427664A1 (en) * 2017-07-13 2019-01-16 Koninklijke Philips N.V. A device for scatter correction in an x-ray image and a method for scatter correction in an xray image
KR102429901B1 (ko) * 2017-11-17 2022-08-05 삼성전자주식회사 부분 영상을 생성하기 위한 전자 장치 및 그의 동작 방법
US20190266401A1 (en) * 2018-01-11 2019-08-29 Intelinair, Inc Change Detection System
CN108803925A (zh) * 2018-05-24 2018-11-13 上海闻泰信息技术有限公司 触屏效果的实现方法、装置、终端和介质
CN109240585A (zh) * 2018-08-08 2019-01-18 瑞声科技(新加坡)有限公司 一种人机交互的方法、装置、终端和计算机可读存储介质
IT201800009989A1 (it) * 2018-10-31 2020-05-01 Neosperience Spa Metodo per gestire una interazione informativa con un utente, programma software per eseguire detto metodo e dispositivo elettronico dotato di detto software
CN109343716B (zh) * 2018-11-16 2022-05-10 Oppo广东移动通信有限公司 一种图像显示方法及装置、计算机可读存储介质
US11927944B2 (en) * 2019-06-07 2024-03-12 Honeywell International, Inc. Method and system for connected advanced flare analytics
CN110244845B (zh) * 2019-06-11 2022-08-05 Oppo广东移动通信有限公司 触觉反馈方法、装置、电子设备及存储介质
KR102125567B1 (ko) * 2019-07-02 2020-06-22 한양대학교 에리카산학협력단 식물 엑소좀의 대량 생산 방법
US11645323B2 (en) 2020-02-26 2023-05-09 Samsung Electronics Co.. Ltd. Coarse-to-fine multimodal gallery search system with attention-based neural network models
CN112099667B (zh) * 2020-09-11 2024-03-08 京东方科技集团股份有限公司 一种触觉传感及反馈基板及其驱动方法
US20210117003A1 (en) * 2020-10-23 2021-04-22 Intel Corporation Computing platforms and related methods for providing accessible user interfaces
CN112596612A (zh) * 2020-12-28 2021-04-02 北京小米移动软件有限公司 触感反馈生成方法、触感反馈生成装置及存储介质
CN113704922B (zh) * 2021-09-01 2024-02-02 江苏师范大学 一种基于声振及纹理特征预测表面粗糙度的方法
US11995240B2 (en) * 2021-11-16 2024-05-28 Neosensory, Inc. Method and system for conveying digital texture information to a user

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4567817B2 (ja) * 1997-09-11 2010-10-20 ソニー株式会社 情報処理装置及びその制御方法
JP3987182B2 (ja) * 1998-01-26 2007-10-03 Idec株式会社 情報表示装置および操作入力装置
US6226399B1 (en) 1999-05-27 2001-05-01 Integral Vision, Inc. Method and system for identifying an image feature and method and system for determining an optimal color space for use therein
JP2001189774A (ja) * 1999-12-28 2001-07-10 Nec Corp スケジュール管理装置とスケジュール管理方法及びスケジュール管理プログラムを記録した記録媒体
US7225115B2 (en) * 2001-10-04 2007-05-29 Novint Technologies, Inc. Coordinating haptics with visual images in a human-computer interface
JP2006074477A (ja) * 2004-09-02 2006-03-16 Pioneer Electronic Corp 通信用端末装置、通信用端末装置の機能設定変更方法及びそのプログラム
JP2008033739A (ja) * 2006-07-31 2008-02-14 Sony Corp 力覚フィードバックおよび圧力測定に基づくタッチスクリーンインターラクション方法および装置
JP2008219709A (ja) * 2007-03-07 2008-09-18 Pioneer Electronic Corp 遠隔操作装置
US20090102805A1 (en) * 2007-10-18 2009-04-23 Microsoft Corporation Three-dimensional object simulation using audio, visual, and tactile feedback
US9170649B2 (en) 2007-12-28 2015-10-27 Nokia Technologies Oy Audio and tactile feedback based on visual environment
US8373549B2 (en) * 2007-12-31 2013-02-12 Apple Inc. Tactile feedback in an electronic device
US20090207175A1 (en) * 2008-02-15 2009-08-20 Apple Inc. Animation Using Animation Effect and Trigger Element
US9357052B2 (en) * 2008-06-09 2016-05-31 Immersion Corporation Developing a notification framework for electronic device events
US9696803B2 (en) * 2009-03-12 2017-07-04 Immersion Corporation Systems and methods for friction displays and additional haptic effects
KR20190077113A (ko) 2009-07-22 2019-07-02 임머숀 코퍼레이션 플랫폼에 걸쳐 햅틱 피드백을 갖는 상호작용 터치 스크린 게임 메타포
KR101324687B1 (ko) * 2009-08-10 2013-11-04 한국과학기술원 이미지에 햅틱 정보를 인코딩하는 방법, 이미지로부터 햅틱 정보를 디코딩하는 방법 및 이를 위한 햅틱 정보 처리 장치
WO2011029067A2 (en) * 2009-09-03 2011-03-10 Obscura Digital, Inc. Large scale multi-user, multi-touch system
US8171049B2 (en) 2009-09-18 2012-05-01 Xerox Corporation System and method for information seeking in a multimedia collection
US20110267181A1 (en) 2010-04-29 2011-11-03 Nokia Corporation Apparatus and method for providing tactile feedback for user
US20110285666A1 (en) * 2010-05-21 2011-11-24 Ivan Poupyrev Electrovibration for touch surfaces
US9417665B2 (en) * 2010-06-28 2016-08-16 Apple Inc. Providing an alternative human interface
US8693788B2 (en) 2010-08-06 2014-04-08 Mela Sciences, Inc. Assessing features for classification
JP5598981B2 (ja) * 2010-10-14 2014-10-01 国立大学法人宇都宮大学 知覚刺激情報生成システム
TWI435251B (zh) * 2011-08-09 2014-04-21 Wistron Corp 推估觸摸螢幕之壓力變化之方法及系統
US9063570B2 (en) * 2012-06-27 2015-06-23 Immersion Corporation Haptic feedback control system

Similar Documents

Publication Publication Date Title
JP2015531932A5 (ja)
JP2015515688A5 (ja)
JP2016539430A5 (ja)
JP2017510868A5 (ja)
JP2017123179A5 (ja)
EP2383027A3 (en) User interface processing apparatus, method of processing user interface, and non-transitory computer-readable medium embodying computer program for processing user interface
RU2016124468A (ru) Управляющее устройство, способ управления и компьютерная программа
EP4252646A3 (en) Wearable electronic device and method for controlling the same
BR112015020986A2 (pt) método e aparelho para manipulação de dados em tela de dispositivo eletrônico
JP2017518566A5 (ja)
WO2015200890A3 (en) Manipulation of calendar application in device with touch screen
EP2755112A3 (en) Method and portable terminal for providing a haptic effect
WO2014170180A3 (fr) Procede de detection capacitif multizone, dispositif et appareil mettant en oeuvre le procede
EP2759919A3 (en) Methods and devices for simultaneous multi-touch input
JP2014126889A5 (ja)
JP2013106951A5 (ja)
JP2010086411A5 (ja)
JP2014522012A5 (ja)
EP2664986A3 (en) Method and electronic device thereof for processing function corresponding to multi-touch
EP2770423A3 (en) Method and apparatus for operating object in user device
JP2016522935A5 (ja)
EP2787483A3 (en) Image processing device, control method, and program
JP2016164748A5 (ja)
WO2014133769A3 (en) Method and system for image processing
JP2016534774A5 (ja)