JP2006509223A - 使用者の視覚障害の特徴的症状及び再生嗜好によるビジュアル・コンテンツ適応変換方法及びシステム - Google Patents

使用者の視覚障害の特徴的症状及び再生嗜好によるビジュアル・コンテンツ適応変換方法及びシステム Download PDF

Info

Publication number
JP2006509223A
JP2006509223A JP2004545039A JP2004545039A JP2006509223A JP 2006509223 A JP2006509223 A JP 2006509223A JP 2004545039 A JP2004545039 A JP 2004545039A JP 2004545039 A JP2004545039 A JP 2004545039A JP 2006509223 A JP2006509223 A JP 2006509223A
Authority
JP
Japan
Prior art keywords
user
visual content
visual
adapting
degree
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2004545039A
Other languages
English (en)
Inventor
ホン、ジン−ウー
ヤン、スン−ジ
ロ、ヨン−マン
ナム、ジェ−ホ
キム、ジン−ウン
キム、チョン−ソク
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Electronics and Telecommunications Research Institute ETRI
Hichemtech Inc
Research and Industrial Cooperation Group
Original Assignee
Electronics and Telecommunications Research Institute ETRI
Hichemtech Inc
Research and Industrial Cooperation Group
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Electronics and Telecommunications Research Institute ETRI, Hichemtech Inc, Research and Industrial Cooperation Group filed Critical Electronics and Telecommunications Research Institute ETRI
Publication of JP2006509223A publication Critical patent/JP2006509223A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/451Execution arrangements for user interfaces
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00Teaching, or communicating with, the blind, deaf or mute
    • G09B21/001Teaching or communicating with blind persons
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440254Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering signal-to-noise parameters, e.g. requantization
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/475End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/475End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data
    • H04N21/4755End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data for defining user preferences, e.g. favourite actors or genre
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/485End-user interface for client configuration
    • H04N21/4854End-user interface for client configuration for modifying image parameters, e.g. image brightness, contrast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30041Eye; Retina; Ophthalmic
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/02Improving the quality of display appearance
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0606Manual adjustment
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0626Adjustment of display parameters for control of overall brightness
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/066Adjustment of display parameters for control of contrast
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/14Solving problems related to the presentation of information to be displayed
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/20Circuitry for controlling amplitude response
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/44Receiver circuitry for the reception of television signals according to analogue transmission standards

Abstract

ネットワーク及びターミナルによらず、視覚障害のある人々に対するビジュアル品質を適応させて、向上させることが可能な方法およびシステムが開示される。意味的に定義された一組の「症状」によって、視覚障害は説明される。視覚障害の説明方法として、眼の疾患の個別の特定の名称よりもむしろ記述に基づく提案された「症状」を用いる方が柔軟性及び信頼性がある。これは、使用者が自分の経験に基づいて関連症状を特定することによって、自分の視覚障害を説明することが可能なためである。入力されたビジュアル・コンテンツはその視覚障害によって適応変換される。

Description

本発明は、使用者の視覚障害(low-vision impairment )の特徴的症状及び再生嗜好(presentation preference )によってビジュアル・コンテンツを適応させる方法及びシステムに関する。特に、本発明は、視覚障害のある使用者が利用しようとするデジタル・ビジュアル・コンテンツを、その使用者の視覚障害の特徴及び再生嗜好に適応させ、そのビジュアル・コンテンツから誤った情報を認知する限界点を克服することによって、その使用者が、同一のコンテンツから健常使用者が得ることができる情報を取得することを可能にする方法及びシステムに関する。
ISO/IEC(International Standard Organization/International Electrotechnical Committee) JTC1 SC29のワーキング・グループである動画専門家グループ(MPEG:Motion Picture Expert Group)は、マルチメディアのフレームワークに対する次世代標準としてMPEG−21を制定している。MPEG−21は既存のMPEGや他の標準団体等の規格を統合し、互いに異なる社会環境下に存在する広範囲なネットワークやターミナル、使用者の特性を問わずマルチメディア・コンテンツを自在に、且つ簡単に使用することができるマルチメディアの統合フレームワークの実現を目的としている。MPEG−21のパート7のデジタル・アイテム適応は、マルチメディア・コンテンツ(デジタル・アイテム)をネットワークやターミナル、使用者の特性により適応させることに関連しており、現在標準化作業が進行中である。
本発明は、以下の表1に示す視覚障害の症状に基づいて視覚障害のある人にもビジュアル情報を見られるようにする方法を提案する。
Figure 2006509223
本発明は、視覚障害のある使用者に対して、その視覚障害の症状の種類によらず、健常使用者が得ることができるレベルと同程度のビジュアル・コンテンツをネットワークやターミナルを問わずに提供することを目的とする。
また本発明は、マルチメディア・コンテンツを使用者の再生嗜好に適応させる方法及びシステムを提供することを別の目的とする。
この目的を達成するために、本発明は、使用者の視覚障害の症状及び再生嗜好についての入力データ記述構造を定義して、その使用者の視覚障害の症状及び/または再生嗜好によってデジタル・アイテムを適応させる方法及びシステムを提供する。
本発明は、使用者の視覚障害の症状及び再生嗜好によってビジュアル・コンテンツを適応させる方法であって、ビジュアル・コンテンツを受け入れるステップと、使用者の視覚障害の症状及び再生嗜好についての情報を受け入れて、標準化された記述構造で表現するステップと、前記情報によって選択された方法により前記受け入れられたビジュアル・コンテンツを適応させるステップと、前記適応されたビジュアル・コンテンツを使用者に表示するステップと、を備える。
使用者の視覚障害の症状についての情報は、使用者の左右失明障害の有無を表す情報と、左右眼の視力を表す情報と、視覚障害の症状の種類の情報とのうちの少なくとも一つを含む。また、使用者の視覚障害の症状についての情報は、使用者の視覚障害の症状の程度を表現するテキストまたは数値記述子を含む。使用者の視覚障害の症状についての情報は、鮮明度低下の程度と、コントラスト低下の程度と、光過敏性の程度と、光要求の程度と、周辺視野の欠損の程度と、中央視野の欠損の程度と、半盲の程度とからなるグループより選択された少なくとも一つを含む。
使用者の再生嗜好についての情報は、使用者のコンテンツ資源優先順位嗜好を含む。コンテンツ資源優先順位嗜好は、形式優先順位嗜好及びジャンル優先順位嗜好を有する。コンテンツ資源優先順位嗜好は、対象優先順位嗜好を有する。
ビジュアル・コンテンツを適応させるステップは、コントラストの調節、画質の調節、明るさの調節、グレアの低減、イメージ・サイズの調節、再生優先順位、及び形式変換のうちから前記使用者情報によって選択された少なくとも一つの手法により行われる。
また本発明は、使用者の視覚障害の症状及び再生嗜好によって、ビジュアル・コンテンツを適応させるシステムであって、ビジュアル・コンテンツを受け入れる手段と、使用者の視覚障害の症状及び再生嗜好についての情報を受け入れて、標準化された記述構造で保存する手段と、前記情報によって選択された方法により前記受け入れられたビジュアル・コンテンツを適応させる手段と、前記適応されたビジュアル・コンテンツを使用者に表示する手段と、を備える。
本発明のさらなる目的及び利点は、添付図面と併せた以下の詳細な説明により、十分に理解されよう。
以下、添付図面を参照して本発明の好ましい実施形態を詳細に説明する。図面において同一の参照符号は、同一または類似の構成要素を示すものとして用いる。
図1は、本発明によるシステム・ブロック図である。図1に示すように、このシステムは、ビジュアル・コンテンツ入力ユニット(100)と、使用者情報提供ユニット(200)と、ビジュアル・コンテンツ変換ユニット(300)と、変換ビジュアル・コンテンツ出力ユニット(400)と、を含む。使用者情報提供ユニット(200)は、使用者情報入力部(150)と、記述構造変換部(160)と、記述子保存部(170)と、からなる。
先ず、使用者の視覚障害の症状及び/または再生嗜好についての情報が使用者情報入力部(150)を介して入力される。使用者情報入力部は、通常のキーボードや専用検査装置により構成可能である。入力された使用者情報は、記述構造変換部(160)を介して標準化された記述構造に変換される。記述構造が標準化されることによって、その情報は、ネットワークやターミナルの特性によらず使用可能となる。また、ビジュアル・コンテンツを適応させるビジュアル・コンテンツ変換ユニット(300)が他の製造業者により製造されていたとしても、その使用者情報は互換性を有する。以下、標準化された記述構造で記述されている使用者情報を「標準記述子」と称する。標準記述子(180)は、記述子保存部(170)にあらかじめ保存されていて、ビジュアル・コンテンツ変換ユニット(300)による呼び出しにより読み出される。
使用者が再生しようとするビジュアル・コンテンツは、有線または無線のネットワークからビジュアル・コンテンツ入力ユニット(100)を介して入力される。ビジュアル・コンテンツ入力ユニット(100)は、通常、ネットワーク・モデムにより構成される。入力されたビジュアル・コンテンツは、ビジュアル・コンテンツ変換ユニット(300)に伝送され、ビジュアル・コンテンツ変換ユニット(300)は、記述子保存部(170)から標準記述子の形態の使用者情報を受け入れる。ビジュアル・コンテンツ変換ユニット(300)は、使用者情報提供ユニット(200)から受け入れた使用者情報を用いてビジュアル・コンテンツ入力ユニット(100)を介して提供されたビジュアル・コンテンツを適応させる。適応されたビジュアル・コンテンツは、ビジュアル・コンテンツ出力ユニット(400)を介して使用者に出力される。ビジュアル・コンテンツ出力ユニット(400)は、通常、陰極線管や液晶表示装置のようなモニタである。
図2は、本発明による標準記述子(180)の記述構造を示す。図2に示すように、使用者情報の標準記述子(180)は、使用者視覚障害症状記述部(210)及び/または使用者再生嗜好情報記述部(220)からなる。使用者視覚障害症状記述部(210)は、鮮明度低下の程度を表す記述子(211)と、コントラスト低下の程度を表す記述子(212)と、光過敏性の程度を表す記述子(213)と、光要求の程度を表す記述子(214)と、周辺視野の欠損の程度を表す記述子(215)と、中央視野の欠損の程度を表す記述子(216)と、半盲の程度を表す記述子(217)と、を含む。各記述子は、図3に示すような視覚障害の症状の程度を表すための記述子(230)を含む。視覚障害の症状の程度の記述子(230)は、視覚障害の症状の程度を大略的に表現するための記述子であり、症状の程度を弱、中、強の3つの等級で表現するテキスト記述子(231)及び/または視覚障害の症状の程度を0.0〜1.0の範囲で詳細に表現する数値記述子(232)からなる。
一方、使用者再生嗜好情報記述部(220)は、一般資源優先嗜好(221)と特定資源優先嗜好(224)とを含む。一般資源優先嗜好(221)は、ビジュアル・コンテンツの型についての嗜好を表す形式優先嗜好(222)と、ビジュアル・コンテンツの内容についての嗜好を表すジャンル優先嗜好(223)と、を有する。特定資源優先嗜好(224)は、ビジュアル・コンテンツを構成している特定対象についての優先嗜好(255)を含む。
ヒトは年を取るにつれて自然に視覚能力が低下する。しかしながら、このような変化が視覚障害をもたらすことはない。視覚障害を誘発する原因としては、白内障、緑内障、黄斑変性症のような眼科疾患や外傷後の深刻な合併症や後遺症、並びに眼の先天的な発達障害などがある。もちろん、視覚障害の殆どの部分は眼鏡、薬物、あるいは外科手術によって治療することができるが、完全に治療不能であるか、あるいは部分的な治療のみが可能な眼科疾患による視覚障害は、永久的な視覚能力の喪失をもたらす。
本発明では、視覚障害の主要な7つの症状を視覚障害特性のための記述子に含む。鮮明度低下の症状(211)は物体が混濁して見える症状を表し、コントラスト低下の症状(212)は互いに異なる明暗間の区別能力が低下する症状を表す。光過敏の症状(213)は明るい光への拒否感が増大する症状を表し、光要求の症状(214)は、光の感度が低下し、多量の光を必要する症状を表す。また、中央視野の欠損の症状(215)は、眼の中央部分に視野を妨げる物質が形成され、対象の中心が見えなくなる症状を表し、周辺視野の欠損の症状(216)は、眼の周辺部分に視野を妨げる物質が形成され、対象の周辺部分が見えなくなる症状を表す。最後に、半盲症状(217)は視野の半分が見えない症状を表す。
下記表2a〜表2cは、図2に示された使用者視覚障害症状記述部(210)をXML(extensible markup language)文書で記述した例である。
Figure 2006509223
Figure 2006509223
Figure 2006509223
Figure 2006509223
Figure 2006509223
上記表3a及び表3bは、図2に示された使用者再生嗜好情報記述部(220)をXML文書で記述した例である。
図4は、本発明の一つの実施形態による適応方法を説明したフロー図である。ビジュアル・コンテンツ入力ユニット(100)からコンテンツが伝送されると、ビジュアル・コンテンツ変換ユニット(300)は、使用者情報提供ユニット(200)から標準記述子の形態の視覚障害特性を受け入れ(ステップ310)、使用者再生嗜好情報を受け入れる(ステップ312)。次に、ビジュアル・コンテンツ変換ユニット300は、視覚障害特性から使用者の視覚障害の症状とその症状の深刻度とについての情報を抽出して、各症状に適した適応方法を選択してビジュアル・コンテンツを適応させる。例えば、ビジュアル・コンテンツ変換ユニット300は、使用者が鮮明度低下の症状に該当するか否かを判断し(ステップ314)、鮮明度低下の症状に該当した場合は、鮮明度低下に対する適応を行い(ステップ328)、鮮明度低下の症状に該当しない場合は、次の視覚障害の症状に該当するか否かを判断する。このような方法で、ビジュアル・コンテンツ変換ユニット300は、使用者がコントラスト低下(ステップ316)、光過敏(ステップ318)、光要求(ステップ320)、周辺視野の欠損(ステップ322)、中央視野の欠損(ステップ324)、半盲(ステップ326)の症候に該当するか否かを順次判断し、その判断結果によってコントラスト低下の症状に対する適応(ステップ330)、光過敏の症状に対する適応(ステップ332)、光要求の症状に対する適応(ステップ334)、周辺視野の欠損の症状に対する適応(ステップ336)、中央視野の欠損の症状に対する適応(ステップ338)、半盲の症状に対する適応(ステップ340)を各々行う。適応されたビジュアル・コンテンツは、ビジュアル・コンテンツ出力ユニット(400)に提供され、表示される。
視覚障害の症状を補償するためのビジュアル・コンテンツ適応手法としては、コントラストの調節、画質の調節、明るさの調節、グレアの低減、イメージ・サイズの調節、再生優先順位、及び形式変換などがある。先ず、コントラストの調節は、使用者の障害のレベルに応じて、ビジュアル・コンテンツのコントラストを向上させる。視覚障害が極めて深刻な場合には、黒色・白色の画像変換により、コントラストを極度に向上させることができる。画質の調節は、使用者の視覚障害の症状に応じて、ビジュアル・コンテンツの高周波領域を強調することによって、画像/ビデオのエッジ(edge)の可視性(visibility)を向上させる。明るさの調節は、使用者の視覚障害の症状に応じて、コンテンツの明るさを調節する。明るさの調節は、2つの要素から構成される。一方は、光過敏の症状(213)に適応するために明るさを減少させるものであり、他方は、光要求の症状(214)に適応するために明るさを増加させるものである。
グレアの低減は、ビジュアル・コンテンツのグレア効果により使用者がビジュアル・コンテンツの内容を見づらい場合に使用される。この手法として、ホモモロフィック・フィルタと称される特定の手法を利用することが可能である。この手法によって、ビジュアル・コンテンツの低強度領域の画質(鮮明度)は向上され、高強度領域の照射は低減される。イメージ・サイズの調節は、ビジュアル・コンテンツの画像サイズを変更し、イメージ・サイズの縮小、拡大、及び特定の縦横比のサイズ変更を行う。この手法は、周辺視野の欠損の症状(215)、中央視野の欠損の症状(216)、及び半盲症状(217)に対して効果的に適用される。
再生優先順位は、使用者の視覚能力及び使用者の興味に応じて、特定のコンテンツ対象の質を向上させ、一部の重要性の低い対象は原型のまま、あるいは、低品質で提供する。例えば、視覚障害のある使用者がテキスト・コンテンツに興味がある場合、イメージ・コンテンツは捨てるか、あるいは低画質で提供し、テキスト(テキスト・イメージを含む)やオーディオ・コンテンツ(使用者に聴覚障害がなければ)はより優先して高品質で提供される。各コンテンツ対象に対する適応レベルは、その優先順位に依存している。特に、優先順位が高いコンテンツ対象であるほど、向上し、より多くの資源が割り当てられるため、高品質となる。
形式変換は、コンテンツの意味(semantics )を変更することなく、そのコンテンツの形式を、視覚障害のある使用者にとって適切な他の形式に変換する手法である。例えば、ほぼ盲人に近いが、聴力には全く問題がない使用者の場合、ビジュアル・コンテンツを同一の情報を記述するオーディオ・コンテンツに変換することが可能である。
下記の表4は、本発明による視覚障害の症状に対する適応手法の優先順位を表している。本発明の適応手法として、コントラストの調整(CC)、画質の調節(SC)、明るさの調節(BC)、グレアの低減(GR)、イメージ・サイズの調節(AIS)、再生優先順位(PP)、及び形式変換(MC)が使用される。表4において、「**」印が付いた手法は、「*」印が付いた手法よりも高い優先順位で採択されて利用される手法であることを示す。また、「○」印は、あらゆる症状に対して利用可能な適応手法であることを示す。すなわち、再生優先順位及び形式変換は、あらゆる視覚障害の症状に対して適用可能な手法である。
Figure 2006509223
鮮明度低下の症状(211)の場合、コントラストの調節、画質の調節、明るさの調節、及びイメージ・サイズの調節が適用可能であり、特に、コントラストの調節、画質の調節、及びイメージ・サイズの調節が優先的に行われる。コントラスト低下の症状(212)の場合、コントラストの調節、画質の調節、明るさの調節、及びイメージ・サイズの調節の手法が利用可能であり、コントラストの調節及びイメージ・サイズの調節が他の手法に比べて優先的に行われる。
光過敏の症状(213)の場合、コントラストの調節、画質の調節、明るさの調節、グレアの低減、及びイメージ・サイズの調節が適用可能であり、明るさの調節及びグレアの低減が他の手法に比べて優先的に行われる。光要求の症状(214)の場合、コントラストの調節、画質の調節、明るさの調節、グレアの低減、及びイメージ・サイズの調節の手法が利用可能であり、明るさの調節及びグレアの低減が他の手法に比べて優先的に行われる。
周辺視野の欠損の症状(215)の場合、コントラストの調節、画質の調節、明るさの調節、及びイメージ・サイズの調節の手法が適用可能であり、イメージ・サイズの調節が他の手法に比べて優先的に行われる。中央視野の欠損の症状(216)の場合、コントラストの調節、画質の調節、明るさの調節、及びイメージ・サイズの調節が適用可能であり、イメージ・サイズの調節が他の手法に比べて優先的に行われる。最後に、半盲の症候(217)の場合、コントラストの調節、画質の調節、明るさの調節、及びイメージ・サイズの調節が利用可能であり、イメージ・サイズの調節手法が他の方法に比べて優先的に行われる。
前述の実施形態は、本発明を説明するためのものあり、本出願の権利範囲を限定しようとするものではない。当業者は、本発明の範囲及び技術思想から逸脱することなく、前述の実施形態についての多様な変形や変更が可能であることに注目しなければならない。本出願の権利範囲は原則的に後述する特許請求の範囲により定められる。
前述のような本発明により、障害のある使用者であっても別途の装備なく、ビジュアル・コンテンツから健常使用者とほぼ同等な意味情報の伝達を受けることによって、視覚障害のある使用者も自由に、且つ簡単にマルチメディア・コンテンツを利用可能となる。本発明は、国際標準であるMPEG−7及びMPEG−21のデジタル・アイテム適応にも適用可能である。
本発明によるシステムのブロック図。 本発明による使用者情報記述構造を示す図。 視覚障害の症状の程度の記述構造を示す図。 本発明の一つの実施形態による適応方法を説明するフロー図。

Claims (17)

  1. 使用者の視覚障害の症状及び再生嗜好によってビジュル・コンテンツを適応させる方法であって、
    ビジュアル・コンテンツを受け入れるステップと、
    使用者の視覚障害の症状及び再生嗜好についての情報を受け入れて、標準化された記述構造で表現するステップと、
    前記情報によって選択された方法により、前記受け入れられたビジュアル・コンテンツを適応させるステップと、
    前記適応されたビジュアル・コンテンツを使用者に表示するステップと、
    を備える、ビジュアル・コンテンツを適応させる方法。
  2. 前記使用者の視覚障害の症状についての情報は、使用者の左右失明障害の有無を表す情報と、使用者の左右眼の視力を表す情報と、使用者の視覚障害の症状の種類を表す情報とのうちの少なくとも一つを含む、請求項1に記載のビジュアル・コンテンツを適応させる方法。
  3. 前記使用者の視覚障害の症状についての情報は、使用者の視覚障害の症状の程度を表現するテキストまたは数値記述子を含む、請求項1に記載のビジュアル・コンテンツを適応させる方法。
  4. 前記使用者の視覚障害の症状についての情報は、使用者の鮮明度低下の程度と、コントラスト低下の程度と、光過敏性の程度と、光要求の程度と、周辺視野の欠損の程度と、中央視野の欠損の程度と、半盲の程度とからなるグループより選択された少なくとも一つを含む、請求項1に記載のビジュアル・コンテンツを適応させる方法。
  5. 前記使用者の再生嗜好についての情報は、使用者のコンテンツ資源優先順位嗜好を含む、請求項1に記載のビジュアル・コンテンツを適応させる方法。
  6. 前記コンテンツ資源優先順位嗜好は、形式優先順位嗜好及びジャンル優先順位嗜好を有する、請求項5に記載のビジュアル・コンテンツを適応させる方法。
  7. 前記コンテンツ資源優先順位嗜好は、対象優先順位嗜好を有する、請求項5に記載のビジュアル・コンテンツを適応させる方法。
  8. 前記ビジュアル・コンテンツを適応させるステップは、コントラストの調節と、画質の調節と、明るさの調節と、グレアの低減と、イメージ・サイズの調節と、再生優先順位と、形式変換とから前記使用者情報によって選択された少なくとも一つの手法によって行われる、請求項1に記載のビジュアル・コンテンツを適応させる方法。
  9. 使用者の視覚障害の症状によってビジュアル・コンテンツを適応させる方法であって、
    ビジュアル・コンテンツを受け入れるステップと、
    使用者の視覚障害の症状についての情報を受け入れて、標準化された記述構造で表現するステップと、
    標準化された記述構造を有する前記使用者情報によって、前記受け入れられたビジュアル・コンテンツを適応させるステップと、
    前記適応されたビジュアル・コンテンツを使用者に表示するステップと、
    を備える、ビジュアル・コンテンツを適応させる方法。
  10. 前記使用者の視覚障害の症状についての情報は、鮮明度低下の程度と、コントラスト低下の程度と、光過敏性の程度と、光要求の程度と、周辺視野の欠損の程度と、中央視野の欠損の程度、半盲の程度とからなるグループより選択された少なくとも一つを含む、請求項9に記載のビジュアル・コンテンツを適応させる方法。
  11. 使用者の再生嗜好によってビジュアル・コンテンツを適応させる方法であって、
    ビジュアル・コンテンツの受け入れるステップと、
    使用者の再生嗜好についての情報を受け入れて、標準化された記述構造で表現するステップと、
    標準化された記述構造を有する前記使用者情報によって、前記受け入れられたビジュアル・コンテンツを適応させるステップと、
    前記適応されたビジュアル・コンテンツを使用者に表示するステップと、
    を備える、ビジュアル・コンテンツを適応させる方法。
  12. 前記使用者の再生嗜好についての情報は、使用者のコンテンツ資源優先順位嗜好を含む、請求項11に記載のビジュアル・コンテンツを適応させる方法。
  13. 前記コンテンツ資源優先順位嗜好は、形式優先順位嗜好及びジャンル優先順位嗜好を有する、請求項12に記載のビジュアル・コンテンツを適応させる方法。
  14. 使用者の視覚障害の症状及び再生嗜好によってビジュアル・コンテンツを適応させるシステムであって、
    ビジュアル・コンテンツを受け入れる手段と、
    使用者の視覚障害の症状及び再生嗜好についての情報を受け入れて、標準化された記述構造で保存する手段と、
    前記情報によって選択された方法により前記受け入れられたビジュアル・コンテンツを適応させる手段と、
    前記適応されたビジュアル・コンテンツを使用者に表示する手段と、
    を備える、ビジュアル・コンテンツを適応させるシステム。
  15. 前記使用者の視覚障害の症状についての情報は、鮮明度低下の程度と、コントラスト低下の程度と、光過敏性の程度と、光要求の程度と、周辺視野の欠損の程度と、中央視野の欠損の程度と、半盲の程度とからなるグループより選択された少なくとも一つを含む、請求項14に記載のビジュアル・コンテンツを適応させるシステム。
  16. 前記使用者の再生嗜好についての情報は、使用者のコンテンツ資源優先順位嗜好を含む、請求項14に記載のビジュアル・コンテンツを適応させるシステム。
  17. 前記ビジュアル・コンテンツを適応させる手段は、コントラストの調節と、画質の調節と、明るさの調節と、グレアの低減と、イメージ・サイズの調節と、再生優先順位と、形式変換とから前記使用者情報によって選択された少なくとも一つの手法を行う、請求項14に記載のビジュアル・コンテンツを適応させるシステム。
JP2004545039A 2002-10-16 2003-10-15 使用者の視覚障害の特徴的症状及び再生嗜好によるビジュアル・コンテンツ適応変換方法及びシステム Pending JP2006509223A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20020063153 2002-10-16
PCT/KR2003/002135 WO2004036447A1 (en) 2002-10-16 2003-10-15 Method and system for transforming adaptively visual contents according to user's symptom characteristics of low vision impairment and user's presentation preferences

Publications (1)

Publication Number Publication Date
JP2006509223A true JP2006509223A (ja) 2006-03-16

Family

ID=36165403

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004545039A Pending JP2006509223A (ja) 2002-10-16 2003-10-15 使用者の視覚障害の特徴的症状及び再生嗜好によるビジュアル・コンテンツ適応変換方法及びシステム

Country Status (7)

Country Link
US (1) US20060290712A1 (ja)
EP (1) EP1570374A4 (ja)
JP (1) JP2006509223A (ja)
KR (1) KR100721524B1 (ja)
CN (1) CN100409227C (ja)
AU (1) AU2003269542A1 (ja)
WO (1) WO2004036447A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013528115A (ja) * 2010-06-11 2013-07-08 バック イン フォーカス 観察者の視覚障害を補正するための表示を表現するシステム、方法、およびそのプログラムを格納している記憶媒体
JP2019008344A (ja) * 2017-06-20 2019-01-17 ヤフー株式会社 情報処理装置、情報処理方法、及び情報処理プログラム

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
PE20090188A1 (es) 2007-03-15 2009-03-20 Novartis Ag Compuestos heterociclicos como moduladores de la senda de hedgehog
US8135013B2 (en) 2007-04-06 2012-03-13 International Business Machines Corporation Internet protocol switch and use of the switch for switching a frame
US8089967B2 (en) 2007-04-06 2012-01-03 International Business Machines Corporation Modification of a switching table of an internet protocol switch
US8705549B2 (en) 2007-04-06 2014-04-22 International Business Machines Corporation Structure and implementation of universal virtual private networks
US8144709B2 (en) 2007-04-06 2012-03-27 International Business Machines Corporation Method, system and computer processing an IP packet, routing a structured data carrier, preventing broadcast storms, load-balancing and converting a full broadcast IP packet
JP4981531B2 (ja) * 2007-06-19 2012-07-25 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
US7864072B2 (en) 2007-12-11 2011-01-04 International Business Machines Corporation System and method for automatically adjusting traffic light
US9472014B2 (en) * 2008-12-19 2016-10-18 International Business Machines Corporation Alternative representations of virtual content in a virtual universe
US20130215147A1 (en) * 2012-02-17 2013-08-22 Esight Corp. Apparatus and Method for Enhancing Human Visual Performance in a Head Worn Video System
EP2770403A1 (en) * 2013-02-25 2014-08-27 BlackBerry Limited Device with glasses mode
US9406253B2 (en) * 2013-03-14 2016-08-02 Broadcom Corporation Vision corrective display
US11144119B2 (en) 2015-05-01 2021-10-12 Irisvision, Inc. Methods and systems for generating a magnification region in output video images
US11372479B2 (en) 2014-11-10 2022-06-28 Irisvision, Inc. Multi-modal vision enhancement system
US11546527B2 (en) 2018-07-05 2023-01-03 Irisvision, Inc. Methods and apparatuses for compensating for retinitis pigmentosa
CA2971163A1 (en) 2014-11-10 2016-05-19 Visionize Corp. Methods and apparatus for vision enhancement
US10102763B2 (en) * 2014-11-28 2018-10-16 D2L Corporation Methods and systems for modifying content of an electronic learning system for vision deficient users
US9684950B2 (en) 2014-12-18 2017-06-20 Qualcomm Incorporated Vision correction through graphics processing
US20170374423A1 (en) * 2016-06-24 2017-12-28 Glen J. Anderson Crowd-sourced media playback adjustment
CA3091176A1 (en) 2018-02-13 2019-08-22 Frank Werblin Methods and apparatus for contrast sensitivity compensation
US11482133B2 (en) 2019-09-04 2022-10-25 Optum Services (Ireland) Limited Automatically modifying display presentations to programmatically accommodate for visual impairments
US11350166B2 (en) 2020-08-27 2022-05-31 Comcast Cable Communications, Llc Systems and methods for improved content accessibility scoring
EP4337148A2 (en) 2021-05-12 2024-03-20 Accessibe Ltd. Systems and methods for making websites accessible

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09212322A (ja) * 1996-01-30 1997-08-15 Nec Corp 画面サイズ設定装置
JPH1165547A (ja) * 1997-08-25 1999-03-09 Canon Inc 文書表示システムおよび方法
JPH11272574A (ja) * 1998-03-19 1999-10-08 Seiko Epson Corp 情報配信方法および情報配信システム並びに情報配信処理プログラムを記録した記録媒体
JPH11338940A (ja) * 1998-05-21 1999-12-10 Toshiba Tec Corp 情報処理装置
JP2000020200A (ja) * 1998-07-03 2000-01-21 Mitsubishi Electric Corp ユーザインターフェース装置
JP2001051761A (ja) * 1999-06-09 2001-02-23 Internatl Business Mach Corp <Ibm> 自動カラー・コントラスト・アジャスタ
JP2002063277A (ja) * 2000-08-18 2002-02-28 Prop Station:Kk 情報提供システム及び情報提供方法

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4979812A (en) * 1983-12-05 1990-12-25 Reese Ronald E Method and graphics for achieving optimal lens correction for subnormal vision due to impaired retinas and undeveloped defective focusing abilities
US4697594A (en) * 1985-08-21 1987-10-06 North American Philips Corporation Displaying a single parameter image
US5067019A (en) * 1989-03-31 1991-11-19 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Programmable remapper for image processing
US5267331A (en) * 1990-07-26 1993-11-30 Ronald Siwoff Digitally enhanced imager for the visually impaired
US5359675A (en) * 1990-07-26 1994-10-25 Ronald Siwoff Video spectacles
IL103763A (en) * 1992-11-16 1999-03-12 Technion Res & Dev Foundation Device and method for enhancing colored figures
US6049328A (en) * 1995-10-20 2000-04-11 Wisconsin Alumni Research Foundation Flexible access system for touch screen devices
US5662706A (en) * 1996-06-14 1997-09-02 Pbh, Inc. Variable transmissivity annular mask lens for the treatment of optical aberrations
JPH1078952A (ja) * 1996-07-29 1998-03-24 Internatl Business Mach Corp <Ibm> 音声合成方法、音声合成装置、ハイパーテキストの制御方法及び制御装置
WO1998037465A1 (en) * 1997-02-21 1998-08-27 Baker Hughes Incorporated Adaptive objet-oriented optimization software system
IL132227A0 (en) * 1997-04-07 2001-03-19 Lawton Teri A Methods and apparatus for diagnosing and remediating reading disorders
US6226642B1 (en) * 1997-09-11 2001-05-01 International Business Machines Corporation Content modification of internet web pages for a television class display
AU1114899A (en) * 1997-10-22 1999-05-10 Ascent Technology, Inc. Voice-output reading system with gesture-based navigation
NL1007531C2 (nl) * 1997-11-12 1999-06-02 Tno Werkwijze en inrichting voor het weergeven van een kleurenbeeld.
US6198395B1 (en) * 1998-02-09 2001-03-06 Gary E. Sussman Sensor for sight impaired individuals
US6329986B1 (en) * 1998-02-21 2001-12-11 U.S. Philips Corporation Priority-based virtual environment
US6624828B1 (en) * 1999-02-01 2003-09-23 Microsoft Corporation Method and apparatus for improving the quality of displayed images through the use of user reference information
US6155682A (en) * 1999-03-23 2000-12-05 Steinberg; Stanley P. Apparatus and methods for improving vision damaged by retinal deterioration
KR20010083979A (ko) * 2000-02-23 2001-09-06 김인중 사이버공간 시각화를 통한 웹 브라우징 인터페이스 방법
WO2001069380A2 (en) * 2000-03-14 2001-09-20 Edapta, Inc. A system and method for enabling dynamically adaptable user interfaces for electronic devices
JP2001266052A (ja) * 2000-03-15 2001-09-28 Ricoh Co Ltd 情報の構造化及びアプリケーション生成の方法及び装置
US6591008B1 (en) * 2000-06-26 2003-07-08 Eastman Kodak Company Method and apparatus for displaying pictorial images to individuals who have impaired color and/or spatial vision
US6416867B1 (en) * 2000-10-16 2002-07-09 Daniel Nathan Karpen Reduced glare neodymium oxide containing window glass
US6868190B1 (en) * 2000-10-19 2005-03-15 Eastman Kodak Company Methods for automatically and semi-automatically transforming digital image data to provide a desired image look
US7162526B2 (en) * 2001-01-31 2007-01-09 International Business Machines Corporation Apparatus and methods for filtering content based on accessibility to a user
GB2371914B (en) * 2001-02-03 2004-09-22 Ibm Non-visual user interface
EP1377955A2 (en) * 2001-03-15 2004-01-07 International Business Machines Corporation Method and system for accessing interactive multimedia information or services from braille documents
US20030014445A1 (en) * 2001-07-13 2003-01-16 Dave Formanek Document reflowing technique
WO2003096669A2 (en) * 2002-05-10 2003-11-20 Reisman Richard R Method and apparatus for browsing using multiple coordinated device
US7145571B2 (en) * 2002-11-01 2006-12-05 Tenebraex Corporation Technique for enabling color blind persons to distinguish between various colors

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09212322A (ja) * 1996-01-30 1997-08-15 Nec Corp 画面サイズ設定装置
JPH1165547A (ja) * 1997-08-25 1999-03-09 Canon Inc 文書表示システムおよび方法
JPH11272574A (ja) * 1998-03-19 1999-10-08 Seiko Epson Corp 情報配信方法および情報配信システム並びに情報配信処理プログラムを記録した記録媒体
JPH11338940A (ja) * 1998-05-21 1999-12-10 Toshiba Tec Corp 情報処理装置
JP2000020200A (ja) * 1998-07-03 2000-01-21 Mitsubishi Electric Corp ユーザインターフェース装置
JP2001051761A (ja) * 1999-06-09 2001-02-23 Internatl Business Mach Corp <Ibm> 自動カラー・コントラスト・アジャスタ
JP2002063277A (ja) * 2000-08-18 2002-02-28 Prop Station:Kk 情報提供システム及び情報提供方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013528115A (ja) * 2010-06-11 2013-07-08 バック イン フォーカス 観察者の視覚障害を補正するための表示を表現するシステム、方法、およびそのプログラムを格納している記憶媒体
JP2019008344A (ja) * 2017-06-20 2019-01-17 ヤフー株式会社 情報処理装置、情報処理方法、及び情報処理プログラム

Also Published As

Publication number Publication date
CN1705941A (zh) 2005-12-07
KR100721524B1 (ko) 2007-05-23
AU2003269542A1 (en) 2004-05-04
US20060290712A1 (en) 2006-12-28
CN100409227C (zh) 2008-08-06
EP1570374A1 (en) 2005-09-07
KR20050084849A (ko) 2005-08-29
WO2004036447A1 (en) 2004-04-29
AU2003269542A8 (en) 2004-05-04
EP1570374A4 (en) 2010-06-02

Similar Documents

Publication Publication Date Title
JP2006509223A (ja) 使用者の視覚障害の特徴的症状及び再生嗜好によるビジュアル・コンテンツ適応変換方法及びシステム
US20140292637A1 (en) Method for adjusting head-mounted display adaptively and head-mounted display
JP2011525746A (ja) 三次元ビデオ映像処理方法及びその装置
CN102137270A (zh) 字幕的3d显示处理
US20070146631A1 (en) System and method for analysis and visualization of metamorphopsia through three dimensional scene regeneration and testing of vision thereby
Lund The influence of video image size and resolution on viewing-distance preferences
US10979755B2 (en) Delivery of media content to a user device at a particular quality based on a personal quality profile
US20230282183A1 (en) Luminance adaption to minimize discomfort and improve visibility
EP1685705A1 (en) Adaptation of close-captioned text based on surrounding video content
CN105979370B (zh) 一种配置图像模式的方法及装置
CN105872845A (zh) 智能调节字幕大小的方法及电视机
US20060074744A1 (en) Method and electronic device for creating personalized content
CN110826465A (zh) 可穿戴设备显示的透明度调整方法和装置
KR101089829B1 (ko) 영상의 카테고리 및 배경화면 정보를 이용한 화질 향상을 위한 디스플레이 조정 장치 및 디스플레이 조정 방법
Woelders et al. New developments in low-bit rate videotelephony for people who are deaf
JP4580345B2 (ja) コンテンツ送信装置およびコンテンツ出力装置
Agualló et al. From Disabilities to Capabilities: testing subtitles in immersive environments with end users
Rice et al. Low vision and the visual interface for interactive television
Fukuda New electronic media and the human interface
Agualló et al. From disabilities to capabilities: testing subtitles in immersive environments with end users; De discapacidades a capacidades: testando subtítulos en medios inmersivos con usuarios
CN114979594B (zh) 一种单片液晶投影仪的智能底色调节系统
tho Pesch Chris. J. Hughes
EP0533348A2 (en) Apparatus and method for providing and displaying a partially transparent image
TWI383662B (zh) Video playback method
EP3634002A1 (en) Closed captioning with identifier capabilities

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081007

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20090107

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20090115

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090227

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20090901

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091224

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20100118

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20100311

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20100311

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20100830

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20101022

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20110119

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20110119