TWI684907B

TWI684907B - 數位影像辨識方法、電子裝置、電腦程式產品

Info

Publication number: TWI684907B
Application number: TW107142545A
Authority: TW
Inventors: 曾建嘉; 楊昇宏; 潘柏瑋
Original assignee: 財團法人金屬工業研究發展中心
Priority date: 2018-11-28
Filing date: 2018-11-28
Publication date: 2020-02-11
Also published as: TW202020647A

Abstract

本發明提出一種數位影像辨識方法，包括：解碼數位影像檔案以取得數位影像；透過前台應用程式提供一個使用者介面，用以讓使用者透過瀏覽器與使用者介面互動，其中使用者介面呈現數位影像；透過使用者介面接收對應至數位影像的影像編輯操作；根據影像編輯操作從數位影像檔案中取得對應數位影像的採樣區域之特性資訊；透過前台應用程式傳送上述的特性資訊至伺服器以進行影像辨識程序。

Description

數位影像辨識方法、電子裝置、電腦程式產品

本發明是有關於一種數位影像辨識方法，特別是有關於一種透過瀏覽器提供影像辨識服務的方法。

近年來，數位醫學影像辨識的市場正在快速地成長，透過人工智慧的技術來辨識醫學影像，可以解決一些人力昂貴的問題。與一般的數位影像不同，醫學影像並沒有一致的檔案格式，不同的廠商可能會使用不同的檔案格式，此外，在一個檔案內可能包含了許多不同倍率的影像以及一些元資料(metadata)。因此，要如何提供一個便利的服務平台來瀏覽、編輯或辨識醫學影像，為此領域技術人員所關心的議題。

本發明的實施例提出一種數位影像辨識方法，適用於電子裝置，此數位影像辨識方法包括：解碼數位影像檔案以取得數位影像；透過前台應用程式提供一個使用者介面，用以讓使用者透過瀏覽器與使用者介面互動，其中使用者介面呈現數位影像；透過使用者介面接收對應至數位影像的影像編輯操作；根據影像編輯操作從數位影像檔案中取得對應數位影像的採樣區域之特性資訊；透過前台應用程式傳送數位影像的採樣區域之特性資訊至伺服器以進行影像辨識程序。

在一些實施例中，在解碼數位影像檔案的步驟之前，數位影像辨識方法還包括：透過前台應用程式預先下載數位影像檔案，其中解碼數位影像檔案的步驟是由前台應用程式所執行。

在一些實施例中，上述解碼數位影像檔案的步驟是由一後台應用程式所執行。數位影像辨識方法還包括：透過前台應用程式下載數位影像。

在一些實施例中，數位影像辨識方法更包括：透過前台應用程式在離線狀態下紀錄影像編輯操作，直到進入連線狀態以後再以批次方式將影像編輯操作更新至後台伺服器。

在一些實施例中，上述的影像編輯操作包括擷取或註記。

在一些實施例中，上述的特性資訊包括影像大小、座標位址、指標、偏移值、圖層數量或圖層位置。

在一些實施例中，數位影像辨識方法還包括：根據採樣區域之特性資訊解碼數位影像檔案以取得另一張數位影像，此另一張數位影像的失真程度小於上述數位影像的失真程度；以及透過前台應用程式傳送失真程度較小的數位影像至伺服器以進行影像辨識程序。

以另外一個角度來說，本發明的實施例也提出一種電腦程式產品，由一電子裝置載入並執行以完成上述的影像辨識方法。

以另外一個角度來說，本發明的實施例也提出一種電子裝置，其包括記憶體與處理器。記憶體儲存有多個指令，處理器用以執行這些指令以完成上述的影像辨識方法。

為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

100‧‧‧數位影像辨識系統

102‧‧‧使用者

110‧‧‧電子裝置

110a‧‧‧個人電腦

110b‧‧‧筆記型電腦

110c‧‧‧智慧型手機

111‧‧‧處理器

112‧‧‧記憶體

120‧‧‧後台伺服器

130‧‧‧伺服器

210‧‧‧數位影像檔案

211~214、310‧‧‧數位影像

401~407、401a‧‧‧步驟

410‧‧‧失真數位影像

420‧‧‧檔案

430‧‧‧特性資訊

501~505‧‧‧步驟

[圖1]是根據一實施例繪示數位影像辨識系統的示意圖。

[圖2]是根據一實施例繪示不同倍率的數位影像的示意圖。

[圖3]是根據一實施例繪示解碼數位影像檔案的示意圖。

[圖4]是根據一實施例繪示影像辨識系統的運作示意圖。

[圖5]是根據一實施例繪示數位影像辨識方法的流程圖。

圖1是根據一實施例繪示數位影像辨識系統的示意圖。請參照圖1，數位影像辨識系統100包括了電子裝置110、後台伺服器120、伺服器130。電子裝置110可以實作為個人電腦110a、筆記型電腦110b、智慧型手機110c或其他具有計算能力的電子裝置。電子裝置110包括了處理器111與記憶體112，記憶體112中儲存有多個指令，這些指令由處理器111來執行一個影像辨識方法。

具體來說，使用者102可開啟電子裝置110上的一瀏覽器，連上一個特定網站，之後會從後台伺服器120下載至少一段程式碼(亦稱為前台應用程式)，此前台應用程式可由JavaScript、超文件標示語言(HyperText Markup Language、HTML)、或其他合適的語言所撰寫。前台應用程式會提供一個使用者介面與使用者102互動，讓使用者102可存取一數位影像檔案，以下先說明數位影像檔案。

圖2是根據一實施例繪示不同倍率的數位影像的示意圖。在一些實施例中，上述的數位影像檔案是關於醫學影像，一般來說在同一個數位影像檔案中會包含了多張不同倍率的影像，如圖2所示，數位影像檔案210包含了屬於不同倍率的數位影像211~214，這一些實施例中也稱數位影像211~214屬於不同的圖層。此外，數位影像檔案210中還會包含一些元資料(metadata)，例如影像大小、座標位址、指標、偏移值、圖層數量、圖層位置等等，本發明並不在此限。因此，首先必須要解碼此數位影像檔案210。圖3是根據一實施例繪示解碼數位影像檔案的示意圖。在一些實施例中，數位影像檔案210的副檔名可為“.mrxs、“.svs”、“.scn”、或其他可能的副檔名，但本發明並不在此限。數位影像檔案210通常是經過壓縮的檔案，因此必須先經過一或多個解碼程序，最後可以得到多張數位影像，使用者可以瀏覽任何一張數位影像，在此取其中一張數位影像310為例繼續說明。

請參照圖1與圖3，在此共有兩種方式來解碼數位影像檔案210。第一種方式是由後台伺服器120上的一後台應用程式來解碼數位影像檔案210，然後由前台應用程式來下載解碼後的數位影像310。第二種方式是由前台應用程式下載數位影像檔案210，由前台應用程式來解碼數位影像檔案210。在一些實施例中，前台應用程式可利用圖形處理器(graphics processing unit，GPU)來進行平行運算，藉此加速解碼的程序。本發明並不限制是採用上述哪一種方式來解碼數位影像檔案210。

使用者102可以透過上述的瀏覽器來檢視數位影像310。值得一提的是，瀏覽器所呈現數位影像310會因解碼過程產生失真、也會有色偏的問題，因此使用者所看到的數位影像並不完全相同於原始數位影像檔210中的資料數據。接下來，使用者102可透過瀏覽器中的使用者介面來對數位影像310進行至少一個影像編輯操作，例如為擷取或註記，用以標示出需要辨識的部分。然後，瀏覽器(或指前台應用程式)會根據此影像編輯操作從數位影像檔案210中取得對應數位影像310的採樣區域之特性資訊，此特性資訊可包括灰階值、影像大小、座標位址、指標、偏移值、圖層數量或圖層位置。舉例來說，上述的影像編輯操作是擷取數位影像310中的一細胞影像，上述的採樣區域便是使用者所圈選的範圍，瀏覽器會從數位影像檔案210中對應的圖層與影像資料中取得該細胞影像的特性資訊。值得注意的是，前台應用程式並不是從瀏覽器中顯示的數位影像310擷取所需要的部分，這是因為如果用數位影像310來進行辨識，則可能會有錯誤的辨識結果。接下來，前台應用程式會將上述取得的特性資訊傳送至後台伺服器120，後台伺服器120可以將此特性資訊傳送至伺服器130以進行一個影像辨識程序，例如透過卷積神經網路來判斷影像中的生物組織是否有異常，或偵測出影像中的某一特定物件、或進行切割(segmentation)，本發明並不限制影像辨識程序的內容。在一些實施例中，上述的影像辨識程序也可以由後台伺服器120所提供，換言之圖1所繪示的後台伺服器120與伺服器130僅是示意，在一些實施例中後台伺服器120與伺服器130可實作或整合為更多或更少的伺服器。

在一些實施例中，在取得使用者的影像編輯操作以後，前台應用程式可根據採樣區域之特性資訊來解碼數位影像檔案210以取得另一張數位影像(未繪示)，此數位影像的失真程度是小於數位影像310的失真程度，此失真程度可以是均方誤差(mean square error)、絕對誤差或其他可用來衡量影像失真的指標，本發明並不在此限。舉例來說，在使用者截取出瀏覽器所顯示的細胞影像之後，前台應用程式可重新解碼數位影像檔案210中對應至細胞影像的資料以得到失真程度較小的細胞影像。在取得失真程度較小的數位影像以後，前台應用程式可以將此數位影像傳送至伺服器130以進行影像辨識程序。

在一些實施例中，當使用者在進行上述的影像編輯操作時，電子裝置110可能處於離線的狀態，此時前台應用程式會先記錄在離線狀態下發生的影像編輯操作。等到電子裝置110進入了連線狀態，前台應用程式會再以批次方式將影像編輯操作更新至後台伺服器120。舉例來說，使用者在離線狀態下選取了多個需要辨識的影像部分，這些影像部分的大小、位置、所屬圖層會被記錄在一個檔案，例如為瀏覽器的Cookie當中。在連線狀態下，前台應用程式會根據Cookie中的資訊取得數位影像檔案210中對應的特性資訊，再將這些特性資訊傳送至後台伺服器120與伺服器130以進行影像辨識程序。

圖4是根據一實施例繪示影像辨識系統的運作示意圖。在圖4中同時繪示了兩種解碼方法，在步驟401中，電子裝置110中的前台應用程式會解碼數位影像檔案210。在一些實施例中，此數位影像檔案210可以預先地下載至電子裝置110上，因此步驟401可以在離線狀態下執行。接下來，在步驟402中，由前台應用程式在瀏覽器中顯示一張數位影像410讓使用者檢視以及編輯。如果在離線狀態，在步驟403中，使用者所進行的影像編輯操作會先儲存在檔案420當中。

另一方面，如同上述的另一種解碼方法，在步驟401a中，是由後台伺服器120上的後台應用程式來解碼數位影像檔案210，之後再將解碼後的數位影像傳送至電子裝置110，藉此在瀏覽器中呈現數位影像410。因此，步驟401與步驟401a是擇一進行。

在步驟404中，前台應用程式會根據使用者的影像編輯操作從數位影像檔案210中取得對應的特性資訊430(在此繪示為細胞影像)。在步驟405中，前台應用程式會將此特性資訊430傳送至後台伺服器120。後台伺服器120可自行進行影像辨識程序，或將特性資訊430傳送至伺服器130進行影像辨識程序(步驟406)。伺服器130執行完影像辨識程序以後，可在步驟407將辨識結果傳送至前台應用程式，或者在一些實施例中也可以將辨識結果傳送至後台伺服器120，由後台伺服器120將辨識結果傳送至前台應用程式。如此一來，使用者可以在瀏覽器中檢視辨識結果。

圖5是根據一實施例繪示數位影像辨識方法的流程圖。請參照圖5，在步驟501中，解碼數位影像檔案以取得一數位影像。在步驟502中，透過前台應用程式提供一使用者介面，用以讓使用者透過瀏覽器與使用者介面互動，其中使用者介面呈現上述的數位影像。在步驟503中，透過使用者介面接收對應至數位影像的影像編輯操作。在步驟504中，根據影像編輯操作從數位影像檔案中取得對應數位影像的至少一採樣區域之特性資訊。在步驟505中，透過前台應用程式傳送上述的特性資訊至伺服器以進行影像辨識程序。然而，圖5中各步驟已詳細說明如上，在此便不再贅述。值得注意的是，圖5中各步驟可以實作為多個程式碼或是電路，本發明並不在此限。此外，圖5的方法可以搭配以上實施例使用，也可以單獨使用。換言之，圖5的各步驟之間也可以加入其他的步驟。

以另外一個角度來說，本發明也提出了一電腦程式產品，此產品可由任意的程式語言及/或平台所撰寫，當此電腦程式產品被載入至電腦系統並執行時，可執行上述的數位影像辨識方法。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。

501~505‧‧‧步驟

Claims

一種數位影像辨識方法，適用於一電子裝置，該數位影像辨識方法包括：解碼一數位影像檔案以取得一數位影像，其中該數位影像檔案是關於醫學影像，該數位影像檔案包含多個圖層，該數位影像屬於該些圖層的其中之一，並且該數位影像在解碼過程中產生失真，使得該數位影像不完全相同於該數位影像檔案中的資料數據；透過一前台應用程式提供一使用者介面，用以讓一使用者透過一瀏覽器與該使用者介面互動，其中該使用者介面呈現該數位影像；透過該使用者介面接收對應至該數位影像的至少一影像編輯操作；根據該至少一影像編輯操作從該數位影像檔案中取得對應該數位影像的至少一採樣區域之特性資訊；以及透過該前台應用程式傳送該數位影像的該至少一採樣區域之特性資訊至一伺服器以進行一影像辨識程序。
如申請專利範圍第1項所述之數位影像辨識方法，其中在解碼該數位影像檔案的步驟之前，該數位影像辨識方法還包括：透過該前台應用程式預先下載該數位影像檔案，其中解碼該數位影像檔案的步驟是由該前台應用程式所執行。
如申請專利範圍第1項所述之數位影像辨識方法，其中解碼該數位影像檔案的步驟是由一後台應用程式所執行，該數位影像辨識方法還包括：透過該前台應用程式下載該數位影像。
如申請專利範圍第1項所述之數位影像辨識方法，更包括：透過該前台應用程式在一離線狀態下紀錄該至少一影像編輯操作，直到進入一連線狀態以後再以批次方式將該至少一影像編輯操作更新至一後台伺服器。
如申請專利範圍第1項所述之數位影像辨識方法，其中該至少一影像編輯操作包括擷取或註記。
如申請專利範圍第1項所述之數位影像辨識方法，其中該至少一採樣區域之該特性資訊包括影像大小、座標位址、指標、偏移值、圖層數量或圖層位置。
如申請專利範圍第1項所述之數位影像辨識方法，還包括：根據該至少一採樣區域之該特性資訊解碼該數位影像檔案以取得另一數位影像，其中該另一數位影像的失真程度小於該數位影像的失真程度；以及透過該前台應用程式傳送該另一數位影像至該伺服器以進行該影像辨識程序。
一種電腦程式產品，由一電子裝置載入並執行以完成以下步驟：解碼一數位影像檔案以取得一數位影像，其中該數位影像檔案是關於醫學影像，該數位影像檔案包含多個圖層，該數位影像屬於該些圖層的其中之一，並且該數位影像在解碼過程中產生失真，使得該數位影像不完全相同於該數位影像檔案中的資料數據；透過一前台應用程式提供一使用者介面，用以讓一使用者透過一瀏覽器與該使用者介面互動，其中該使用者介面呈現該數位影像；透過該使用者介面接收對應至該數位影像的至少一影像編輯操作；根據該至少一影像編輯操作從該數位影像檔案中取得對應該數位影像的至少一採樣區域之特性資訊；以及透過該前台應用程式傳送該數位影像的該至少一採樣區域之特性資訊至一伺服器以進行一影像辨識程序。
一種電子裝置，包括：一記憶體，儲存有多個指令；以及一處理器，用以執行該些指令以完成以下步驟：解碼一數位影像檔案以取得一數位影像，其中該數位影像檔案是關於醫學影像，該數位影像檔案包含多個圖層，該數位影像屬於該些圖層的其中之一，並且該數位影像在解碼過程中產生失真，使得該數位影像不完全相同於該數位影像檔案中的資料數據；透過一前台應用程式提供一使用者介面，用以讓一使用者透過一瀏覽器與該使用者介面互動，其中該使用者介面呈現該數位影像；透過該使用者介面接收對應至該數位影像的至少一影像編輯操作；根據該至少一影像編輯操作從該數位影像檔案中取得對應該數位影像的至少一採樣區域之特性資訊；以及透過該前台應用程式傳送該數位影像的該至少一採樣區域之特性資訊至一伺服器以進行一影像辨識程序。